Mat er kröfulýsingin fyrir gervigreindareiginleika

Eiginleiki sem byggir á mállíkani svarar ólíkt í hvert sinn sem hann er spurður. Það brýtur setninguna sem hvert kröfuskjal hvílir á: „það virkar“. Þessi grein fjallar um hvað kemur í hennar stað, hver skrifar það, og hvað stofan lærði af því að skilgreina átta gervigreindarumhverfi í einni og sömu vöru.

Hvers vegna dugar „það virkar“ ekki fyrir gervigreindareiginleika?

Af því að það er ekkert eitt úttak til að athuga. Löggengur eiginleiki er samþykktur einu sinni; eiginleiki sem byggir á líkani verður að vera samþykktur tölfræðilega, yfir þau tilvik sem skipta máli, og samþykktur aftur í hvert sinn sem skipunin eða líkanið breytist. Hamel Husain, gervigreindarráðgjafi sem hefur afhent slík kerfi frá 2023, skrifaði 29. mars 2024 að misheppnaðar gervigreindarvörur „almost always share a common root cause: a failure to create robust evaluation systems“. Teymin sem mistekst spila whack-a-mole: laga eitt svar, brjóta annað, og vita aldrei hvar þau standa.

Hvað er mat, í vöruhugtökum?

Skilgreining í þremur hlutum, skrifuð á máli lesandans og í eigu vöruhlutverksins.

• Tilvikin sem hann verður að ráða við: raunveruleg inntök, helst frá raunverulegum notendum eða skrám, hvert með því sem gott svar inniheldur.
• Tilvikin þar sem hann verður að hafna: spurningarnar utan afmörkunar, gögnin sem hann má aldrei afhjúpa, aðgerðirnar sem hann má aldrei segjast hafa framkvæmt.
• Þolmörkin: hversu oft hann má bregðast í hverju safni áður en eiginleikinn er tekinn úr umferð, tilgreint sem tala sem manneskja hefur undirritað.

Husain lýsir þremur stigum prófana sem svara til þessara hluta: ódýrum athugunum sem keyra við hverja breytingu, yfirferð manns og líkans á skráðum keyrslum, og A/B-prófunum með raunverulegum notendum. Fyrstu tvö eru matið. Skilgreiningin er listi tilvika og tala, og talan er vöruákvörðun því hún skiptir gæðum fyrir afhendingu.

Hver skrifar það?

Sá sem annars myndi skrifa samþykktarviðmiðin. Forritari getur skrifað prófunargrindina; aðeins vöruhlutverkið getur sagt hvaða tuttugu tilvik skipta máli, hvaða höfnun er ófrávíkjanleg og hvaða villuhlutfall reksturinn þolir. Leiðbeiningar Anthropic um hönnun aðstoðarmanna, birtar 19. desember 2024, gera sama punkt frá arkitektúrhliðinni: finna „the simplest solution possible, and only increasing complexity when needed“, og velja fyrirfram skilgreint verkflæði fremur en sjálfstæðan aðstoðarmann alls staðar þar sem skrefin eru þekkt fyrirfram. Það val er skilgreiningarákvörðun, og sá sem á tilvikin tekur hana.

Hvað lærði stofan af því að gera þetta?

Torn Studio hélt vöruhlutverkinu í Changemkr, gervigreindarvettvangi fyrir breytingastjórnun sem stofan á hlut í, fram í júní 2026. Við júnímörkin keyrðu átta gervigreindarumhverfi á einni þjónustu, hvert með eigið líkan, eigin tól og eigin útgáfustýringu skipana með afturköllun í einum smelli, teljanleg í skipanaskránni. Hver skipanabreyting var útgáfa, og hver útgáfa var samþykkt gegn tilvikum sínum.

Í júní 2026 prófaði utanaðkomandi ráðgjafarstofa gervigreindaraðstoðarmann skipuleggjarans og sagði hann óáreiðanlegan. Stofan gerði skýrsluna að 27 númeruðum niðurstöðum, flokkaði þær eftir rót áður en kóði var snertur, og komst að því að 4 af þessum 27 voru vöruákvarðanir sem kröfðust engrar kóðalagfæringar: eiginleikinn gerði það sem honum var sagt, og það sem honum var sagt var rangt. Sú skipting, villa eða ákvörðun, er það sem mat gerir sýnilegt áður en prófari gerir það.

Sannreyningin er þar sem heiðarlegu mörkin liggja. Lagfæringarnar voru keyrðar gegn öllum staflanum í gámum með vafraprófunum: 11 stóðust, 1 var sleppt, og stóru skapandi flæðin þrjú voru aldrei sannreynd frá upphafi til enda, því úttak þeirra er breytilegt milli keyrslna og prófun sem býst við sama úttaki í hvert sinn getur ekki borið þau. Skýrslan segir það fyrir hverja niðurstöðu, og það er kjarninn: sannreyning sem skýrir frá sjálfri sér sem alveg grænni er sú sem enginn getur treyst næst.

Hvar kemur traustið inn?

Mat nær yfir réttleika; tilvikin um höfnun og upplýsingu ná yfir traust, og þau eiga heima í sama skjali. People + AI Guidebook frá Google PAIR biður teymi að stilla traust — „tell the user when a lack of data might mean they’ll need to use their own judgment“ — og sýna vissu sem flokka. Síða framkvæmdastjórnar ESB um gervigreindarreglugerðina segir að spjallmenni verði að gera fólki ljóst að það sé í samskiptum við vél, með gagnsæisreglum sem gilda frá ágúst 2026, og tengir í textann. Hvernig eiginleiki ávinnur sér það traust er sérstök grein; matið er þar sem tilvikin eru skrifuð niður fyrst.

Hvar líkanið situr inni í kerfi sem er þegar til — afmarkaða verkið með athugun í kringum sig — er lýst í gervigreind í núverandi kerfum. Tilvikin í mati eru valin á sama hátt og verkefnalisti er forgangsraðaður, og sú aðferð er í að ákveða hvað skal byggja næst.

Svona skilgreinir stofan gervigreindareiginleika

Product Management hjá Torn Studio er verðlagt eftir verkefni með verðið fast áður en vinnan hefst, og gervigreindareiginleiki innan verkefnis fær matið sitt skrifað á undan skipuninni: tilvikin, hafnanirnar, þolmörkin, undirrituð af þeim sem mun lesa töluna. Stofan smíðar svo gegn því, svo eiginleikinn er afhentur með skjalinu sem segir hvað hann má gera og hvar hann verður að hafna.