Evals är kravspecen för en AI-funktion

En funktion byggd på en språkmodell svarar olika varje gång den tillfrågas. Det knäcker meningen varje kravdokument vilar på: ”det fungerar”. Den här artikeln handlar om vad som ersätter den, vem som skriver ersättningen, och vad studion lärde sig av att speca åtta AI-miljöer i en och samma produkt.

Varför räcker ”det fungerar” inte för en AI-funktion?

För att det saknas en enda utdata att kontrollera. En deterministisk funktion godkänns en gång; en modellbaserad måste godkännas statistiskt, över de fall som spelar roll, och godkännas igen varje gång prompten eller modellen ändras. Hamel Husain, AI-konsult som levererat sådana system sedan 2023, skrev den 29 mars 2024 att misslyckade AI-produkter ”almost always share a common root cause: a failure to create robust evaluation systems”. Teamen som misslyckas spelar whack-a-mole: rättar ett svar, förstör ett annat, och vet aldrig var de står.

Vad är en eval, i produkttermer?

En specifikation i tre delar, skriven på läsarens språk och ägd av produktrollen.

• Fallen den måste klara: riktiga indata, helst från riktiga användare eller loggar, vart och ett med vad ett bra svar innehåller.
• Fallen den måste avstå: frågorna utanför avgränsningen, uppgifterna den aldrig får röja, handlingarna den aldrig får påstå sig ha utfört.
• Toleransen: hur ofta den får missa på varje uppsättning innan funktionen dras tillbaka, angiven som ett tal en person har skrivit under.

Husain beskriver tre nivåer av test som svarar mot de delarna: billiga kontroller som körs vid varje ändring, granskning av loggade körningar av människa och modell, och A/B-test med riktiga användare. De två första är evalen. Specen är en lista fall och ett tal, och talet är ett produktbeslut eftersom det byter kvalitet mot leverans.

Vem skriver den?

Den som annars skulle skriva acceptanskriterierna. En utvecklare kan skriva riggen; bara produktrollen kan säga vilka tjugo fall som spelar roll, vilka avstånd som är ovillkorliga och vilken missfrekvens verksamheten tål. Anthropics vägledning om agentdesign, publicerad den 19 december 2024, gör samma poäng från arkitektursidan: hitta ”the simplest solution possible, and only increasing complexity when needed”, och välj ett fördefinierat arbetsflöde framför en självständig agent överallt där stegen går att veta i förväg. Det valet är ett specbeslut, och det tas av den som äger fallen.

Vad lärde sig studion av att göra det?

Torn Studio hade produktrollen i Changemkr, en AI-plattform för förändringsledning som studion äger en del av, fram till juni 2026. Vid junigränsen körde åtta AI-miljöer på en tjänst, var och en med egen modell, egna verktyg och egen promptversionering med återställning i ett klick, räknebara i promptregistret. Varje promptändring var en release, och varje release godkändes mot sina fall.

I juni 2026 testade en extern konsultbyrå planerarens AI-assistent och rapporterade den som opålitlig. Studion gjorde rapporten till 27 numrerade fynd, grupperade dem efter rotorsak innan någon kod rördes, och fann att 4 av de 27 var produktbeslut som inte krävde någon kodrättning alls: funktionen gjorde det den blivit tillsagd, och det den blivit tillsagd var fel. Den uppdelningen, bugg eller beslut, är vad en eval gör synlig innan en testare gör det.

Verifieringen är där den ärliga gränsen sitter. Rättningarna kördes mot hela stacken i containrar med webbläsartester: 11 passerade, 1 hoppades över, och de tre stora generativa flödena verifierades aldrig från början till slut, eftersom deras utdata varierar mellan körningar och ett test som väntar sig samma utdata varje gång inte kan bära dem. Rapporten säger det per fynd, vilket är poängen: en verifiering som redovisar sig som helt grön är en ingen kan lita på nästa gång.

Var kommer förtroendet in?

En eval täcker korrekthet; fallen om att avstå och att upplysa täcker förtroende, och de hör hemma i samma dokument. Google PAIR:s People + AI Guidebook ber team att kalibrera förtroende — ”tell the user when a lack of data might mean they’ll need to use their own judgment” — och att visa säkerhet som kategorier. EU-kommissionens sida om AI-förordningen säger att chattbotar ska göra människor medvetna om att de talar med en maskin, med transparensregler som gäller från augusti 2026, och länkar till texten. Hur en funktion förtjänar det förtroendet är en egen artikel; evalen är där fallen skrivs ner först.

Var modellen sitter i ett befintligt system — det avgränsade jobbet med en kontroll runt sig — beskrivs i AI i era befintliga system. Fallen i en eval väljs på samma sätt som en backlogg prioriteras, och den metoden finns i att bestämma vad som ska byggas härnäst.

Så specar studion en AI-funktion

Product Management hos Torn Studio prissätts per uppdrag med priset fast innan arbetet börjar, och en AI-funktion inom uppdraget får sin eval skriven före sin prompt: fallen, avståndena, toleransen, underskrivna av den som ska läsa talet. Studion bygger sedan mot den, så att funktionen levereras med dokumentet som säger vad den får göra och var den ska avstå.