---
title: "27 testihavaintoa konsulttiarviosta, käyty läpi"
description: "Pohjoismainen konsulttitalo testasi tekoälysuunnittelijaa ja raportoi pitkän listan vikoja. Näin listasta tuli 27 juurisyytettyä tapausta, todennettuna ajossa."
url: https://torn.studio/fi/tyot/konsulttiarvio-27-testihavaintoa
locale: fi
published: 2026-09-01
updated: 2026-06-25
---

# 27 testihavaintoa konsulttiarviosta, käyty läpi

> **Lyhyt vastaus:** Pohjoismainen konsulttitalo testasi tekoälyvetoista suunnittelukanvasta ja raportoi sen epäluotettavana. Torn Studio muutti raportin 27 jäljitettäväksi tapaukseksi, selvitti juurisyyt ennen ensimmäistä koodiriviä, korjasi ja todensi ajossa olevaa pinoa vasten. Todennuksessa 25. kesäkuuta 2026 korjattuja oli 22, osittaisia 3 ja siirrettyjä 2.

**Asiakas:** Pohjoismainen digitaalisen muutoksen konsulttitalo · **Luovutettu:** 2026-06-25

**Studion suhde asiakkaaseen:** Talo on riippumaton osapuoli, joka arvioi Changemkrin suunnittelukanvasta — alustaa, josta Torn Studio omistaa osan ja jossa sillä oli tuoterooli. Studio otti heidän aineistonsa vastaan ja teki sitä seuranneen työn.

## Toimeksianto

Talon konsultti oli testannut suunnittelukanvasta ja sen tekoälyavustajaa tositilanteessa ja koonnut tuloksen esitykseen. Tehtävänä oli muuttaa tuo kertomus joksikin jota voi työstää, ja pystyä osoittamaan mikä oikeasti korjattiin.

## Mikä teki siitä vaikeaa

- Aineisto oli kertomus yhdestä istunnosta siinä järjestyksessä kuin asiat menivät pieleen, ja siinä oli 27 valitusta jotka saattoivat olla vähemmän vikoja tai enemmän — kumpaa, ei listasta voinut lukea.
- Vakavin havainto oli että avustaja kirjoitti tehneensä muutoksia joita ei koskaan tapahtunut, mikä tekee lopusta työkalusta käyttökelvottoman riippumatta siitä montako asetteluvirhettä korjataan.
- Useat tapaukset nojasivat mallin vastauksiin jotka vaihtelevat ajokerroittain, joten niitä ei voinut todentaa tavallisella testillä joka odottaa samaa tulostetta joka kerta.

## Luvut jotka voi laskea

| Luvut jotka voi laskea | | |
| --- | --- | --- |
| 27 | tapausta yhdestä testiaineistosta | TP-01…TP-27 repositorion korjaussuunnitelmassa, kukin testaajan omalla sanamuodolla ja kytketyllä juurisyyllä. |
| 22 / 3 / 2 | korjattu, osittain, siirretty | Laskettavissa korjaussuunnitelman tilataulukosta, päiväys 25. kesäkuuta 2026. Kaksi riviä kattaa useita tapauksia, minkä vuoksi 24 riviä kantaa 27 tapausta. |
| 11 / 1 | testiä läpi ja ohitettuna | Repositorion todennusraportti nimeää ne seitsemän määrittelytiedostoa jotka ajettiin pinoa vasten, ja komennon joka ajaa ne uudelleen. |
| 4 | tapausta jotka olivat tuotepäätöksiä | Nostettu pois tapauslistalta ja ratkaistu päätöksinä suunnitelmassa, valinta ja sen seuraus kirjoitettuina auki. Niissä ei ole lainkaan koodikorjausta. |

## Näin se tehtiin

### Kertomuksesta jäljitettäviä tapauksia

Esityksen valitukset käännettiin 27 numeroiduksi tapaukseksi, TP-01…TP-27. Jokainen kantaa sen sanamuodon jota testaaja käytti, joten kuka tahansa voi palata lukemaan mitä henkilö todella näki. Juuri se osa ratkaisee johtaako testikierros mihinkään.

### Analyysi ennen ensimmäistä koodiriviä

Kokonainen kierros ajettiin koodi koskemattomana. Jokainen tapaus kytkettiin vahvistettuun tai oletettuun juurisyyhyn, saman syyn jakavat ryhmiteltiin, ja neljä tuotepäätökseksi osoittautunutta nostettiin erilleen ja ratkaistiin päätöksinä. Ryhmittely ensin on se mikä antaa yhden korjauksen sulkea useita oireita.

### Vaarallisin tapaus ensin

Avustajan väite tehdyistä muutoksista otettiin ennen kaikkea muuta, koska kerran harhaanjohdettu käyttäjä lakkaa luottamasta seuraavaankin vastaukseen. Kehote kieltää nyt sanamuodon, ja käyttöliittymä näyttää ehdotuksen toteuttamattomana kunnes ihminen painaa painiketta.

### Todennus ajossa olevaa pinoa vasten

Korjaukset ajettiin koko konttipinoa vasten, Playwrightilla verkkosovellusta, liiketoimintarajapintaa ja tekoälypalvelua yhtä aikaa ohjaten. Yksitoista testiä meni läpi ja yksi ohitettiin, viimeinen eleen vuoksi jota mikään näytötön selain ei osaa ajaa. Raportti kertoo minkä ja miksi.

**Teknologiat:** Next.js, React Flow, FastAPI, LangGraph, Playwright, Podman, PostgreSQL

## Mihin todiste riittää

Tämä osoittaa että hajanainen testiaineisto voidaan muuttaa suunnitelmaksi jota voi seurata rivi riviltä. Se ei osoita tuotteen onnistuneen: kaksi tapausta siirrettiin perusteluineen, kolme on osittain korjattu reuna jäljellä, eikä kolmea suurta luontipolkua ajettu koskaan päästä päähän, koska ne nojaavat vaihtelevaan mallin vastaukseen.

## Usein kysyttyä

### Miksi konsulttitaloa ei nimetä?

Yritys ei ole suostunut siihen että se nimetään, eikä nimi silloin ole tässä. Kuvaus — pohjoismainen digitaalisen muutoksen konsulttitalo — on tosi ja riittävä, jotta lukija ymmärtää mistä aineisto tuli. Sinä päivänä kun yritys suostuu, nimi on sivulla.

### Miksi analyysi tehtiin koodi koskemattomana?

Koska 27 oiretta on harvoin 27 vikaa. Ryhmittely juurisyyn mukaan näyttää missä sama syy tuottaa useita oireita, jolloin yksi korjaus sulkee useita rivejä. Kierros nosti myös esiin neljä tapausta jotka osoittautuivat tuotepäätöksiksi, eikä niissä ole lainkaan koodikorjausta.

### Mikä oli vakavin havainto?

Se että avustaja kirjoitti tehneensä muutoksia joita ei koskaan tapahtunut. Asetteluvirhe näkyy ja sen voi kiertää, kun taas väärä kuittaus saa käyttäjän lakkaamaan luottamasta koko työkaluun. Tuo tapaus otettiin ensin, ja ratkaisu on sekä kehotesääntö että näkyvä merkintä käyttöliittymässä.

### Mitä osittain korjattu tarkoittaa raportissa?

Sitä että testaajan raportoima tapaus toimii, mutta viereinen reuna jää jäljelle. Raportti kuvaa reunan rivillään. Merkintä on olemassa siksi että täysin vihreäksi raportoitu kierros tekee seuraavasta arvottoman — raportin lukijan täytyy nähdä missä raja kulkee.

### Kuinka kauan kierros kesti?

Vastaanotto, analyysi, korjaus ja todennus mahtuivat kesäkuuhun 2026, todennusraportin päiväys on 25. päivä. Se on tahti jonka yksi henkilö tekoälytyökaluin pitää rajatussa aineistossa, jossa tapaukset on jo kuvannut joku tuotetta käyttänyt.