27 testihavaintoa konsulttiarviosta, käyty läpi
Studion suhde asiakkaaseen
Talo on riippumaton osapuoli, joka arvioi Changemkrin suunnittelukanvasta — alustaa, josta Torn Studio omistaa osan ja jossa sillä oli tuoterooli. Studio otti heidän aineistonsa vastaan ja teki sitä seuranneen työn.
Nimestä
Talo ei ole suostunut siihen että se nimetään, joten sivu kuvaa sen ja jättää yrityksen nimen pois. Kuvaus on tosi ja riittävä sijoittamaan sen mistä aineisto tuli.
Lyhyt vastaus
Pohjoismainen konsulttitalo testasi tekoälyvetoista suunnittelukanvasta ja raportoi sen epäluotettavana. Torn Studio muutti raportin 27 jäljitettäväksi tapaukseksi, selvitti juurisyyt ennen ensimmäistä koodiriviä, korjasi ja todensi ajossa olevaa pinoa vasten. Todennuksessa 25. kesäkuuta 2026 korjattuja oli 22, osittaisia 3 ja siirrettyjä 2.
Toimeksianto
Talon konsultti oli testannut suunnittelukanvasta ja sen tekoälyavustajaa tositilanteessa ja koonnut tuloksen esitykseen. Tehtävänä oli muuttaa tuo kertomus joksikin jota voi työstää, ja pystyä osoittamaan mikä oikeasti korjattiin.
Mikä teki siitä vaikeaa
- Aineisto oli kertomus yhdestä istunnosta siinä järjestyksessä kuin asiat menivät pieleen, ja siinä oli 27 valitusta jotka saattoivat olla vähemmän vikoja tai enemmän — kumpaa, ei listasta voinut lukea.
- Vakavin havainto oli että avustaja kirjoitti tehneensä muutoksia joita ei koskaan tapahtunut, mikä tekee lopusta työkalusta käyttökelvottoman riippumatta siitä montako asetteluvirhettä korjataan.
- Useat tapaukset nojasivat mallin vastauksiin jotka vaihtelevat ajokerroittain, joten niitä ei voinut todentaa tavallisella testillä joka odottaa samaa tulostetta joka kerta.
Luvut jotka voi laskea
- 27tapausta yhdestä testiaineistosta
- TP-01…TP-27 repositorion korjaussuunnitelmassa, kukin testaajan omalla sanamuodolla ja kytketyllä juurisyyllä.
- 22 / 3 / 2korjattu, osittain, siirretty
- Laskettavissa korjaussuunnitelman tilataulukosta, päiväys 25. kesäkuuta 2026. Kaksi riviä kattaa useita tapauksia, minkä vuoksi 24 riviä kantaa 27 tapausta.
- 11 / 1testiä läpi ja ohitettuna
- Repositorion todennusraportti nimeää ne seitsemän määrittelytiedostoa jotka ajettiin pinoa vasten, ja komennon joka ajaa ne uudelleen.
- 4tapausta jotka olivat tuotepäätöksiä
- Nostettu pois tapauslistalta ja ratkaistu päätöksinä suunnitelmassa, valinta ja sen seuraus kirjoitettuina auki. Niissä ei ole lainkaan koodikorjausta.
Näin se tehtiin
Kertomuksesta jäljitettäviä tapauksia
Esityksen valitukset käännettiin 27 numeroiduksi tapaukseksi, TP-01…TP-27. Jokainen kantaa sen sanamuodon jota testaaja käytti, joten kuka tahansa voi palata lukemaan mitä henkilö todella näki. Juuri se osa ratkaisee johtaako testikierros mihinkään.
Analyysi ennen ensimmäistä koodiriviä
Kokonainen kierros ajettiin koodi koskemattomana. Jokainen tapaus kytkettiin vahvistettuun tai oletettuun juurisyyhyn, saman syyn jakavat ryhmiteltiin, ja neljä tuotepäätökseksi osoittautunutta nostettiin erilleen ja ratkaistiin päätöksinä. Ryhmittely ensin on se mikä antaa yhden korjauksen sulkea useita oireita.
Vaarallisin tapaus ensin
Avustajan väite tehdyistä muutoksista otettiin ennen kaikkea muuta, koska kerran harhaanjohdettu käyttäjä lakkaa luottamasta seuraavaankin vastaukseen. Kehote kieltää nyt sanamuodon, ja käyttöliittymä näyttää ehdotuksen toteuttamattomana kunnes ihminen painaa painiketta.
Todennus ajossa olevaa pinoa vasten
Korjaukset ajettiin koko konttipinoa vasten, Playwrightilla verkkosovellusta, liiketoimintarajapintaa ja tekoälypalvelua yhtä aikaa ohjaten. Yksitoista testiä meni läpi ja yksi ohitettiin, viimeinen eleen vuoksi jota mikään näytötön selain ei osaa ajaa. Raportti kertoo minkä ja miksi.
Teknologiat
- Next.js
- React Flow
- FastAPI
- LangGraph
- Playwright
- Podman
- PostgreSQL
Mihin todiste riittää
Tämä osoittaa että hajanainen testiaineisto voidaan muuttaa suunnitelmaksi jota voi seurata rivi riviltä. Se ei osoita tuotteen onnistuneen: kaksi tapausta siirrettiin perusteluineen, kolme on osittain korjattu reuna jäljellä, eikä kolmea suurta luontipolkua ajettu koskaan päästä päähän, koska ne nojaavat vaihtelevaan mallin vastaukseen.
Perusta
Mihin tämä artikkeli nojaa — tekemäämme mittaukseen, päivättyyn lähteeseen tai päätökseen ja sen hintaan.
- Mittaus
Kuinka moni 27 tapauksesta oli korjattu todennuksessa
Mittauskohde: Tekoälysuunnittelijan korjaussuunnitelman tilataulukko
Menetelmä: Laske taulukon tilamerkinnät ja pura auki rivit jotka kattavat useita tapauksia.
Tulos: 22 korjattu, 3 osittain, 2 siirretty
- Päätös
Aja analyysikierros koko tapauslistan yli ennen kuin koodiin kosketaan, ja ryhmittele tapaukset juurisyyn mukaan.
Mitä se maksoi: Kierros vei aikaa ennen kuin mikään näytti korjatulta, mitä on vaikea puolustaa tilaajalle joka odottaa korjauksia.
- Päätös
Anna avustajan esittää ehdotukset toteuttamattomina kunnes ihminen painaa painiketta.
Mitä se maksoi: Jokainen muutos vaatii nyt ylimääräisen klikkauksen ja kohteen on oltava valittuna ensin, mikä hidastaa kulkua verrattuna siihen että malli kirjoittaisi suoraan läpi.
Usein kysyttyä
- Miksi konsulttitaloa ei nimetä?
- Yritys ei ole suostunut siihen että se nimetään, eikä nimi silloin ole tässä. Kuvaus — pohjoismainen digitaalisen muutoksen konsulttitalo — on tosi ja riittävä, jotta lukija ymmärtää mistä aineisto tuli. Sinä päivänä kun yritys suostuu, nimi on sivulla.
- Miksi analyysi tehtiin koodi koskemattomana?
- Koska 27 oiretta on harvoin 27 vikaa. Ryhmittely juurisyyn mukaan näyttää missä sama syy tuottaa useita oireita, jolloin yksi korjaus sulkee useita rivejä. Kierros nosti myös esiin neljä tapausta jotka osoittautuivat tuotepäätöksiksi, eikä niissä ole lainkaan koodikorjausta.
- Mikä oli vakavin havainto?
- Se että avustaja kirjoitti tehneensä muutoksia joita ei koskaan tapahtunut. Asetteluvirhe näkyy ja sen voi kiertää, kun taas väärä kuittaus saa käyttäjän lakkaamaan luottamasta koko työkaluun. Tuo tapaus otettiin ensin, ja ratkaisu on sekä kehotesääntö että näkyvä merkintä käyttöliittymässä.
- Mitä osittain korjattu tarkoittaa raportissa?
- Sitä että testaajan raportoima tapaus toimii, mutta viereinen reuna jää jäljelle. Raportti kuvaa reunan rivillään. Merkintä on olemassa siksi että täysin vihreäksi raportoitu kierros tekee seuraavasta arvottoman — raportin lukijan täytyy nähdä missä raja kulkee.
- Kuinka kauan kierros kesti?
- Vastaanotto, analyysi, korjaus ja todennus mahtuivat kesäkuuhun 2026, todennusraportin päiväys on 25. päivä. Se on tahti jonka yksi henkilö tekoälytyökaluin pitää rajatussa aineistossa, jossa tapaukset on jo kuvannut joku tuotetta käyttänyt.
Kerro, mitä haluat rakentaa
Kolmekymmentä minuuttia, maksutta, ja suora vastaus siihen, olemmeko oikea studio tehtävään.
Vastaus vuorokauden kuluessa, kirjallinen ehdotus kiinteällä hinnalla kolmessa päivässä, ja päätät kaikessa rauhassa.
Tyytyväisyystakuu