Mitä AI-avusteinen kehitys oikeasti rikkoo

AI-avusteisesta kehityksestä kirjoitetaan kahdenlaisia tekstejä: hehkutuksia joissa mikään ei mene pieleen, ja kauhukuvia joissa kielimalli tuhoaa tuotantokannan. Kumpikaan ei vastaa sitä arkea, jota olen elänyt viimeiset puoli vuotta rakentaessani tuotteita tekoäly parikoodarina.

Tässä on rehellinen lista omista mokistani. Jokainen näistä tapahtui oikeasti, ja jokaisesta syntyi sääntö, jolla se ei toistunut.

Väärä varmuus on vaarallisempaa kuin väärä koodi

Kysyin tekoälyltä, oliko verkkokauppalisäosa valmis julkaistavaksi. Vastaus oli itsevarma ei, listattuna puutteita ja keskeneräisyyksiä. Lisäosa oli ollut tuotannossa viikkoja. Malli päätteli tilan vanhoista muistiinpanoista eikä tarkistanut todellisuutta, ja esitti päätelmänsä faktana.

Koodivirheen huomaa testeissä. Väärän tilannekuvan varassa tehty päätös huomataan vasta kun sen seuraukset ovat jo tapahtuneet. Sääntö tästä eteenpäin: väitteet järjestelmän tilasta tarkistetaan järjestelmästä, ei muistista, eli “onko tämä tuotannossa” ratkeaa katsomalla tuotantoa.

Agentti ja git-HEAD, eli miten keskeneräinen artikkeli päätyi tuotantoon

Tekoälyagentti teki git-operaatioita ja jätti työhakemiston HEADin väärään tilaan. Seuraava, täysin eri asiaa koskenut pull request vei mukanaan keskeneräisen blogiartikkelin suoraan tuotantosivustolle. Kukaan ei kirjoittanut yhtään väärää riviä koodia, ja silti julkaistiin jotain mitä ei ollut tarkoitus julkaista.

Jaettu työhakemisto on jaettu vastuu. Nykyään jokainen haarautuminen alkaa tilan tarkistuksella, ja agentin jäljiltä git-tila katsotaan aina ennen kuin päälle rakennetaan mitään.

“Vapauta portti 3000” tappoi selaimen. Kahdesti.

Kehityspalvelin ei käynnistynyt, koska portti oli varattu. Tekoälyn ehdottama komento tappoi kaikki porttia käyttävät prosessit, ja niiden joukossa oli oma selaimeni kymmenine välilehtineen. Hyväksyin saman ehdotuksen kaksi kertaa ennen kuin opin, eli en voi edes syyttää mallia yksin.

Ehdotettu komento voi olla teknisesti oikein ja silti väärä. Nyt tuhoavat komennot saavat aina kohteekseen yksilöidyn prosessin, eivät kaikkea mikä osuu hakuehtoon.

Sama malli varoitti salaisuuksista ja pyysi salaisuutta

Tekoäly varoitti minua liittämästä salaisuuksia keskusteluun. Seuraavassa lauseessa se pyysi tulostamaan webhook-osoitteen virheenselvitystä varten. Tottelin, eli osoite piti sen jälkeen mitätöidä ja luoda uusi.

Ohjeen ja toiminnan ristiriita on kielimallille arkipäivää, ja vastuu jää käyttäjälle. Salaisuudet käsitellään nykyään peitettynä: diagnostiikkaan riittää osoitteen muoto ja loppuosa, ei koko arvo.

Mikä näitä yhdistää

Yksikään moka ei ollut “AI kirjoitti huonoa koodia”. Kaikki olivat prosessivirheitä: väärä tilannekuva, jaetun ympäristön yllätykset, liian leveä komento, ristiriitainen ohje. Samat virheet tekisi kiireinen juniorikollega, ja ne hallitaan samoilla keinoilla, eli tarkistuspisteillä, kapeilla valtuuksilla ja sillä ettei itsevarmuutta sekoiteta oikeassa olemiseen.

Tämä on samalla syy, miksi suhtaudun epäluuloisesti sekä hehkutuksiin että kauhukuviin. Tekoäly ei ole taikuri eikä tuhooja. Se on erittäin nopea ja ajoittain itsevarmasti väärässä oleva työpari, ja sellaisen kanssa työskentely on opeteltava taito. Mokat ovat opetusmateriaalia, ja siksi ne kannattaa kirjoittaa ylös eikä piilottaa.

Puolen vuoden saldo: neljä tuotetta tuotannossa ja lista sääntöjä, joista jokainen maksettiin yhdellä mokalla. Halvempaa koulutusta saa harvoin.