Avoimesta datasta tuote alle dollarilla

Pyöräpassin liikehakemistossa on 468 suomalaista pyöräliikettä palveluineen, sijainteineen ja kuvauksineen. Sitä ei ostettu mistään eikä kukaan syöttänyt sitä käsin. Se koottiin kahdesta avoimesta lähteestä, joista kumpikaan ei yksin kelvannut mihinkään, ja aukot täytti kielimalli.

Koko putken kielimallikulut olivat alle dollarin.

Kaksi puutteellista lähdettä

OpenStreetMapista löytyi noin 430 pyöräliikettä koordinaatteineen. Hieno alku, mutta sisältö oli ohutta: esimerkiksi tieto siitä, myykö liike käytettyjä pyöriä, löytyi vain 8 prosentilta liikkeistä. PRH:n avoimesta yritysrekisteristä taas löytyi 1 045 yritystä pyöräalan toimialakoodilla, mutta ilman koordinaatteja ja puhelinnumeroita, ja joukossa oli reippaasti kohinaa, eli toimialakoodin alle mahtui myös yrityksiä joiden pyöräkauppa on sivujuonne.

Pahin ongelma: lähteillä ei ole yhteistä avainta. OSM:n “Pyörähuolto Penttinen” ja PRH:n “Pyörähuolto T. Penttinen Oy” ovat sama liike, mutta mikään kenttä ei kerro sitä.

Kielimalli liimana ja rikastajana

Tässä kohtaa perinteinen vaihtoehto olisi viikkojen käsityö. Sen sijaan putki eteni kolmessa vaiheessa:

Rikastusvaihe on se, jossa kielimalli tekee työn jota mikään perinteinen skripti ei osaa: se lukee liikkeen verkkosivut ja päättelee, huoltaako liike sähköpyöriä, myykö se lastipyöriä ja ostaako se vaihdossa vanhoja. Sama päättely käsin olisi ollut viikkojen selailu-urakka, ja ostettuna datana sitä ei olisi saanut mistään hinnalla millään.

Suojakaiteet ennen ensimmäistä ajoa, ei jälkeen

Putkessa on yksityiskohta, jonka nostan esiin joka kerta kun aiheesta puhun: kulusuojat (guard-rails) rakennettiin ennen kuin yhtäkään maksullista kutsua oli tehty. Runneri ajaa oletuksena kuivaharjoituksena, eli se näyttää mitä tekisi kutsumatta rajapintaa. Kutsuilla on kappalemääräinen katto ja euromääräinen budjettiraja, ja jokainen tulos menee välimuistiin niin, että uusinta-ajo ei maksa samoista riveistä toista kertaa.

Kuulostaa varovaiselta sadan dollarin riskillä? Kyse ei ole summasta vaan tavasta. Kielimalliputki, joka jää virhetilanteessa looppiin, polttaa budjetin hiljaa ja tuottaa samalla roskaa kantaan. Suojakaiteiden rakentaminen vei noin tunnin, ja sen tunnin ansiosta lopullinen kuluraportti oli tylsin mahdollinen: ei yllätyksiä, alle dollari.

Dataputki on vallihauta

Väitteeni: avoin data ja kielimallirikastus on aliarvostetuin tuotteenrakennuskuvio Suomessa juuri nyt. Kaikki puhuvat chatboteista, mutta arkisempi ja tuottavampi käyttö on datan normalisointi ja luokittelu, jonka hinta putosi parissa vuodessa sadasosaan.

Ja tässä on se strateginen pointti, joka usein jää huomaamatta: ohjelmallisesti rakennetun sisältösivuston todellinen kilpailuetu ei ole ulkoasu vaan dataputki. Kuka tahansa kopioi sivupohjan viikossa. Normalisoitua, rikastettua ja ylläpidettyä dataa ei kopioi kukaan, koska sen eteen pitää tehdä juuri se työ jonka yllä kuvasin, ja pitää tehdä se uudestaan aina kun lähteet muuttuvat.

Suomessa on kymmeniä toimialoja, joilla sama kuvio odottaa tekijäänsä: avoin perusrekisteri, hajanaiset verkkosivut ja kysyntää kootulle, luotettavalle hakemistolle. Jos oma toimialasi on yksi niistä ja mietit mistä aloittaa, laita viestiä. Kerron suoraan, onko datasi rikastettavissa dollarilla vai ei.