Datatiimit ovat kuolleet, pitkä elämä datatiimeille

Kyllä, otsikko on klikkiherkkä ja provokatiivinen, mutta CTO:nä, jolla on monen vuoden kokemus datasta, olen todistanut muodonmuutoksen, joka oikeuttaa dramatiikan. Perinteinen ”datatiimi” – takahuoneen joukko, joka murskaa raportteja ja dashboard-eja – on käytännössä kuollut. Sen tilalle on nousemassa uudenlainen datatiimi: AI-ensin, tuote-johtoinen voimanpesä, jolla on suora vaikutus liikevaihtoon. He eivät enää ole kustannuskeskus, vaan voittoa tuottava ryhmä.

Matka liiketoimintatiedosta koneoppimiseen

Ei ole kulunut kauan aikaa, kun datatiimit olivat synonyymejä liiketoimintatiedolle (BI). Olimme yrityksen datan historioitsijat, elävät SQL:ssä ja taulukoissa, tehtävänämme oli vastata “Mitä tapahtui viime neljänneksellä?” Kun suuret datateknologiat kuten Hadoop ilmestyivät ja termi ”data scientist” tuli uudeksi seksikäksi työksi, datatiimit kehittyivät. 2010-luvun puolivälissä teimme enemmän kuin raportointia; meidän urakkaamme oli datavisualisointi ja interaktiivinen analytiikka, tuottamalla dynaamisia dashboard-eja jokaiselle osastolle. Työ oli data-murskaamisesta, sekoittamisesta eri lähteistä ja muodoista tulevista tietoja ja yritti ymmärtää toimialatietoa.

Sitten 2010-luvun lopulla tuli koneoppimisen aikakausi. Datatiimit alkoivat palkata data- tutkijoita rakentamaan ennustemalleja ja paljastamaan oivalluksia laajoissa tietojoukoissa. Siirryimme kuvaamasta menneisyydestä ennustamaan tulevaisuutta: churn-mallit, suositusmoottorit, kysyntäennusteet – nimetä vain. Mutta jopa silloin, tulokset olivat slide-deckit ja oivallukset, eivät live-tuotteita. Toimimme sisäisen palvelutoimiston kaltaisina, neuvomalla liiketoimintaa analyysin kautta. Toisin sanoen, olimme kustannuskeskuksia – arvokkaita, kyllä, mutta yhden askeleen päässä ydintuotetta ja liikevaihtoa.

Parhaimmillaan koneoppimisen tiimit hajautuivat erillisiin yksiköihin tai upposivat tuote-ryhmiin, jotta niiden mallit ja johtopäätökset voitiin täysin integroida alustoille. Suuri jakautuminen johti moniin epäonnistuneisiin projekteihin, upotettuihin sijoituksiin ja menetettyihin mahdollisuuksiin.

GenAI: Tuesta toiminnosta voittoa tuottavaan

Sitten GenAI saapui ja kaikki muuttui. Voimakkaiden suurten kielen mallien, kuten GPT-perheen ja avoimen lähdekoodin varianttien kuten Llaman, julkaisu käänsi maiseman lähes yhdessä yössä. Yhtäkkiä datatiimit eivät enää analysoineet liiketoimintaa, vaan tulivat oleellisiksi osiksi AI-tuotteiden ja -kokemusten rakentamisessa. Kun onnistut integroimaan LLM:n asiakasrajapintaan tai sisäiseen työprosessiin, et enää vain tiedota liiketoimintaa; ohjaat sitä. Hyvin toteutettu GenAI-järjestelmä voi automatisoida asiakastukea, generoida markkinointisisältöä, personoida käyttökokemuksia tai jopa tarjota tietoja, joita voidaan käyttää kouluttamaan uusia agenteja. Nämä kyvyt vaikuttavat suoraan liikevaihtoon. Käytännössä datatiimin työn tulos on siirtynyt PowerPoint- diaesityksistä live-AI-voimaisiin sovelluksiin.

GenAI-tiimit alkoivat innovaatioryhmistä, toimittamalla konseptin osoituksia, jotka loivat “wow-vaikutuksen”. Ja pian kaikki olivat AI-insinöörejä, levittäen varjoratkaisuja organisaatioihin.

Datatiimit löysivät itsensä kohtaamassa uuden kysymyksen: “Milloin tulette voittoa tuottavaksi?” Kun AI-insinöörit loivat upeita työkaluja, oli selvää, että oli aika yhdistää kaksi tiimiä: ne, jotka hallitsivat dataa, ja ne, jotka rakensivat sovellukset.

Otetaan esimerkiksi vähittäiskauppayritys, joka käyttää GenAI- chatbottia myyntikyselyiden käsittelyyn, tai pankki, joka lanseeraa AI-vetoinen, personoitu sijoitusneuvonantaja. Nämä eivät ole perinteisiä IT-sivuprojekteja – ne ovat digitaalisia tuotteita, jotka luovat asiakasarvoa ja tuottavat liikevaihtoa. Mutta samalla, luodakseen nämä järjestelmät suurella mittakaavalla, AI-insinöörien on pystyttävä käyttämään ja operationalisoimaan perinteisten tiimien valmistamaa dataa.

Johtajat ovat huomanneet. Datatiimien odotukset ovat taivaan korkeat, ja hallitukset ja toimitusjohtajat odottavat meiltä seuraavaa AI-vetoinen kasvuvectoria. Olemme siirtyneet taustalla olevista analyytikoista etulinjan innovaattoreiksi. Se on jännittävä asema, mutta se tulee voimakkaan tuloksen toimittamisen paineessa.

Matka tutkimuksesta tuotteeseen – yksisuuntainen ovi

Siirtymä tutkimusanalyysistä tuote-keskeiseen AI:hin on syvä ja peruuttamaton. Miksi peruuttamaton? Koska GenAI:n vaikutus liiketoimintaan on osoittautunut liian suureksi, jotta se voisi palauttaa sen takaisin R&D-leikkikentälle. Viimeaikaisen maailmanlaajuisen kyselyn mukaan 96% IT-johtajista on jo integroinut AI:n ydinkäsittelyprosesseihin – nousua 88%:sta edellisvuonna. Toisin sanoen, melkein jokainen yritys on siirtynyt kokeilemasta AI:ta sen upottamiseen tehtäväkriittisiin työprosesseihin. Kun ylität kynnyksen, jossa AI tuottaa arvoa tuotannossa, ei ole paluuta.

Tämä uusi AI-vetoinen fokus muuttaa datatiimien tahtia ja asennetta. Menneisyydessä meillä oli yleensä pitkien löytöprojektien ja avoimien analyysien ylellisyys. Nykyään, jos rakennamme AI-ominaisuutta, se tarvitsee olla tuotantovalmis, sääntelyn mukainen ja luotettava – kuten mikä tahansa asiakasrajapintainen tuote. Olemme astuneet siihen, mitä jotkut kutsuvat “autonomisen aikakauden” data-tieteestä. Ohjaavana kysymyksenämme ei ole enää “mitä oivalluksia voimme paljastaa?”, vaan “mitä älykästä järjestelmää voimme rakentaa, joka toimii oivalluksilla reaaliajassa?”

GenAI-järjestelmät eivät vain vastaa kysymyksiin; ne alkavat tehdä päätöksiä. Se on yksisuuntainen ovi: kun yritykset kokevat tämänkaltaisen autonomian ja vaikutuksen, eivät ne tyydy enää statisiin raportteihin ja manuaaliseen päätöksentekoon. Nyt enemmän kuin koskaan datatiimien on oltava sidosryhmä- ja tuote-orientoituneita.

Kovaa totuutta: Miksi useimmat GenAI-aloitukset epäonnistuvat

Kaiken jännityksen keskellä on rauhallinen totuus: useimmat GenAI-aloitukset epäonnistuvat. Onnistunut GenAI:n käyttöönotto on erittäin haasteellista. Viimeaikainen MIT-tutkimus osoitti, että hämmästyttävät 95% yritysten GenAI-pilottiprojekteista eivät koskaan toimita mitattavaa ROI:ta. Vain noin 5% AI-piloteista saavuttaa nopeita liikevaihdon kasvua tai merkittävää liiketoimintavaikutusta. Tämä ei johdu puutteesta potentiaalista – se johtuu siitä, että AI:n tekeminen oikein on monimutkaista.

Menemällä syvemmin epäonnistumisen syihin, MIT-tutkimus piirtää selvän kuvan. Monet projektit kompastuvat, koska “hype ylittää kovaa työtä” – tiimit metsästävät loistavia demo-käyttötarkoituksia sen sijaan, että panostaisivat perusteellisiin integraatioon, validointiin ja seurantaan. Toiset epäonnistuvat klassisesta “roska sisään, roska ulos” -oireyhtymästä – huono data-laatu ja eristetyt data-piiput tuhoavat projektin ennen kuin AI edes pääsee tekemään työtään. Usein se ei ole AI-malli, joka on viallinen, vaan ympäröivä ympäristö. Kuten tutkijat sanovat, GenAI ei epäonnistu laboratoriossa; se epäonnistuu yrityksessä, kun se törmää epämääräisiin tavoitteisiin, huonoon dataan ja organisaatioksiin. Käytännössä useimmat AI-pilotit jumiutuvat konseptin todistamisvaiheeseen eivätkä valmistu tuotantoon.

Tämä todellisuustarkistus on arvokas oppitunti. Se kertoo meille, että vaikka datatiimit ovat nyt keskipisteenä, useimmat kamppailevat korkeiden odotusten kanssa. GenAI:n onnistumisen vuoksi on ylitettävä huomattavasti korkeampi kynnys kuin mitä teimme vanhassa BI-päivissä.

Ylittämällä älykkäät kysymykset: Data, hallinto ja infrastruktuuri merkitsevät

Mitä erottaa 5%:n AI-projekteja, jotka menestyvät, 95%:sta, jotka epäonnistuvat? Kokemukseni (ja tutkimuksen vahvistama) mukaan voittajat keskittyvät perustavanomaisten kykyjen kehittämiseen – data, hallinto ja infrastruktuuri. GenAI ei ole magiaa; se on rakennettu datasta. Ilman laadukkaita, hyvin hallittuja data-piipureita, joiden avulla mallit voivat toimia, jopa parhaat AI:tulokset ovat epävakaita. Summit Partners totesi asian hyvin viimeaikaisessa analyysissään: ”järjestelmän tai prosessin, joka käyttää AI:ta, menestys riippuu datasta, jonka se hyödyntää, sen rakenteesta ja saatavuudesta”.

Käytännössä tämä tarkoittaa, että organisaatioiden on panostettava data-arkkitehtuuriin ja hallintoon GenAI:n omaksumisen yhteydessä. Onko yhtenäisiä, saatavilla olevia data-varastoja, joista AI voi hyötyä (ja tarkoitan kaikkia data-varastoja, mukaan lukien datakeskukset, hyperskalareiden ja kolmannen osapuolen SaaS-järjestelmien joukko)? Onko se data puhdistettu, kuratoitu ja sääntelyn mukainen? Onko selkeä data-peräisin ja auditointi (jotta voidaan luottaa AI-tuloksiin ja tietää, miten ne tulivat olemaan)? Nämä kysymykset ovat nyt eturintamassa.

GenAI pakottaa yritykset lopulta saamaan datatalonsa järjestykseen

Hallinto on myös saanut uuden merkityksen. Kun AI-malli voi potentiaalisesti generoida väärän vastauksen (tai loukkaavan), vankka hallinto ei ole enää valinnainen – se on pakollinen. Säätelyt, kuten versionhallinta, bias-tarkastukset, ihmisen osallistuminen ja tiukat turvallisuustoimenpiteet herkillä data-syötteillä, ovat olennaisia. Ilman asianmukaista hallintoa, koulutusta ja selkeästi määriteltyjä tavoitteita, jopa vahva AI-työkalu kamppailee saadakseen jalansijaa liiketoiminnassa.

Ja älä unohda infrastruktuuria. GenAI:n käyttöönotto suurella mittakaavalla vaatii merkittävää laskentakapasiteettia ja tiukkaa insinööritöitä. Malleja on palveltava reaaliajassa, mahdollisesti miljoonien kyselyjen yli matalalla viiveellä. Niiden tarvitsee olla GPU:ta tai erikoishardwarea, sekä jatkuva seuranta, ylläpito ja elinkaaren hallinta. Lyhykäisyydessä tarvitset teollisuusluokan AI-infrastruktuuria, joka on turvallinen, skaalautuva ja kestävä. Tässä tulee Private AI -käsite, joka yhdistää infrastruktuurin dataan ja hallintoon. Private AI tarkoittaa AI:n kehittämistä turvallisessa ja hallitussa ympäristössä, varmistaen data-turvauden ja sääntelyn.

Pohjimmiltaan GenAI:n menestys riippuu kolmesta pilarista: data, hallinto ja infrastruktuuri. Ilman yhtä, riskit siirtyminen 95%:iin projekteihin, jotka eivät koskaan skaalautuu demo-vaiheen yli.

Miksi AI-insinöörit eivät voi tehdä sitä yksin

Näiden vaatimusten perusteella on selvää, että yksinkertaisesti palkkaamalla muutamia lahjakkaita AI-insinöörejä ei ole hopealuoti. Olemme oppineet tämän oppitunnin viime vuosina data-alalla. Data-tieteen buumin alkuvaiheessa yritykset yrittivät löytää “unicorn”-data-tutkijoita, jotka voisivat tehdä kaiken – rakentaa malleja, kirjoittaa koodia, käsitellä dataa ja käyttöönottoa. Tämä myytti on sittemmin osoittautunut virheelliseksi. Kuten yksi veteraani-data-tutkija totesi, ”malli, joka on muistikirjassa, ei tee mitään liiketoiminnalle”. Sinun on upotettava se sovellukseen tai prosessiin, jotta se voi luoda arvoa. Ja sen tekeminen vaatii tiimiponnistelun, joka kattaa useita taitoja.

2010-luvun lopulla näimme datatiimien diversifioituvan eri rooleihin: data-insinöörit alkoivat rakentaa vankkoja piippureita, koneoppimisen insinöörit keskittyivät mallejen tuotantoon, analytiikka-insinöörit hallitsivat analytiikka-kerrosta, ja niin edelleen.

Nyt GenAI nostaa palkintoa entisestään. Kyllä, tarvitset AI-erikoisia (kuten prompt-insinöörejä, LLM-hienosäätöä jne.), mutta nämä erikoiset henkilöt törmäisivät esteeseen, jos heillä ei olisi kypsiä data-piippureita, hallintorakenteita ja turvallisia alustoja, joilla työskennellä. AI-insinööri voi prototyyppirakentaa loistavan kielen mallin hiekkalaatikossa, mutta muuttaa sen tuotteeksi, jota tuhannet tai miljoonat käyttävät, vaatii yhteistyötä turvallisuustiimien, sääntelyviranomaisten, data-arkkitehtien, sivujen luotettavuusinsinöörien ja muiden kanssa.

AI on joukkuepeli. On houkuttelevaa ajatella, että voit pudottaa valmiin mallin liiketoimintaan ja saada aikaan AI-vetoinen yritys. Yritykset, jotka menestyvät AI:ssa, ovat ne, jotka ovat rakentaneet monialaisia tiimejä tai “AI-tehtaita”, jotka yhdistävät kaikki nämä palaset. Heidän datatiiminsä ovat kehittyneet full-stack AI-tuotetiimeiksi, yhdistäen dataa, mallintamista, insinööritöitä ja operatiivista osaamista. He rakentavat ja käyttöönottoivat työkalujaan data-johtoisella, tuote-johtoisella tavalla, jossa arvonluonti on upotettu jokaiseen KPI:hen.

Seuraava datatiimien sukupolvi

Mitä tulevaisuus pitää datatiimille? Tässä on vilkaisu, mitä on tulossa seuraavina vuosina:

• Vähemmän manuaalista ETL/ELT:tä: Vaativaa data-murskaamista vähenee. Automaattisten data-piippureiden ja AI-tuen ansiosta tiimit eivät enää viettäisi puolta ajastaan datasta huolehtimassa. Data-esivalmistelun raskas työ on yhä enemmän älykkäiden järjestelmien hallinnassa, jolloin ihmiset voivat keskittyä korkeampiin suunnittelun ja laadunvalvonnan tehtäviin.
• Vähemmän dashboard-eja: Dashboard-ejen jatkuvan muokkauksen aikakausi on häviämässä. AI mahdollistaa luonnollisen kielen kyselyt ja dynaamiset oivallukset. Sen sijaan, että olisi ennalta määriteltyjä dashboard-eja jokaiselle kysymykselle, käyttäjät saavat vastauksia AI:lta (lähdetiedoineen). Datatiimit viettävät vähemmän aikaa staattisten raporttien kehittämisessä ja enemmän aikaa kouluttamassa AI:ta generoimaan oivalluksia lennossa.
• Enemmän AI-ominaista tuotekehitystä: Datatiimit ovat sydämessä tuote-innovaatioita. Olipa kyse uuden asiakasrajapintaisen AI-ominaisuuden kehittämisestä tai sisäisen AI-työkalun luomisesta, joka optimoi toimintoja, nämä tiimit toimivat tuotetiimeinä. He soveltavat ohjelmistokehityksen käytäntöjä, nopeaa prototyyppirakentamista, A/B-testausta ja käyttökokemussuunnittelua – ei pelkästään data-analyysiä. Jokainen datatiimi tulee olemaan AI-tuotetiimi, joka toimittaa suoran liiketoimintavaikutuksen.
• Automaattiset agentit nousussa: Lähitulevaisuudessa datatiimit käyttöönottoivat automaattisia AI-agenteja hoitamaan rutiininomaisia päätöksiä ja tehtäviä. Sen sijaan, että ne vain ennustaisivat tuloksia, nämä agentit ovat valtuutettuja tekemään tiettyjä toimia (valvontaa vastaan). Kuvittele AI-ops-agenttia, joka voi havaita poikkeaman ja automaattisesti avata korjauspyynnön, tai myynti-AI-agenttia, joka säätää e-commerce-hintoja reaaliajassa. Datatiimit ovat vastuussa näiden agenttien rakentamisesta ja hallinnasta, ja ne työntävät automaation rajoja.

Tässä valossa voi tosiaan sanoa, että “datatiimit, joita tunsimme, ovat kuolleet”. Taulukkolaskenta- ja dashboard-ammattilaiset ovat antaneet tilaa uudelle: AI-ensin tiimeille, jotka ovat sujuvan datan, koodin ja liiketoimintastrategian hallitsijoita. Mutta kaukana siitä, että se olisi suru, se on juhla. Uusi datatiimien sukupolvi on vasta alkamassa, ja he ovat arvokkaampia kuin koskaan

Niin, muistakaa, data-insinööri on kuollut, pitkä elämä data-insinöörille! Datatiimit, joita tunsimme, ovat poissa, mutta pitkä elämä uusille datatiimeille – olkoon heille viisautta, vastuuta ja rohkeutta tässä AI-vetovassa maailmassa.