Datatiimit ovat kuolleet, pitkä elämä datatiimeille

Kyllä, otsikko on klikkiä ja provokatiivinen, mutta CTO:na, jolla on monen vuoden kokemus datasta, olen todistanut muodonmuutoksen, joka oikeuttaa dramatiikan. Perinteinen “datatiimi” – takahuoneen joukkio, joka murskaa raportteja ja dashboard-eja, on käytännössä kuollut. Sen tilalla on nousemassa uudenlainen datatiimi: AI-ensin, tuotejohtoinen voimanpesä, jolla on suora vaikutus liikevaihtoon. Ne eivät enää ole kustannuskeskuksia, vaan voittoa tuottavia ryhmiä.

Matka liiketoimintatiedosta koneoppimiseen

Ei ole kulunut kauan aikaa, kun datatiimit olivat synonyymejä liiketoimintatiedolle (BI). Olimme yrityksen datan historioitsijat, elävät SQL:ssa ja taulukoissa, tehtävänämme oli vastata “Mitä tapahtui viime neljänneksellä?” Kun suuret datateknologiat, kuten Hadoop, tulivat esiin ja termejä “data- tutkija” tuli uusi “seksikäs” työ, datatiimit kehittyivät. Kesken 2010-luvun olimme tekemässä enemmän kuin raportointia; suunnistimme data visualisoinnin ja interaktiivisen analytiikan, tuottamalla dynaamisia dashboard-eja jokaiselle osastolle. Työ oli data-kierrättämistä, sekoittamasta eri lähteistä ja muodoista tulevaa dataa ja yrittämästä ymmärtää toimialatietoa.

Sitten 2010-luvun lopulla tuli koneoppimisen aikakausi. Datatiimit alkoivat palkata data-tutkijoita rakentamaan ennustemalleja ja löytämään oivalluksia laajoista datasaamisista. Siirryimme kuvaamasta menneisyydestä ennustamaan tulevaisuutta: asiakkaan lojaalisuusmallit, suositusmoottorit, kysyntäennusteet – nimetä vain. Mutta jopa silloin tuloksemme olivat PowerPoint-esitykset ja oivallukset, eivät live-tuotteita. Toimimme sisäisen palvelun toimistona, neuvomalla liiketoimintaa analyysin kautta. Toisin sanoen, olimme kustannuskeskuksia – arvokkaita, kyllä, mutta yhden askeleen päässä ydintuotteen ja liikevaihdon.

GenAI: Tuesta toiminnosta voittoa tuottavaan

Sitten GenAI saapui ja kaikki muuttui. Voimakkaiden suurten kielen mallien, kuten GPT-perheen ja avoimen lähdekoodin varianttien, kuten Llaman, julkaisu käänsi maiseman lähes yötä hiljaa. Yhtäkkiä datatiimit eivät enää vain analysoineet liiketoimintaa, vaan tulivat oleellisiksi rakentamaan AI-tuotteita ja -kokemuksia. Kun onnistut integroimaan LLM: n asiakkaan käyttöliittymään tai sisäiseen työvirran, et enää vain informoi liiketoimintaa; ajat liiketoimintaa. Hyvin toteutettu GenAI-järjestelmä voi automatisoida asiakastukea, luoda markkinointisisältöä, personoida käyttökokemuksia tai jopa tarjota tarvittavat tiedot kouluttamaan ja kouluttamaan uusia agenteja. Nämä ominaisuudet vaikuttavat suoraan liikevaihtoon. Käytännössä datatiimin työn tulos on siirtynyt PowerPoint-esityksistä live-AI-voimaisiin sovelluksiin.

GenAI-tiimit alkoivat innovaatioryhmistä, toimittamalla konseptin, joka tuotti “wow-vaikutuksen”. Ja pian kaikki olivat AI-insinöörejä, leviämässä varjotietokoneita organisaatioihin.

Datatiimit löysivät itsensä vastassa uuden kysymyksen: “Milloin tulette voittoa tuottavaksi?” Kun AI-insinöörit alkoivat luoda upeita työkaluja, oli selvää, että oli aika yhdistää kaksi tiimiä: ne, jotka hallitsivat dataa, ja ne, jotka rakensivat sovellukset.

Tarkastellaan vähittäiskauppayritystä, joka käyttää GenAI-chatbottia myyntikyselyihin, tai pankkia, joka lanseeraa AI-ohjatun, räätälöidyn sijoittajan. Nämä eivät ole perinteisiä IT-sivuprojekteja – ne ovat digitaalisia tuotteita, jotka luovat asiakasarvoa ja tuottavat liikevaihtoa. Mutta samaan aikaan, luodakseen nämä järjestelmät laajassa mittakaavassa, AI-insinöörien on pystyttävä käyttämään ja operationalisoimaan dataa, jonka perinteiset tiimit ovat valmistaneet.

Johtajat ovat huomanneet. Datatiimien odotukset ovat nyt taivaalla, ja hallitukset ja toimitusjohtajat odottavat meiltä seuraavaa AI-vetovoimaa. Olemme siirtyneet taustalla olevista analyytikoista eturintamien innovaattoreiksi. Se on jännittävä asema, mutta se tulee voimakkaan paineen kera toimittaa tuloksia laajassa mittakaavassa.

Tutkimuksesta tuotteeseen – yksisuuntainen ovi

Siirtymä tutkimusanalyysistä tuote-keskeiseen AI:hen on syvä ja kääntymätön. Miksi kääntymätön? Koska GenAI:n vaikutus liiketoimintaan on osoittautunut liian suureksi palauttaa takaisin R&D-lelun. Viimeisimmän maailmanlaajuisen kyselyn mukaan 96% IT-johtajista on jo integroinut AI:n ydinkäyttöön – nousua 88%: sta vain vuosi sitten. Toisin sanoen, lähes jokainen yritys on siirtynyt kokeilemasta AI:ta upottamalla sen tärkeisiin työvirtoihin. Kun ylität kynnyksen, jossa AI tuottaa arvoa tuotannossa, ei ole paluuta.

Tämä uusi AI-vetovoimainen fokus muuttaa datatiimien tahtia ja asennetta. Menneisyydessä meillä oli yleensä pitkien löytöprojektien ja avoimien analyysien etuoikeus. Nykyään, jos rakennamme AI-ominaisuutta, se on oltava valmis tuotantoon, säännelty ja luotettava – kuten mikä tahansa asiakaskohtainen tuote. Olemme menneet siirtymään “Autonomous Ageen” data-tieteessä. Kysymys, joka ohjaa työtämme, ei enää ole “mitä oivalluksia voimme löytää?” vaan “mikä älykäs järjestelmä voimme rakentaa, joka toimii oivalluksilla reaaliajassa?”

GenAI-järjestelmät eivät vain vastaa kysymyksiin; ne alkavat tehdä päätöksiä. Se on yksisuuntainen ovi: kun yritykset ovat kokeneet tällaisen autonomian ja vaikutuksen, eivät ne enää tyydy statisiin raportteihin ja manuaaliseen päätöksentekoon. Nyt enemmän kuin koskaan datatiimien on oltava sidosryhmä- ja tuote-keskeisiä.

Kovaa totuutta: Miksi useimmat GenAI-aloitukset epäonnistuvat

Kaiken jännityksen keskellä on vakava todellisuus: useimmat GenAI-aloitukset epäonnistuvat. On paljastunut, että GenAI:n onnistunut käyttöönotto on erittäin haasteellista. Viimeisimmän MIT-tutkimuksen mukaan hämmästyttävät 95% yritysten GenAI-pilottiprojekteista eivät koskaan tuota mitattavaa ROI:ta. Vain noin 5% AI-piloteista saavuttaa nopeasti liikevaihdon kasvua tai merkittävää liiketoimintavaikutusta. Tämä ei johdu potentiaalin puutteesta – se johtuu siitä, että AI:n tekeminen oikein on monimutkaista.

Syynät epäonnistumiseen ovat selvät. Monet projektit kompastuvat “hype ylittää kovaa työtä” – tiimit ajavat loistavia demo-esimerkkejä sen sijaan, että panostavat perusteellisiin perusteisiin, kuten integraatioon, validointiin ja seurantaan. Toiset epäonnistuvat klassisesta “roska sisään, roska ulos” – oireyhtymästä – huonon datan laatu ja eristyneet data-piiput tuhoavat projektin ennen kuin AI pääsee tekemään työtään. Usein se ei ole AI-malli, joka on vikapeli, vaan ympäröivä ympäristö. Tutkijat toteavat, että GenAI ei epäonnistu laboratoriossa; se epäonnistuu yrityksessä, kun se törmää epämääräisiin tavoitteisiin, huonoon dataan ja organisaatiiviseen jäykkyuteen. Käytännössä useimmat AI-pilottiprojektit jumiutuvat konseptivaiheeseen eivätkä valmistu tuotantoon.

Viisaampaa kuin älykkäät kehotukset: Data, hallinto ja infrastruktuuri merkitsevät

Mitä erottaa 5% onnistuneista AI-projekteista 95%: sta, jotka epäonnistuvat? Kokemukseni (ja tutkimuksen vahvistaa) voittajat keskittyvät perusrakenteisiin – data, hallinto ja infrastruktuuri. GenAI ei ole magiaa; se on rakennettu datasta. Ilman laadukkaita, hyvin hallittuja data-piippuja, joiden avulla mallit voivat toimia, jopa parhaimmat AI:t tuottavat epätasaisia tuloksia. Summit Partners toteaa viimeisimmässä analyysissään: “järjestelmän tai prosessin menestys, joka käyttää AI:ta, riippuu datan laadusta, rakenteesta ja saatavuudesta, joka sitä ruokkii.”

Käytännössä tämä tarkoittaa, että organisaatioiden on panostettava data-arkkitehtuuriin ja hallintoon GenAI:n omaksumisen yhteydessä. Onko yhdistetty, saatavilla oleva data-varasto, josta AI voi piirtää (ja tarkoitan kaikkia data-varastoja, mukaan lukien datakeskukset, hyperskalaajat ja kolmannen osapuolen SaaS-järjestelmät jne.)? Onko se data puhdistettu, kuratoitu ja sääntelyn mukainen (jotta voidaan luottaa AI-tuloksiin ja tietää, miten ne tulivat olemaan)? Onko selkeä datajäljitettävyys ja auditointi (jotta voidaan luottaa AI-tuloksiin ja tietää, miten ne tulivat olemaan)? Nämä kysymykset ovat nyt eturintamassa.

GenAI pakottaa yritykset lopulta järjestämään datatalonsa kuntoon.

Hallinto on myös saavuttanut uuden merkityksen. Kun AI-malli voi mahdollisesti tuottaa väärän vastauksen (tai loukkaavan vastauksen), vankka hallinto ei ole vapaaehtoista – se on pakollista. Säätelyt, kuten versionhallinta, bias-tarkistukset, ihmisen rooli arvioinnissa, tiukat turvallisuusjärjestelyt herkillä data-syötteillä, ovat välttämättömiä. Ilman asianmukaista hallintoa, koulutusta ja selkeästi määriteltyjä tavoitteita, jopa vahva AI-työkalu kamppailee saadakseen jalansijaa liiketoiminnassa.

Ja älä unohda infrastruktuuria. GenAI:n käyttöönotto laajassa mittakaavassa vaatii merkittävää laskentatehoa ja tiukkaa insinööritöitä. Malleja on palveltava reaaliajassa, mahdollisesti miljoonien kyselyjen yli, alhaisella viiveellä. Niiden tarvitsee olla GPU: ta tai erikoishardware, sekä jatkuva seuranta, ylläpito ja elinkaaren hallinta. Lyhykäisyydessä tarvitset teollisuusluokan AI-infrastruktuurin, joka on turvallinen, skaalautuva ja kestävä. Tässä tulee Private AI mukaan kehyksenä, joka yhdistää infrastruktuurin dataan ja hallintoon. Private AI viittaa AI:n kehittämiseen turvallisessa ja turvatussa ympäristössä, varmistaen datan turvallisuuden ja sääntelyn.
Tärkeintä on, että GenAI:n menestys riippuu kolmen pilarin harmoniasta: data, hallinto ja infrastruktuuri. Ilman yhtä, riskit siirtyä 95%: iin projekteihin, jotka eivät koskaan skaalauta esittelyvaiheen ulkopuolelle.

Miksi AI-insinöörit eivät voi tehdä sitä yksin

Näiden vaatimusten perusteella on selvää, että yksinkertaisesti palkkaamalla muutamia lahjakkaita AI-insinöörejä ei ole hopealuoti. Olemme oppineet tämän oppitunnin viimeisten vuosien aikana data-alalla. Data-tieteen buumin alkuvaiheessa yritykset yrittivät löytää “yksisarvisen” data-tutkijan, joka voisi tehdä kaiken – rakentaa malleja, kirjoittaa koodia, käsitellä dataa ja käyttöönottoa. Tämä myytti on sittemmin osoittautunut virheelliseksi. Kuten yksi veteraani data-tutkija totesi, “malli, joka on notebookissa, ei tee mitään liiketoiminnalle.” Sinun on upotettava se sovellukseen tai prosessiin, jotta se voi luoda arvoa. Ja tekemällä sen vaatii tiimiponnistelun, joka kattaa useita taitoja.

2010-luvun lopulla näimme datatiimien monipuolistuvan eri rooleihin: data-insinöörit alkoivat rakentaa vankkoja piippuja, koneoppimisen insinöörit keskittyivät mallien tuotantoon, analytiikka-insinöörit hallitsivat analytiikka-kerrostaa jne.
Nykyään GenAI nostaa palkin yhä korkeammaksi. Kyllä, tarvitset AI-erikoisia (kehotus-insinöörejä, LLM:n hienosäätöä jne.), mutta nämä erikoiset osaajat törmäisivät esteisiin, jos heillä ei ole kypsiä data-piippuja, hallintokehyksiä ja turvallisia alustoja, joilla työskennellä. AI-insinööri voi prototyyppiä erinomaisen kielen mallin hiekkalaatikossa, mutta muuttaa se tuotteeksi, jota tuhannet tai miljoonat käyttävät, vaatii yhteistyötä turvallisuuden, sääntelyn, data-arkkitehtien, sivujen luotettavuuden insinöörien ja muiden kanssa.

AI on joukkuepeli. On houkuttelevaa ajatella, että voit pudottaa valmiin mallin liiketoimintaasi ja yhtäkkiä sinulla on AI-vetoinen yritys. Yritykset, jotka menestyvät AI:ssa, ovat ne, jotka ovat rakentaneet monitoimijatiimejä tai “AI-tehtaita”, jotka yhdistävät nämä palat. Heidän datatiiminsä ovat käytännössä kehittyneet full-stack AI-tuotetiimeiksi, yhdistäen data, mallinnus, insinööritöiden ja operatiivisen osaamisen. He rakentavat ja käyttöönottoivat työkalujaan data-johtoisella ja tuote-johtoisella tavalla, arvonluonti on upotettu jokaiseen KPI:hen.

Seuraava sukupolvi datatiimejä

Mitä tulevaisuus pitää datatiimille? Tässä on vilkas tulevista vuosista:

• Vähemmän manuaalista ETL/ELT: Vaivallinen data-kierrätys vähenee. Enemmän automaattisia data-piippuja ja AI-tukea, tiimit eivät vie puolta työajastaan data-puhdistukseen ja siirtämiseen. Data-esivalmistelun raskas työ on yhä enemmän älykkäiden järjestelmien hoidossa, jolloin ihmiset voivat keskittyä korkeamman tason suunnitteluun ja laadunvalvontaan.
• Vähemmän dashboard-eja: Dashboard-ejen loputtoman säätelyn aikakausi on häviämässä. AI mahdollistaa enemmän luonnollisen kielen kyselyjä ja dynaamisia oivalluksia. Sen sijaan, että kehittäisimme ennalta määritettyjä dashboard-eja jokaiseen kysymykseen, käyttäjät saavat vastauksia AI: lta (lähdetietoineen). Datatiimit viettävät vähemmän aikaa statisten raporttien kehittämiseen ja enemmän aikaa AI:n kouluttamiseen oivalluksia varten.
• Enemmän AI-ominaisuuden kehittämistä: Datatiimit ovat sydämessä tuote-innovaatiota. Olipa kyse uuden asiakaskohtaisen AI-ominaisuuden kehittämisestä tai sisäisen AI-työkalun luomisesta, joka optimoi toimintoja, nämä tiimit toimivat tuotetiimeinä. He soveltavat ohjelmistokehityksen käytäntöjä, nopeaa prototyyppien luomista, A/B-testausta ja käyttökokemussuunnittelua – ei vain data-analyysiä. Jokainen datatiimi on käytännössä AI-tuotetiimi, joka toimittaa suoraa liiketoimintaa arvoa.
• Autonominen agentit nousevat: Lähitulevaisuudessa datatiimit käyttöönottoivat autonominen AI-agentteja hoitamaan rutiininomaisia päätöksiä ja tehtäviä. Sen sijaan, että vain ennustaisimme tuloksia, nämä agentit on valtuutettu tekemään tiettyjä toimia (valvontaa). Kuvittele AI-ops-agenttia, joka voi havaita poikkeaman ja automaattisesti avata korjauspyynnön, tai myynti-AI-agenttia, joka säätää e-commerce-hintoja reaaliajassa. Datatiimit ovat vastuussa näiden agenttien rakentamisesta ja hallinnasta, työntäen autonomian rajoja.

Tässä valossa voi hyvin sanoa, että “datatiimit, joita tunnemme, ovat kuolleet.” Excel-taitajat ja dashboard-putkistot on korvannut jotain uutta: AI-ensin tiimit, jotka ovat taitavia datasta, koodista ja liiketoimintastrategiasta. Mutta kaukana siitä, että se olisi suru, se on juhla. Uusi sukupolvi datatiimejä on vasta alkamassa, ja he ovat arvokkaampia kuin koskaan

Niinpä, muista, data-insinööri on kuollut, pitkä elämä data-insinöörille! Datatiimit, joita tunnemme, ovat poissa, mutta pitkä elämä uusille datatiimeille – olkoon heidän hallitsevanaan tietämys, vastuu ja rohkeus tässä AI-vetovetoisessa maailmassa.