Echipele de date sunt moarte, trăiască echipele de date

Da, titlul este clicbait și provocator, dar ca CTO cu mulți ani de experiență în domeniul datelor, am fost martor la o transformare care justifică dramatismul. Echipa tradițională de date – echipa din spatele scenei care procesa rapoarte și tablouri de bord – este, în esență, moartă. În locul ei, o nouă categorie de echipe de date este în curs de apariție: o echipă puternică, axată pe produs și pe inteligență artificială, cu impact direct asupra veniturilor. Ele nu mai sunt un centru de cost, ci un grup care generează profit.

Călătoria de la Business Intelligence la Machine Learning

Nu demult, echipele de date erau sinonime cu inteligența afacerilor (BI). Eram istoricii datelor companiei, trăind în SQL și foi de calcul, însărcinați cu răspunsul la întrebarea “Ce s-a întâmplat în ultimul trimestru?” Odată cu apariția tehnologiilor Big Data, cum ar fi Hadoop, și cu termenul de “om de știință a datelor” devenind noul job sexy, echipele de date s-au evoluat. În mijlocul anilor 2010, făceam mai mult decât rapoarte; ne-am aventurat în vizualizarea datelor și analiza interactivă, producând tablouri de bord dinamice pentru fiecare departament. Jobul era despre manipularea datelor, amestecarea seturilor de date din surse și forme disparate și încercarea de a înțelege cunoștințele de domeniu.

Apoi, sfârșitul anilor 2010 a adus era învățării automatizate. Echipele de date au început să angajeze oameni de știință a datelor pentru a construi modele predictive și a descoperi insight-uri în seturi de date uriașe. Ne-am mutat de la descrierea trecutului la prezicerea viitorului: modele de părăsire, motoare de recomandare, previziuni de cerere – numiți-le. Dar chiar și atunci, rezultatele noastre erau prezentări și insight-uri, nu produse live. Funcționam ca un birou de servicii interne, sfătuind afacerea prin analize. Cu alte cuvinte, eram centre de cost – valoroși, da, dar la un pas distanță de produsul principal și de venituri.

În cele mai bune cazuri, echipele de învățare automatizată erau dispersate în unități separate sau integrate în cadrul grupurilor de produse, astfel încât modelele și inferențele lor să poată fi integrate pe deplin în platforme. Marea diviziune a condus la numeroase proiecte eșuate, investiții scufundate și oportunități pierdute.

GenAI: De la funcția de suport la centru de profit

Apoi a apărut GenAI și totul s-a schimbat. Lansarea unor modele de limbaj puternice, cum ar fi familia GPT și variantele open-source precum Llama, a răsturnat peisajul virtual peste noapte. Deodată, echipele de date nu mai erau doar analize ale afacerii, ci au devenit esențiale pentru construirea produselor și experiențelor cu inteligență artificială. Când integrezi cu succes un LLM într-o aplicație cu interfață cu clienții sau într-un flux de lucru intern, nu mai informezi doar afacerea; o conduci. Un sistem GenAI bine implementat poate automatiza suportul clienților, genera conținut de marketing, personaliza experiențele utilizatorilor sau chiar furniza datele necesare pentru a informa și antrena sistemele de inteligență artificială emergente. Aceste capacități afectează direct fluxurile de venituri. În esență, produsul muncii echipei de date s-a mutat de la diapozitive PowerPoint la aplicații live cu putere de inteligență artificială.

Echipele GenAI au început cu grupurile de inovare, livrând dovezi de concept care generau “factorul wow”. Și, în curând, toată lumea era inginer de inteligență artificială, răspândind IT-ul umbrit în organizații.

Echipele de date s-au confruntat în curând cu o nouă întrebare: “Când veți deveni un centru de profit?” Pe măsură ce inginerii de inteligență artificială au început să creeze unelte uimitoare, a devenit clar că era timpul să fuzionăm două echipe: cei care controlau datele și cei care construiau aplicațiile.

Luați în considerare o companie de retail care implementează un chatbot GenAI pentru a gestiona întrebările de vânzări sau o bancă care lansează un consilier de investiții personalizat condus de inteligență artificială. Acestea nu sunt proiecte tradiționale de IT; sunt produse digitale care creează valoare pentru clienți și generează venituri. Cu toate acestea, pentru a crea astfel de sisteme la scară, echipele de inginerie a inteligenței artificiale au nevoie de a avea acces și de a operaționaliza datele pe care echipele tradiționale le-au pregătit.

Directorii executivi au observat. Așteptările de la echipele de date sunt foarte mari acum, cu consilii de administrație și CEO-uri care se uită la noi pentru a livra următorul vector de creștere alimentat de inteligență artificială. Ne-am mutat de la a fi analiști din spatele scenei la inovatori de linia întâi. Este o poziție emoționantă în care ne aflăm, dar vine cu o presiune intensă de a livra rezultate la scară.

De la explorare la produs – O ușă cu sens unic

Trecerea de la analiza exploratorie la inteligența artificială axată pe produs este profundă și ireversibilă. De ce ireversibilă? Pentru că impactul GenAI asupra afacerilor se dovedește a fi prea mare pentru a fi relegat înapoi la un jucărie de R&D. Conform unui sondaj global recent, 96% din liderii IT au integrat deja inteligența artificială în procesele lor de bază – față de 88% doar cu un an înainte. Cu alte cuvinte, aproape toate întreprinderile au trecut de la experimentarea cu inteligența artificială la încorporarea ei în fluxuri de lucru critice pentru misiune. Odată ce ai trecut de acest prag în care inteligența artificială livrează valoare în producție, nu mai poți reveni.

Acest nou focus pe inteligența artificială schimbă tempo-ul și mentalitatea echipelor de date. În trecut, aveam luxul de a avea proiecte de descoperire pe termen lung și analize deschise. Astăzi, dacă construim o funcție de inteligență artificială, aceasta trebuie să fie gata pentru producție, conformă și fiabilă – ca orice produs cu interfață cu clienții. Am intrat în ceea ce unii numesc “Epoca Autonomă” a științei datelor. Întrebarea care ne ghidează munca noastră nu mai este “Ce insight-uri putem descoperi?” ci “Ce sistem inteligent putem construi care acționează pe baza insight-urilor în timp real?”

Sistemele GenAI nu mai răspund doar la întrebări; ele încep să ia decizii. Este o ușă cu sens unic: după ce ai experimentat acest tip de autonomie și impact, companiile nu se vor mulțumi cu rapoarte statice și luarea deciziilor manuale. Acum, mai mult ca oricând, echipele de date trebuie să fie orientate către stakeholder și produs.

Adevărul dur: De ce majoritatea inițiativelor GenAI eșuează

În mijlocul tuturor entuziasmului, există o realitate sobră: majoritatea inițiativelor GenAI eșuează. Se dovedește că implementarea cu succes a GenAI este extrem de dificilă. Un studiu recent MIT a descoperit că un procent îngrijorător de 95% din proiectele-pilot de inteligență artificială ale întreprinderilor nu livrează un ROI măsurabil. Doar aproximativ 5% din proiectele de inteligență artificială obțin câștiguri rapide de venituri sau impact de afaceri semnificativ. Acest lucru nu se datorează lipsei de potențial – se datorează complexității de a face inteligența artificială corect.

Analizând cauzele eșecului, cercetarea MIT prezintă o imagine clară. Multe proiecte se împotmolesc din cauza “hype-ului peste munca grea” – echipele urmăresc cazuri de utilizare demonstrativă spectaculoase în loc de a investi în fundamentalele plictisitoare ale integrării, validării și monitorizării. Altele eșuează din cauza sindromului clasic “gunoi în, gunoi afară” – calitatea slabă a datelor și conductele de date izolate condamnă proiectul înainte ca inteligența artificială să-și facă treaba. Desigur, nu modelul de inteligență artificială este defect, ci mediul înconjurător. Așa cum spun cercetătorii, GenAI nu eșuează în laborator; eșuează în întreprindere atunci când se ciocnește de obiective vagi, date slabe și inerție organizațională. În practică, majoritatea proiectelor de inteligență artificială se opresc la stadiul de demonstrație și nu ajung niciodată la implementarea deplină în producție.

Această verificare a realității este o lecție valoroasă. Ne spune că, deși echipele de date sunt acum în lumina reflectoarelor, majoritatea luptă pentru a-și îndeplini așteptările crescute. Pentru ca GenAI să reușească la scară, trebuie să trecem peste o bară semnificativ mai înaltă decât am făcut-o în vechile zile ale BI.

Dincolo de prompt-uri inteligente: Date, guvernanță și infrastructură contează

Ce separă 5% din proiectele de inteligență artificială care prosperă de 95% care eşuează? În experiența mea (și așa cum confirmă cercetarea), câștigătorii se concentrează pe capacități fundamentale – date, guvernanță și infrastructură. GenAI nu este magic; se bazează pe date. Fără fluxuri de date de înaltă calitate, bine guvernate, care alimentează modelele dvs., chiar și cea mai bună inteligență artificială va produce rezultate eratice. Summit Partners a spus-o bine într-o analiză recentă: “succesul oricărui sistem sau proces care utilizează inteligența artificială se bazează pe calitatea, structura și accesibilitatea datelor care îl alimentează.”

În termeni practici, acest lucru înseamnă că organizațiile trebuie să se concentreze pe arhitectura datelor și guvernanța lor pe măsură ce adoptă GenAI. Aveți depozite de date unificate, accesibile, pe care inteligența dvs. artificială le poate extrage (și mă refer la toate depozitele de date, inclusiv centre de date, hyperscalers și sisteme SaaS de la terți, printre altele)? Este acea dată curățată, curată și conformă cu reglementările? Există o linie de date clară și auditabilă (astfel încât să puteți încredința ieșirile inteligenței artificiale și să știți cum au fost create)? Aceste întrebări sunt acum în prim-plan.

GenAI îi obligă pe oameni să-și pună casa în ordine cu datele.

Guvernanța a căpătat, de asemenea, o semnificație nouă. Când un model de inteligență artificială poate genera un răspuns greșit (sau unul ofensator), o guvernanță robustă nu este opțională – este obligatorie. Controale precum versionarea, verificarea prejudecăților, revizuirea umană și măsurile de securitate stricte în jurul intrărilor de date sensibile sunt esențiale. Fără o guvernanță corespunzătoare, antrenament și obiective clare, chiar și un instrument de inteligență artificială puternic va lupta pentru a câștiga teren în afaceri.

Și să nu uităm de infrastructură. Implementarea GenAI la scară necesită o putere de calcul semnificativă și o inginerie riguroasă. Modelele trebuie să fie servite în timp real, pe sute de milioane de cereri cu latență scăzută. Ele necesită adesea GPU-uri sau hardware specializat, precum și monitorizarea, reținerea și gestionarea ciclului de viață continuă. Scurt spus, aveți nevoie de o infrastructură de inteligență artificială industrială care să fie securizată, scalabilă și rezilientă. Acesta este locul în care conceptul de Inteligență Artificială Privată vine ca un cadru care unește infrastructura cu datele și guvernanța. Inteligența Artificială Privată se referă la dezvoltarea inteligenței artificiale într-un mediu controlat și securizat, asigurând securitatea și conformitatea datelor.

Linia de jos este că succesul GenAI depinde de armonia a trei piloni: date, guvernanță și infrastructură. Fără una dintre ele, risciți să vă alăturați celor 95% din proiecte care nu vor scala dincolo de stadiul demo.

De ce inginerii de inteligență artificială nu pot face totul singuri

Având în vedere aceste cerințe, este clar că simpla angajare a câtorva ingineri de inteligență artificială talentați nu este o soluție magică. Am învățat această lecție în ultimii ani în industria datelor. În zilele de început ale boom-ului științei datelor, companiile au încercat să găsească “unicorni” – oameni de știință a datelor care puteau face totul – construi modele, scrie cod, gestiona date și implementare. Acest mit a fost de atunci demontat. Așa cum a spus un veteran al științei datelor, “un model care stă într-un caiet nu face nimic în realitate pentru afacere.” Trebuie să încorporați acel model într-o aplicație sau proces pentru a crea valoare. Și asta necesită un efort de echipă care acoperă multiple seturi de abilități.

În ultimii ani, am văzut echipele de date diversificându-se în roluri distincte: inginerii de date au început să construiască conducte de date robuste, inginerii de învățare automatizată s-au concentrat pe producționarea modelelor, inginerii de analize au gestionat stratul de analize și așa mai departe.

Astăzi, GenAI ridică bariera și mai sus. Da, aveți nevoie de specialiști în inteligență artificială (ingineri de prompt, finisori LLM etc.), dar acești specialiști vor lovi un zid dacă nu au conducte de date mature, cadre de guvernanță și platforme securizate cu care să lucreze. Un inginer de inteligență artificială poate prototipa un model de limbaj excelent într-un sandbox, dar transformarea lui într-un produs utilizat de mii sau milioane necesită colaborarea cu echipele de securitate, ofițerii de conformitate, arhitecții de date, inginerii de fiabilitate a site-ului și mulți alții.

Inteligența artificială este un sport de echipă. Este tentant să crezi că poți să plasezi un model de inteligență artificială de ultimă generație în afacerea ta și, brusc, să ai o întreprindere condusă de inteligență artificială. Companiile care reușesc cu inteligența artificială sunt cele care au construit echipe transfuncționale, sau “fabrici de inteligență artificială”, care aduc toate aceste piese împreună. Echipele lor de date s-au transformat, de fapt, în echipe de produse de inteligență artificială de ultimă generație, amestecând expertiza în date, modelare, inginerie și operațiuni. Ei construiesc și implementează instrumentele lor într-un mod condus de date și orientat către produs, cu generarea valorii încorporată în fiecare KPI.

Următoarea generație de echipe de date

Deci, ce ne așteaptă pentru noua “echipă de date”? Iată o privire asupra a ceea ce vine pentru aceste echipe în următorii ani:

• Mai puțină manipulare manuală a datelor (ETL/ELT): Manipularea plictisitoare a datelor va dispărea. Cu conducte de date mai automate și integrare asistată de inteligență artificială, echipele nu vor mai petrece jumătate din timpul lor curățând și mutând date. Munca de pregătire a datelor va fi gestionată din ce în ce mai mult de sisteme inteligente, permițând oamenilor să se concentreze pe designul și controlul calității de nivel superior.
• Mai puține tablouri de bord: Era ajustării infinite a filtrelor de tablouri de bord este pe cale de a dispărea. Inteligența artificială va permite interogări mai naturale și livrări de insight-uri dinamice. În loc de tablouri de bord preconcepute pentru fiecare întrebare, utilizatorii vor primi răspunsuri conversaționale de la inteligența artificială (cu datele sursă atașate). Echipele de date vor petrece mai puțin timp dezvoltând rapoarte statice și mai mult timp antrenând inteligența artificială pentru a genera insight-uri pe loc.
• Mai multă dezvoltare de produse native de inteligență artificială: Echipele de date vor fi în inima inovației de produse. Indiferent dacă este vorba de dezvoltarea unei noi funcții de inteligență artificială cu interfață cu clienții sau a unui instrument intern de inteligență artificială care optimizează operațiunile, aceste echipe vor acționa ca echipe de produse. Ei vor utiliza practici de dezvoltare de software, prototipare rapidă, testare A/B și proiectare a experienței utilizatorului – nu doar analize de date. Fiecare echipă de date va deveni, în esență, o echipă de produse de inteligență artificială care livrează valoare directă de afaceri.
• Agenți autonomi pe creștere: În viitorul nu prea îndepărtat, echipele de date vor implementa agenți autonomi de inteligență artificială pentru a gestiona decizii și sarcini rutiniere. În loc să doar prezică rezultate, acești agenți vor fi autorizați să ia anumite acțiuni (cu supraveghere). Imaginați-vă un agent de operațiuni de inteligență artificială care poate detecta o anomalie și deschide automat un bilet de remediere, sau un agent de vânzări de inteligență artificială care ajustează prețurile de comerț electronic în timp real. Echipele de date vor fi responsabile de construirea și gestionarea acestor agenți, extinzând granițele a ceea ce se poate automatiza.

În lumina acestor schimbări, se poate spune, într-adevăr, că “echipele de date, așa cum le știam, sunt moarte.” Specialiștii în foi de calcul și “plumbers” de tablouri de bord au cedat locul unui lucru nou: echipe axate pe inteligență artificială care sunt fluente în date, cod și strategie de afaceri. Dar departe de a fi un elogiu funebru, aceasta este o sărbătoare. Noua generație de echipe de date abia începe, și ele sunt mai valoroase ca niciodată

Deci, amintiți-vă, inginerul de date este mort, trăiască inginerul de date! Echipele de date, așa cum le știam, au dispărut, dar trăiască noile echipe de date – să domnească în lumea condusă de inteligență artificială, cu insight, responsabilitate și îndrăzneală.