Echipele de date sunt moarte, trăiască echipele de date

Da, titlul este clickbaity și provocator, dar ca CTO cu mulți ani de experiență în domeniul datelor, am fost martorul unei transformări care justifică dramatismul. Echipa tradițională de date – echipa din spatele scenei care procesa rapoarte și dashboard-uri – este, în esență, moartă. În locul ei, o nouă specie de echipă de date este în curs de apariție: o echipă axată pe inteligență artificială, orientată spre produs, cu impact direct asupra veniturilor. Ei nu mai sunt un centru de cost, ci un grup care generează profit.

Călătoria de la Business Intelligence la Machine Learning

Nu demult, echipele de date erau sinonime cu inteligența afacerilor (BI). Eram istoricii datelor companiei, trăind în SQL și foi de calcul, însărcinați cu răspunsul la întrebarea “Ce s-a întâmplat în ultimul trimestru?” Pe măsură ce tehnologiile Big Data, cum ar fi Hadoop, au apărut și termenul “om de știință a datelor” a devenit noul job la modă, echipele de date s-au evoluat. În mijlocul anilor 2010, făceam mai mult decât rapoarte; ne-am aventurat în vizualizarea datelor și analitica interactivă, producând dashboard-uri dinamice pentru fiecare departament. Jobul era despre manipularea datelor, amestecarea seturilor de date din surse și forme disparate și încercarea de a înțelege cunoașterea domeniului.

Apoi, sfârșitul anilor 2010 a adus era învățării automatice. Echipele de date au început să angajeze oameni de știință a datelor pentru a construi modele predictive și a descoperi insight-uri în seturi de date uriașe. Ne-am mutat de la descrierea trecutului la prezicerea viitorului: modele de abandon, motoare de recomandare, previziuni de cerere – numiți-le. Dar chiar și atunci, rezultatele noastre erau prezentări și insight-uri, nu produse live. Funcționam ca un birou de servicii interne, consiliind afacerea prin analiză. Cu alte cuvinte, eram centre de cost – valoroși, da, dar la un pas de produsul și veniturile de bază.

În cele mai bune cazuri, echipele de învățare automată au fost dispersate în unități separate sau integrate în grupuri de produse, astfel încât modelele și inferențele lor să poată fi pe deplin integrate în platforme. Marea diviziune a condus la numeroase proiecte eșuate, investiții scufundate și oportunități pierdute.

GenAI: De la funcție de suport la centru de profit

Apoi a apărut GenAI și totul s-a schimbat. Lansarea unor puternice modele de limbaj mare, cum ar fi familia GPT și variantele open-source precum Llama, a răsturnat peisajul virtual peste noapte. Deodată, echipele de date nu mai erau doar analize ale afacerii, ci deveneau esențiale pentru construirea produselor și experiențelor bazate pe inteligență artificială. Când integrezi cu succes un LLM într-o aplicație orientată către client sau într-un flux de lucru intern, nu mai informezi doar afacerea; o conduci. Un sistem GenAI bine implementat poate automatiza suportul clienților, genera conținut de marketing, personaliza experiențele utilizatorilor sau chiar furniza datele necesare pentru a informa și antrena sistemele agențiale emergente de inteligență artificială. Aceste capacități afectează direct fluxurile de venituri. În esență, produsul muncii echipei de date s-a mutat de la diapozitive PowerPoint la aplicații live bazate pe inteligență artificială.

Echipele GenAI au început cu grupuri de inovare, livrând dovezi de concept care generau “factor wow”. Și curând, toată lumea era inginer de inteligență artificială, răspândind IT-ul în umbră în organizații.

Echipele de date s-au confruntat curând cu o nouă întrebare: “Când veți deveni un centru de profit?” Pe măsură ce inginerii de inteligență artificială creau unelte uimitoare, era clar că era timpul să fuzionați două echipe: cei care controlau datele și cei care construiau aplicațiile.

Luați în considerare o companie de retail care implementează un chatbot GenAI pentru gestionarea întrebărilor de vânzări sau o bancă care lansează un consilier de investiții personalizat bazat pe inteligență artificială. Acestea nu sunt proiecte tradiționale de IT; sunt produse digitale care creează valoare pentru clienți și generează venituri. Cu toate acestea, pentru a crea aceste sisteme la scară, echipele de inginerie de inteligență artificială au nevoie să aibă acces și să operaționalizeze datele pe care echipele tradiționale le-au pregătit.

Directorii executivi au observat. Așteptările de la echipele de date sunt acum foarte mari, cu consilii de administrație și CEO-uri care se uită la noi pentru a livra următorul vector de creștere alimentat de inteligență artificială. Ne-am mutat de la a fi analiști din spatele scenei la inovatori de primă linie. Este o poziție emoționantă în care ne aflăm, dar vine și cu o presiune intensă de a livra rezultate la scară.

De la explorare la produs – o ușă cu sens unic

Trecerea de la analiza exploratorie la inteligență artificială axată pe produs este profundă și ireversibilă. De ce ireversibilă? Pentru că impactul GenAI asupra afacerii se dovedește a fi prea mare pentru a fi relegat înapoi la un jucărie de R&D. Conform unui sondaj global recent, 96% din liderii IT au integrat deja inteligență artificială în procesele lor de bază – față de 88% cu doar un an în urmă. Cu alte cuvinte, aproape toate întreprinderile au trecut de la experimentarea cu inteligență artificială la integrarea acesteia în fluxuri de lucru critice pentru misiune. Odată ce ați traversat această prag, unde inteligența artificială livrează valoare în producție, nu mai există cale de întoarcere.

Această nouă focalizare pe inteligență artificială schimbă tempo-ul și mentalitatea echipelor de date. În trecut, aveam luxul de a avea proiecte de descoperire pe termen lung și analize deschise. Astăzi, dacă construim o funcție de inteligență artificială, aceasta trebuie să fie gata pentru producție, conformă și fiabilă – ca orice produs orientat către client. Am intrat în ceea ce unii numesc “Epoca Autonomă” a științei datelor. Întrebarea care ne ghidă munca noastră nu mai este “Ce insight-uri putem descoperi?” ci “Ce sistem inteligent putem construi care acționează pe insight-uri în timp real?”

Sistemele GenAI nu mai răspund doar la întrebări; ele încep să ia decizii. Este o ușă cu sens unic: după ce ai experimentat acest tip de autonomie și impact, companiile nu se vor mulțumi cu rapoarte statice și decizii manuale. Acum, mai mult ca oricând, echipele de date trebuie să fie orientate către stakeholder și produs.

Adevărul dur: De ce majoritatea inițiativelor GenAI eșuează

În mijlocul tuturor entuziasmului, există o realitate sobră: majoritatea inițiativelor GenAI eșuează. Se dovedește că implementarea cu succes a GenAI este extrem de dificilă. Un studiu recent MIT a descoperit că un procent zdrobitor de 95% din proiectele-pilot GenAI ale întreprinderilor nu livrează niciun ROI măsurabil. Doar aproximativ 5% din proiectele-pilot de inteligență artificială obțin câștiguri rapide de venituri sau impact de afaceri semnificativ. Acest lucru nu se datorează lipsei de potențial – ci complexității de a face inteligență artificială corect.

Săpând în cauzele eșecului, cercetarea MIT prezintă o imagine clară. Multe proiecte se împotmolesc pentru că “hype-ul depășește munca grea” – echipele urmăresc cazuri de utilizare demo spectaculoase în loc să investească în fundamentalele plictisitoare ale integrării, validării și monitorizării. Altele eșuează din cauza clasicei sindroame “gunoi în, gunoi ieșit” – calitatea slabă a datelor și conductele de date izolate condamnă proiectul înainte ca inteligența artificială să-și facă treaba. Adesea, nu modelul de inteligență artificială este defect, ci mediul înconjurător. Așa cum spun cercetătorii, GenAI nu eșuează în laborator; eșuează în întreprindere atunci când se ciocnește cu obiective vagi, date proaste și inerție organizațională. În practică, majoritatea proiectelor-pilot de inteligență artificială se opresc la stadiul de demonstrație și nu ajung niciodată la o implementare completă de producție.

Această realitate este o lecție valoroasă. Ne spune că, deși echipele de date sunt acum în lumina reflectoarelor, majoritatea luptă să îndeplinească așteptările ridicate.

Dincolo de prompt-uri inteligente: Datele, guvernanța și infrastructura contează

Ce separă 5% din proiectele de inteligență artificială care prosperă de 95% care eşuează? În experiența mea (și așa cum confirmă cercetarea), câștigătorii se concentrează pe capacități fundamentale – date, guvernanță și infrastructură. GenAI nu este magic; este construit pe date. Fără conducte de date de înaltă calitate, bine guvernate, care hrănesc modelele dvs., chiar și cea mai bună inteligență artificială va produce rezultate eratice. Summit Partners a spus-o bine într-o analiză recentă: “succesul oricărui sistem sau proces care utilizează inteligență artificială se bazează pe calitatea, structura și accesibilitatea datelor care îl alimentează.”

În termeni practici, acest lucru înseamnă că organizațiile trebuie să se concentreze pe arhitectura datelor și guvernanța atunci când adoptă GenAI. Aveți depozite de date unificate, accesibile, pe care inteligența dvs. artificială să le poată utiliza (și mă refer la TOATE depozitele de date, inclusiv centre de date, hyperscalers și sisteme SaaS de la terți, printre altele)? Este acea dată curățată, curatoriată și conformă cu reglementările? Există o linie de date clară și auditabilă (astfel încât să puteți avea încredere în ieșirile inteligenței artificiale și să știți cum au ajuns acolo)? Aceste întrebări sunt acum în prim-plan.

GenAI îi obligă pe oameni să-și pună în ordine casa de date.

Guvernanța a căpătat, de asemenea, o semnificație nouă. Când un model de inteligență artificială poate genera un răspuns greșit (sau ofensator), guvernanța robustă nu este opțională – este obligatorie. Controale precum versionarea, verificarea prejudecăților, revizuirea umană și măsurile stricte de securitate în jurul datelor sensibile de intrare sunt esențiale. Fără o guvernanță adecvată, antrenament și obiective clar definite, chiar și un instrument de inteligență artificială puternic va lupta să câștige teren în afaceri.

Și să nu uităm de infrastructură. Implementarea GenAI la scară necesită o putere de calcul semnificativă și o inginerie riguroasă. Modelele trebuie să fie servite în timp real, pe sute de milioane de întrebări cu latență scăzută. Ele au nevoie adesea de GPU-uri sau hardware specializat, precum și de monitorizare continuă, reținere și gestionare a ciclului de viață. Pe scurt, aveți nevoie de o infrastructură de inteligență artificială de clasă industrială care să fie securizată, scalabilă și rezilientă. Acesta este locul unde conceptul de Inteligență Artificială Privată vine ca un cadru care unește infrastructura cu datele și guvernanța. Inteligența Artificială Privată se referă la dezvoltarea inteligenței artificiale într-un mediu controlat și securizat, asigurând securitatea și conformitatea datelor.

Fundamentul este că succesul GenAI depinde de armonia a trei piloni: date, guvernanță și infrastructură. Fără unul, riscați să vă alăturați celor 95% de proiecte care nu reușesc să treacă de stadiul de demonstrație.

De ce inginerii de inteligență artificială nu pot face totul singuri

Având în vedere aceste cerințe, este clar că simpla angajare a câtorva ingineri de inteligență artificială talentați nu este o soluție magică. Am învățat această lecție de-a lungul ultimilor ani în industria datelor. În zilele de început ale boom-ului științei datelor, companiile au încercat să găsească “unicorni” oameni de știință a datelor care puteau face totul – construi modele, scrie cod, gestiona date și implementare. Acest mit a fost de atunci demontat. Așa cum a spus un veteran om de știință a datelor, “un model care stă într-un caiet nu face nimic pentru afacere.” Trebuie să încorporați acel model într-o aplicație sau proces pentru a crea valoare. Și a face asta necesită un efort de echipă care acoperă multiple seturi de abilități.

În sfârșitul anilor 2010, am văzut echipele de date diversificându-se în roluri distincte: inginerii de date au început să construiască conducte de date robuste, inginerii de învățare automată s-au concentrat pe producția de modele, inginerii de analize au gestionat stratul de analize, și așa mai departe.

Astăzi, GenAI ridică barul și mai sus. Da, aveți nevoie de specialiști în inteligență artificială (ingineri de prompt, finisori LLM, etc.), dar acești specialiști vor lovi un zid dacă nu au conducte de date mature, cadre de guvernanță și platforme securizate cu care să lucreze. Un inginer de inteligență artificială poate prototipa un model de limbaj excelent într-un mediu de testare, dar transformarea acestuia într-un produs utilizat de mii sau milioane necesită colaborare cu echipele de securitate, ofițeri de conformitate, arhitecți de date, ingineri de fiabilitate a site-ului și mulți alții.

<Inteligența artificială este un sport de echipă. Este tentant să crezi că poți să plasezi un model de inteligență artificială de ultimă generație în afacerea ta și să ai brusc o întreprindere condusă de inteligență artificială. Companiile care reușesc cu inteligența artificială sunt cele care au construit echipe cross-funcționale, sau “fabrici de inteligență artificială”, care aduc toate aceste piese împreună. Echipele lor de date s-au transformat eficient în echipe de produse de inteligență artificială full-stack, amestecând expertiza în date, modelare, inginerie și operațiuni. Ei construiesc și implementează uneltele lor într-un mod condus de date și orientat spre produs, cu generarea de valoare încorporată în fiecare KPI.

Următoarea generație de echipe de date

Deci, ce ne rezervă viitorul pentru noua “echipă de date”? Iată o privire asupra a ceea ce urmează pentru aceste echipe în următorii ani:

• Mai puțină manipulare manuală ETL/ELT: Manipularea plictisitoare a datelor va scădea. Cu conducte de date mai automate și asistate de inteligență artificială, echipele nu vor petrece jumătate din timpul lor curățând și mutând date. Munca de bază a pregătirii datelor va fi gestionată în mod din ce în ce mai mult de sisteme inteligente, permițând oamenilor să se concentreze pe designul de nivel superior și controlul calității.
• Mai puține dashboard-uri: Era ajustării infinite a filtrelor de dashboard este pe cale de dispariție. Inteligența artificială va permite interogări mai naturale și livrări dinamice de insight-uri. În loc de dashboard-uri preconstruite pentru fiecare întrebare, utilizatorii vor primi răspunsuri conversaționale de la inteligența artificială (cu datele sursă atașate). Echipele de date vor petrece mai puțin timp dezvoltând rapoarte statice și mai mult timp antrenând inteligența artificială pentru a genera insight-uri pe loc.
• Mai multă dezvoltare de produse native de inteligență artificială: Echipele de date vor fi în inima inovației de produs. Indiferent dacă este vorba de dezvoltarea unei noi funcții de inteligență artificială orientate către client sau a unui instrument intern de optimizare a operațiunilor, aceste echipe vor acționa ca echipe de produse. Ei vor utiliza practici de dezvoltare de software, prototipare rapidă, testare A/B și proiectare a experienței utilizatorului – nu doar analize de date. Fiecare echipă de date va fi, în esență, o echipă de produse de inteligență artificială care livrează valoare directă de afaceri.
• Agenți autonomi pe creștere: Într-un viitor nu prea îndepărtat, echipele de date vor implementa agenți autonomi de inteligență artificială pentru a gestiona decizii și sarcini rutiniere. În loc să prezică doar rezultate, acești agenți vor fi autorizați să ia anumite acțiuni (cu supraveghere). Imaginați-vă un agent de operațiuni de inteligență artificială care poate detecta o anomalie și deschide automat un bilet de remediere, sau un agent de vânzări de inteligență artificială care ajustează prețurile de comerț electronic în timp real. Echipele de date vor fi responsabile de construirea și gestionarea acestor agenți, împingând limitele a ceea ce poate realiza automatizarea.

În lumina acestor schimbări, se poate spune, într-adevăr, că “echipele de date așa cum le știam sunt moarte”. Echipele de manipulare a datelor și conducte de date au cedat locul unui lucru nou: echipe axate pe inteligență artificială care sunt fluente în date, cod și strategie de afaceri. Dar departe de a fi un elogiu funebru, aceasta este o sărbătoare. Noua generație de echipe de date abia începe, și ele sunt mai valoroase ca oricând.

Așa că, amintiți-vă, inginerul de date este mort, trăiască inginerul de date! Echipele de date așa cum le știam sunt dispărute, dar trăiască noile echipe de date – să domnească în lumea condusă de inteligență artificială, cu insight, responsabilitate și îndrăzneală.