De ce 95% din inițiativele de IA nu aduc niciun ROI

Un studiu recent al MIT a descoperit că 95% din organizații nu obțin niciun randament din investițiile în inițiative de IA generativă; nu există niciun impact măsurabil asupra profitului și pierderii, în ciuda investițiilor semnificative. Titlurile s-au concentrat pe rata eșecului, dar întrebarea reală nu este dacă tehnologia funcționează. Modelele de limbaj mari sunt puternice, accesibile și se îmbunătățesc rapid. Problema este modul în care companiile încearcă să le utilizeze.

Majoritatea organizațiilor abordează agenții de IA în același mod în care au abordat fiecare altă tehnologie. Ei iau procese existente, adaugă puțină IA și așteaptă să se întâmple magia. Când nu funcționează, ei învinovățesc modelele. Dar eșecul are loc mult mai devreme de implicarea IA.

Am văzut acest model repetat în întreprinderi care construiesc fluxuri de lucru de IA. Echipele sunt entuziasmate de posibilități, se grăbesc să dezvolte, apoi lovesc aceleași blocaje previzibile. Diferența dintre cele 5% care reușesc și cele 95% care generează zero randament măsurabil nu este noroc sau buget; este evitarea a șase greșeli critice care ucid valoarea agenților de IA înainte de a începe.

Datele dvs. sunt mai murdare decât credeți

Majoritatea echipelor cred că au date suficiente pentru a fi gata pentru IA. Ei arată spre lacul de date, CRM, bazele de date bine întreținute și presupun că succesul este garantat. Apoi aruncă totul într-un model LLM și se întreabă de ce agentul lor produce ieșiri de gunoi sau arde bugetul în câteva zile.

Datele murdare creează agenți murdari. Dacă trimiteți dumpuri brute de baze de date, exporturi pline de HTML, sau blocaje de text nestructurate către un agent de IA, îl setați să eșueze. Modelele sunt confuze din cauza câmpurilor irelevante, distrase de artefacte de formatare și copleșite de volum.

Echipele trimit în mod regulat înregistrări ale clienților cu 47 de câmpuri atunci când doar 3 sunt critice pentru decizie. Ei includ UUID-uri care adaugă zero valoare semantică, dar consumă tokeni prețioși. Ei hrănesc agenții cu HTML extras din instrumente interne, în loc de informații curate și structurate.

Veți lovi limitele mai repede decât vă așteptați

Fiecare echipă crede că nu va lovi niciodată limitele de context. “Procesăm doar câteva înregistrări ale clienților”, spun ei. “Cât de greu poate fi?” Apoi agentul lor are nevoie să analizeze 500 de bilete de suport, fiecare cu istoricul complet al conversației, și brusc lovesc tavanul de un milion de tokeni.

Contextele mari se acumulează mai repede decât se așteaptă oricine. Un agent de suport care gestionează escaladări poate avea nevoie de acces la istoricul biletului, articole din baza de cunoștințe, interacțiuni anterioare și documentație de produs. Acesta este ușor sute de mii de tokeni per cerere. Înmulțiți asta cu utilizatori concurenți și costurile dvs. de infrastructură sar în sus.

Abordarea naivă este de a trimite totul către model și de a spera la cel mai bun. Echipele inteligente împart cererile în bucăți, rezumă fiecare piesă, apoi operează pe o rezumare a rezumărilor. Această rezumare ierarhică păstrează cererile sub control, în timp ce păstrează informațiile critice de care agenții au nevoie pentru a lua decizii bune.

Securitatea se complică rapid

Echipele sunt entuziasmate de personalitatea și capacitățile agentului lor de IA, scriu câteva linii directoare de bază și cred că sunt protejați. În realitate, agenții de IA necesită un mod fundamental diferit de gândire în materie de securitate decât aplicațiile tradiționale.

Agenții de IA pot fi păcăliți, manipulați și forțați în moduri care încalcă modelele de securitate convenționale. Intrările utilizatorilor pot conține instrucțiuni ascunse care anulează prompturile dvs. atent create. Agenții pot fi convinși să ignore liniile directoare, să acceseze date pe care nu ar trebui să le vadă sau să ia acțiuni în afara scopului lor intenționat.

Implementările inteligente necesită limite stricte în jurul a ceea ce pot și nu pot face agenții. Pentru orice lucru care schimbă starea; scrieți date, trimiteți e-mailuri, faceți apeluri API; aveți nevoie de un flux de lucru propune-justifica-aprobă. Agentul explică ce vrea să facă și de ce, apoi așteaptă aprobarea umană înainte de a acționa. Acest lucru prevenirea automatizării care nu este controlată, menținând în același timp beneficiile asistenței IA.

Ce funcționează cu adevărat

Din observarea a sute de implementări de agenți de IA, șase practici separă implementările de succes de eșecurile scumpe.

Prima este igiena datelor. Trimiteți JSON compact, cu scheme fixe. Ștergeți UUID-urile, HTML-ul, câmpurile duplicate și orice informații sensibile, cu excepția cazului în care sunt absolut critice pentru decizie. Înlocuiți datele sensibile cu metadate atunci când este posibil. Acest lucru păstrează modelele concentrate, în timp ce reduce dimensiunea payload-ului, costul și latența.

A doua este gestionarea contextului. Veți lovi limitele de token mai repede decât vă așteptați. Împărțiți cererile în bucăți mai mici, rezumați fiecare piesă, apoi operați pe rezumări. Acestă abordare ierarhică păstrează cererile sub control, în timp ce păstrează contextul necesar.

A treia este siguranța promptului. Definiți limite stricte pentru ceea ce poate și nu poate face agentul dvs. Implementați fluxuri de lucru propune-justifica-aprobă pentru orice lucru care schimbă starea. Tratați toate conținuturile utilizatorilor ca fiind neverificate; ștergeți codul și link-urile și amintiți-vă modelelor să nu urmeze niciodată instrucțiunile ascunse în textul utilizatorului. Monitorizați în mod continuu prompturile și ieșirile pentru comportamentul anormal sau care încalcă politica, pentru a vă asigura că limitele rămân eficiente în timp.

A patra este controlul costului. Stabiliți bugete de token și cost pe cerere și pe flux de lucru. Înregistrați utilizarea tokenilor pe unelte și prompturi pentru a prinde regresii devreme. Fără disciplină, veți face față unor facturi care sar în sus sau unor vârfuri de întârziere, exact când adoptarea crește.

A cincea este asigurarea calității. Păstrați un set privat de evaluare cu incidente și cazuri limită reale. Urmați precizia, rechemarea și regresia. Noile modele vă vor surprinde, de obicei în moduri proaste. Pentru fluxuri de lucru critice, utilizați temperatura aproape de zero și servere însămânțate pentru ieșiri consistente.

A șasea este guvernanța. Blocați acordurile de partajare a datelor înainte de a lăsa să curgă orice informație. Clarificați ce se partajează, cum este protejat și cine este responsabil. Acest lucru nu este doar o acoperire juridică; este un semnal de încredere că luați datele în serios.

De ce majoritatea echipelor greșesc

Proiectele de agenți de IA nu reușesc să aducă randamentul investiției, deoarece echipele se concentrează pe lucrurile greșite. Ei se concentrează asupra modelului pe care să-l utilizeze, ignorând calitatea datelor. Ei construiesc fluxuri de lucru complexe, sărind peste controalele de securitate de bază. Ei implementează agenți fără controale de cost, apoi panică atunci când facturile sar în sus.

Cele 5% care reușesc înțeleg că agenții de IA nu sunt doar software; sunt o categorie nouă de lucrător digital care necesită practici de management diferite. Ei au nevoie de date curate, limite clare și supraveghere constantă. Obțineți aceste lucruri fundamentale corect, și agenții de IA devin multiplicatori puternici de productivitate. Obțineți-le greșit, și vă alăturați celor 95% care se întreabă de ce investiția lor scumpă de IA a generat zero randament măsurabil.