De ce costurile tokenurilor nu arată dacă IA pentru companii funcționează

IA pentru companii trece printr-un ciclu familiar. La început, organizațiile s-au aruncat cu totul în această direcție, alegând cele mai mari și mai capabile modele, deoarece tehnologia era captivantă, iar factura încă nu sosise. Când a sosit, reacția a fost la fel de previzibilă: echipele au început să limiteze accesul, să reducă experimentarea și să caute modele mai puțin costisitoare.

Ali Ghodsi, cofondator și director general al Databricks, a descris etapa timpurie a acestui ciclu drept „maximizarea numărului de tokenuri”, când consumul unui număr mai mare de tokenuri este considerat o dovadă a progresului. Etapa mai importantă este „maximizarea valorii”, adică înțelegerea rezultatelor obținute în urma cheltuielilor și direcționarea acestora către activitățile care contează.

Nu este vorba doar despre o nouă denumire pentru optimizarea costurilor. Optimizarea costurilor urmărește să afle cum poate o organizație să cheltuiască mai puțin, în timp ce maximizarea valorii urmărește să afle cum poate obține mai mult din ceea ce cheltuiește. Această distincție va deveni tot mai importantă pe măsură ce IA trece de la experimente izolate la operațiunile zilnice ale companiilor.

Cel mai mare model nu este întotdeauna modelul potrivit

Multe organizații și-au început programele de IA folosind cel mai puternic model disponibil pentru aproape orice sarcină. Această abordare avea sens în etapa experimentală timpurie, când echipele încercau să înțeleagă ce putea face tehnologia, iar capacitățile modelului contau mai mult decât predictibilitatea.

Totuși, pe măsură ce implementările s-au extins, a devenit dificil de justificat costul utilizării unui model de ultimă generație pentru fiecare solicitare. Unele organizații au reacționat limitând accesul sau cerând echipelor să facă mai puțin, însă restricțiile ample pot înăbuși experimentarea utilă, alături de risipa reală.

Se conturează o abordare mai matură. Echipele încep să folosească modele mai mici și specializate pentru activitățile de rutină, rezervând modelele mai capabile pentru sarcinile care necesită raționamente complexe sau implică un cost ridicat în caz de eșec. În timp, unele organizații ar putea implementa modele și în propria infrastructură, pentru a obține un control mai bun asupra costurilor, performanței și datelor sensibile.

Întrebarea importantă nu este dacă un model mare este mai bun decât unul mic. Important este dacă modelul se potrivește activității și dacă rezultatul justifică întregul cost al obținerii lui.

Tokenurile arată activitatea, nu valoarea

Majoritatea tablourilor de bord pentru IA din companii sunt axate pe consum. Acestea arată câte tokenuri au fost folosite, ce modele le-au procesat și cât a cheltuit organizația. Aceste cifre sunt necesare, dar nu arată dacă activitatea a produs un rezultat util.

O echipă care consumă de două ori mai multe tokenuri nu creează neapărat de două ori mai multă valoare. Este posibil să gestioneze activități mai dificile, să folosească un model mai puternic decât este necesar sau să se bazeze pe un agent care reia în mod repetat sarcinile eșuate. O sarcină de lucru cu costuri ridicate pentru modele poate reprezenta totuși o investiție excelentă dacă previne întreruperile, rezolvă problemele clienților sau le redă angajaților ore prețioase din timpul lor.

Aceeași problemă există de ani de zile în observabilitate, doar că este vorba despre gigabyți, nu despre tokenuri. Echipele au început prin a colecta totul, deoarece vizibilitatea maximă părea cea mai sigură strategie. Când au crescut facturile pentru stocare și procesare, au început să eșantioneze datele, să reducă perioada de păstrare și să elimine contextul pentru a controla cheltuielile.

În ambele cazuri, reacția la creșterea costurilor a fost adesea să se facă mai puțin. În schimb, organizațiile au nevoie de capacitatea de a identifica ce activități sunt valoroase, care sunt risipitoare și care pot deveni mai eficiente fără a compromite rezultatul.

Costul real depășește inferența

Un apel către un model rareori reprezintă întreaga sarcină de lucru a unui sistem de IA. Înainte de a genera un răspuns, un agent poate prelua documente, interoga o bază de date, căuta în datele de telemetrie, apela servicii externe și genera noi activități în aplicații sau în infrastructură.

Să luăm exemplul unui agent care investighează de ce a crescut latența procesului de finalizare a comenzii după o implementare. Acesta ar putea examina jurnalele, compara valorile, inspecta urmele, prelua înregistrările implementării și analiza serviciile din aval. Dacă prima ipoteză se dovedește greșită, ar putea ajusta intervalul de timp, căuta folosind alte denumiri ale serviciilor și urmări mai multe cauze alternative.

Prin urmare, o singură instrucțiune dată de un om poate genera sute de operațiuni create de mașină. Aceste operațiuni consumă resurse de calcul, operațiuni de intrare și ieșire pentru stocare, capacitate de rețea și cote pentru API-uri terțe; este posibil ca niciuna dintre acestea să nu apară în tabloul de bord al organizației privind cheltuielile pentru modele.

Asta înseamnă că un model care pare ieftin poate susține un flux de lucru costisitor. Un model mai capabil poate costa mai mult pentru fiecare apel, dar poate ajunge la concluzia corectă în mai puțini pași, necesitând mai puține reîncercări și mai puțină infrastructură auxiliară. Singura modalitate de a face această comparație este să observi sarcina în ansamblu.

Corelați activitatea, costurile și rezultatele

Maximizarea valorii presupune ca organizațiile să coreleze trei tipuri de informații, care sunt adesea măsurate separat.

Prima este activitatea IA, care include selectarea modelului, consumul de tokenuri, latența, apelurile către instrumente, reîncercările și ramurile paralele. A doua categorie este reprezentată de costurile de infrastructură și financiare generate de această activitate, inclusiv costurile de calcul și stocare, utilizarea rețelei, încărcarea bazei de date și tarifele pentru API-uri externe. A treia este rezultatul, care ar trebui să indice dacă activitatea a fost finalizată cu succes și dacă cineva a considerat rezultatul util.

Nu este necesar ca fiecare rezultat să fie exprimat într-o sumă exactă în dolari. Poate fi suficient un indicator practic, cum ar fi dacă un răspuns a fost acceptat, dacă cineva a trebuit să refacă activitatea, dacă un incident a fost rezolvat mai rapid sau dacă un flux de lucru automatizat s-a încheiat fără intervenție.

De exemplu, investigarea unui incident care generează sute de interogări poate merita efortul dacă îi ajută pe ingineri să restabilească un serviciu esențial cu 30 de minute mai devreme. Un flux de lucru mult mai simplu poate fi totuși ineficient dacă produce un raport pe care nu-l citește nimeni. Numai consumul de tokenuri nu poate face distincția între cele două situații.

Odată ce organizațiile pot corela activitatea cu rezultatele, pot decide în mod deliberat unde să folosească modele de ultimă generație, unde sunt suficiente modelele mai mici și unde este nevoie de reproiectarea unui flux de lucru.

Vizibilitatea nu ar trebui să impună renunțarea la control

Pentru a înțelege valoarea IA, este nevoie de acces la informații contextuale sensibile. Indicațiile, răspunsurile generate, codul sursă, informațiile despre clienți și telemetria din mediul de producție pot face toate parte din același flux de lucru.

Organizațiile nu ar trebui să fie nevoite să exporte aceste informații către un serviciu extern doar pentru a înțelege cum funcționează sistemele lor de IA. Indicațiile și contextul din mediul de producție care fac utilă măsurarea pot fi chiar informațiile pe care echipele de securitate, confidențialitate și conformitate nu le pot lăsa să părăsească mediul organizației.

Prin urmare, liderii organizațiilor ar trebui să întrebe unde sunt prelucrate datele lor despre IA și cele de observabilitate, cine le poate accesa, cât timp sunt păstrate și dacă analiza poate avea loc în perimetrul de securitate existent. O guvernanță eficientă depinde de vizibilitate, însă aceasta nu trebuie să creeze o nouă problemă privind controlul datelor.

Păstrarea analizei în proximitatea datelor de bază facilitează, de asemenea, corelarea activității IA cu aplicațiile, infrastructura și procesele de afaceri pe care le afectează. Această imagine completă le permite echipelor să înțeleagă nu doar cât au cheltuit, ci și ce au obținut în schimbul acestor cheltuieli.

Optimizați pentru valoare, nu pentru volum

Organizațiile care vor avea succes în următoarea etapă a IA la nivel de întreprindere nu vor fi neapărat cele care folosesc cele mai multe tokenuri sau cheltuiesc cel mai puțin. Vor fi cele care pot vedea ce modele și sarcini generează rezultate semnificative și apoi pot folosi aceste informații pentru a ghida implementarea.

Pentru aceasta, trebuie să depășim tablourile de bord izolate privind costurile modelelor. Echipele trebuie să poată observa întregul parcurs, de la solicitarea utilizatorului, prin apelurile către modele, instrumente și infrastructură, până la rezultatul final, păstrând totodată informațiile sensibile sub controlul adecvat al organizației.

Tokenmaxxing a fost o etapă utilă, deoarece a încurajat experimentarea și a arătat ce poate face IA. Valuemaxxing este disciplina care trebuie să urmeze: combină vizibilitatea, costurile și rezultatele, astfel încât organizațiile să poată continua să experimenteze fără să piardă controlul asupra cheltuielilor sau datelor lor.

IA la nivel de întreprindere nu trebuie să devină mai limitată doar pentru că au sosit primele facturi. Trebuie să fie folosită mai deliberat, adaptând efortul la dificultate, modelele la sarcini și cheltuielile la valoarea măsurabilă.