Noua economie a inteligenței artificiale se bazează pe tokeni, dar îi măsurăm în mod greșit

Există o schimbare în domeniul inteligenței artificiale pe care majoritatea oamenilor o simt, dar nu o înțeleg pe deplin: am trecut de la numărarea cererilor la numărarea tokenilor.

În era web, am măsurat sistemele în cereri pe secundă. A fost curat, intuitiv și în mare măsură precis. O cerere a venit, o răspuns a ieșit și puteai scala infrastructura în jurul acestui model.

Această abstracție a dispărut.

În inteligența artificială, unitatea fundamentală nu mai este cererea – ci tokenul. Fiecare prompt, fiecare răspuns și fiecare lanț de raționament este descompus în tokeni, reprezentând munca pe care sistemul o efectuează, costul suportat și, din ce în ce mai mult, valoarea creată.

În mod firesc, industria s-a mobilizat în jurul acestei schimbări, introducând metrici precum tokeni pe secundă, cost pe token și chiar venit pe token. Se pare că am găsit în sfârșit o modalitate de a cuantifica sistemele de inteligență artificială. Dar această abordare este incompletă.

Scurtătura industriei: tokeni egali valoare

Există o narativă în creștere care spune că tokenii sunt noua monedă a inteligenței artificiale – că mai mulți tokeni înseamnă mai multă inteligență și, prin extensie, mai mult venit. Este o idee convingătoare, dar simplifică excesiv ce se întâmplă în realitate în aceste sisteme.

Nu toți tokenii sunt egali. Unii tokeni reprezintă munca reală: analiza datelor, generarea de insight-uri, automatizarea fluxurilor de lucru și sprijinirea deciziilor care conduc la rezultate comerciale. Alții sunt mult mai puțin semnificativi – generarea de conținut casual, experimentare sau cazuri de utilizare care nu ajung niciodată în producție.

Puteți vedea deja acest lucru în interiorul întreprinderilor. O echipă poate genera milioane de tokeni pentru a sprijini productivitatea dezvoltatorilor sau operațiunile clienților, afectând direct eficiența și venitul. O altă echipă poate genera același volum de tokeni experimentând cu unelte care nu merg niciodată dincolo de explorarea internă. Pe hârtie, numărătoarele de tokeni arată identic. În realitate, valoarea comercială este complet diferită.

Tratarea tuturor tokenilor ca unități interschimbabile de valoare creează o imagine distorsionată a ceea ce inteligența artificială face într-adevăr în cadrul unei organizații. Afacerile nu sunt construite pe volumul de tokeni; ele sunt construite pe ceea ce acești tokeni permit.

Pentru a înțelege această diferență, trebuie să priviți sub suprafață la modul în care funcționează aceste sisteme.

De ce a doua întrebare este mai rapidă decât prima

Dacă ați folosit vreodată un instrument precum ChatGPT, ați observat probabil că a doua întrebare este adesea mai rapidă decât prima. Acest comportament nu se datorează faptului că modelul devine mai inteligent – ci modului în care sistemul reutilizează contextul din prompturile anterioare.

Sistemele moderne de inteligență artificială nu procesează fiecare cerere în mod izolat. Ele construiesc context, stocând prompturi și răspunsuri anterioare în memorie, adesea în ceea ce se numește cache KV. Acest cache este situat aproape de GPU, astfel încât să poată fi accesat rapid atunci când se generează răspunsuri ulterioare.

Prima cerere este scumpă pentru că initializează această stare – alocând memorie, procesând intrarea și construind contextul. Cererile ulterioare reutilizează această stare, ceea ce reduce latența și îmbunătățește răspunsul.

Acest dinamism devine mai important pe măsură ce ferestrele de context se extind de la mii la sute de mii – sau chiar milioane – de tokeni. Cu cât un sistem păstrează mai mult context, cu atât mai multă presiune pune pe memorie și infrastructură, făcându-l critic să decidă ce se stochează, se comprimă sau se aruncă.

Din perspectiva utilizatorului, pare a fi un sistem mai rapid. Din perspectiva infrastructurii, este un compromis complex între memorie, latență și cost.

Aici se întâmplă munca reală: nu doar în modelul însuși, ci în sistemul care îl înconjoară.

Constrângerea finală: energia

Odată ce depășiți performanța modelului, conversația se schimbă rapid.

Echipele care rulează inteligența artificială la scară nu se întreabă în primul rând care model este cel mai bun. Se întreabă cum să îl mențină.

Infrastructura de inteligență artificială se confruntă cu limite fizice: disponibilitatea energiei, capacitatea de răcire și lățimea de bandă a memoriei. Centrele de date sunt recon concepute în jurul acestor constrângeri, iar organizațiile care implementează sisteme de inteligență artificială la scară largă încep să funcționeze mai mult ca utilități decât ca companii de software tradiționale.

Deja vedem acest lucru în întreprinderile mari care construiesc infrastructură de inteligență artificială, unde puterea și răcirea – și nu capacitatea modelului – devin principala constrângere.

Sarcinile de lucru ale inteligenței artificiale nu se escaladează curat sau previzibil. Ele compun cererea în același timp pe calcul, memorie și rețea. Generarea de tokeni suplimentari nu este doar o chestiune de adăugare a mai multor GPU; este o întrebare dacă infrastructura subiacentă poate susține încărcătura energetică și termică necesară pentru a menține aceste sisteme funcționând eficient.

Costul generării unui token se extinde dincolo de calcul. Include electricitate, răcire, infrastructură fizică și capacitatea de a menține performanța sub încărcare fără degradare.

Majoritatea discuțiilor despre “cost pe token” nu reflectă pe deplin această realitate. La scară, energia devine bugetul, nu doar o altă linie de cheltuieli.

Viitorul nu este despre modele mai mari. Este despre sisteme mai bune.

În ultimii doi ani, industria s-a concentrat pe comparațiile de modele, privind benchmark-urile, clasamentele și îmbunătățirile incrementale ale capacității.

Această focalizare începe să se schimbe.

În medii de producție, performanța nu este atât de mult despre care model alegeți, ci despre cum îl utilizați. Organizațiile se îndreaptă spre sisteme de modele – combinând modele mari și mici, rutând sarcini inteligent și optimizând pentru cost, latență și debit pe întregul flux de lucru.

În loc de a trimite fiecare cerere la un model mare, sistemele descompun sarcinile de lucru în componente mai mici. Sarcinile mai simple pot fi gestionate de modele mai eficiente, în timp ce raționamentul complex este rezervat pentru modelele mai mari. Contextul este reutilizat ori de câte ori este posibil, iar strategiile de caching sunt aplicate agresiv.

Aceste decizii au adesea un impact mai mare asupra performanței și costului decât schimbarea de la un model la altul. În acest sens, tokenii rămân unitatea de muncă, dar sistemul care îi generează și îi gestionează devine adevăratul diferențiator.

Stratul cel mai puțin observat în sistemele de inteligență artificială

Inteligența artificială este adesea descrisă în termeni de modele pe de o parte și aplicații pe de altă parte, dar stratul din mijloc este unde se află cea mai mare parte a complexității – și oportunității.

Acest strat nu doar mișcă cereri; el le modelează. El determină cum circulă traficul, cum sunt impuse deciziile și cum se comportă sistemele în condiții reale.

Livrarea și securitatea nu pot fi tratate ca preocupări separate aici. Același strat care rută cererile și gestionează contextul este și unde se aplică politicile, se mitigă riscurile și se stabilește încrederea.

Pe măsură ce complexitatea crește, soluțiile punctuale se prăbușesc. Ce este necesar este o platformă unificată care să poată coordona aceste funcții în timp real, mai degrabă decât să le coasă împreună după fapt.

Aici se iau deciziile de compromis. Aici se controlează costul, se optimizează performanța și se iau decizii de securitate în timp real. Pe măsură ce sistemele de inteligență artificială se extind, acest strat devine din ce în ce mai important. Este diferența dintre un sistem care funcționează bine într-o demonstrație și unul care funcționează fiabil și eficient în producție. Această schimbare are implicații reale pentru modul în care organizațiile proiectează și gestionează sisteme de inteligență artificială.

Ce înseamnă acest lucru pentru organizații

Pe măsură ce întreprinderile introduc inteligența artificială în producție, întrebarea nu este doar care model să utilizeze – ci cum sistemul din jurul său este proiectat pentru a funcționa.

Acest lucru înseamnă a gândi dincolo de metricile tokenilor și benchmark-urile modelelor, și a se concentra pe modul în care cererile sunt rutate, contextul este gestionat și politicile sunt aplicate pe întregul flux de lucru.

Majoritatea organizațiilor încă cosesc aceste piese împreună – și această abordare nu rezistă presiunii reale de producție.

Măsurăm lucrul greșit

Tokenii oferă o abstracție utilă. Ei oferă industriei o modalitate de a cuantifica ceva care altădată părea intangibil, dar ei nu reprezintă imaginea de ansamblu.

În prezent, industria se îndreaptă spre ceea ce este mai ușor de măsurat – numărătoare de tokeni, debit și metrici de cost – mai degrabă decât ceea ce contează cel mai mult. Fără context, aceste numere pot fi înșelătoare.

Următoarea fază a inteligenței artificiale nu va fi definită de cine generează cei mai mulți tokeni. Va fi definită de cine înțelege ce reprezintă acești tokeni și cine poate construi sisteme care să îi transforme în rezultate semnificative, eficiente și scalabile.

Deoarece, în final, tokenii nu sunt produsul. Ei sunt doar produsul secundar al inteligenței care este creată.