Sfântul Graal al Puterii de Calcul în Inteligența Artificială

În ciuda progresului incredibil, capacitățile inteligenței artificiale sunt încă limitate în comparație cu așteptările din lumea reală. Construim modele complexe, rulăm rețele neuronale și testăm algoritmi, dar progresul uneori se oprește în locurile în care ne așteptăm mai puțin.

Problema deseori nu constă în algoritmi sau date, ci în puterea de calcul, resursele care permit modelului să învețe și să funcționeze la scară necesară. Deci, ce se află în spatele acestei bariere? Să examinăm resursa critică fără de care chiar și cele mai promițătoare proiecte de inteligență artificială nu pot depăși laboratorul.

Deficitul de calcul și consecințele sale

Pentru a înțelege acest subiect, să începem cu istoria comunicațiilor mobile. Când au apărut rețelele 3G și ulterior 4G, internetul era deja aproape global. Și când a fost introdus 5G, mulți oameni au pus o întrebare perfect rezonabilă: “Internetul va fi mai rapid – dar ce contează?”

În realitate, creșterea vitezei internetului nu se reduce la conveniența utilizatorului. Ea transformă întregul peisaj tehnologic. Apar cazuri de utilizare care anterior erau imposibile. 5G s-a dovedit a fi mult mai rapid decât 4G, și acest salt nu a fost gradual, ca saltul de la 1G la 2G, ci exponențial. Ca rezultat, apar aplicații noi, dispozitive și întregi clase de tehnologie.

Camerele de supraveghere a traficului, sistemele de analiză a traficului în timp real și mecanismele de reglare automată a traficului – toate acestea devin posibile datorită noilor tehnologii de comunicație. Poliția primește noi modalități de a schimba date, și în spațiu, telescoapele și sateliții pot transmite cantități uriașe de informații către Pământ. Un salt calitativ într-o tehnologie fundamentală determină dezvoltarea întregului ecosistem.

Același principiu se aplică și puterii de calcul. Imaginați-vă capacitatea totală de calcul a omenirii în unități ipotetice. Astăzi, am putea avea, să zicem, zece astfel de unități. Cu ele, putem genera imagini și videoclipuri, scrie texte, crea materiale de marketing… Acesta este deja un volum substanțial, dar gama de aplicații este limitată în principal.

Acum imaginați-vă că am nu zece, ci o mie de astfel de unități. Brusc, tehnologiile care anterior erau prea scumpe devin fezabile, și startup-urile abandonate din cauza costurilor de calcul ridicate încep să aibă sens economic.

Luați, de exemplu, taxiurile cu robot. Astăzi, ele se bazează în principal pe calculatoare locale relativ slabe instalate în vehicul. Cu toate acestea, dacă fluxul video ar fi transmis în cloud, cu resurse de calcul uriașe, datele ar putea fi procesate și returnate în timp real. Și acesta este un aspect critic: o mașină care se deplasează cu 100 km/h trebuie să ia decizii în fracțiuni de secundă – să meargă drept, să întoarcă, să frâneze sau să nu frâneze.

Acesta este momentul în care o industrie de taxiuri cu robot complet funcțională devine posibilă, nu doar soluții izolate, cum sunt cele pe care le vedem astăzi. Orice calculator local instalat într-o mașină este în mod inerent limitat într-un mod în care un sistem conectat nu este. Cu cât putem scala mai repede, cu atât lumea din jurul nostru se va schimba mai repede.

Accesul la cipuri și “biletul de aur” în inteligența artificială

În contextul puterii de calcul, apare întrebarea: devine accesul la cipuri moderne “biletul de aur” pentru a intra pe piața inteligenței artificiale? Creează jucătorii mari, care semnează contracte cu producătorii de cipuri sau îi produc ei înșiși, o prăpastie între companiile mari și toți ceilalți?

O astfel de prăpastie apare doar într-un singur caz: dacă un model de afaceri se axează exclusiv pe vânzarea de cipuri către clienți mari. În practică, producători precum NVIDIA își propun să ofere soluții cloud pentru toată lumea. Cipurile lor optimizate sunt disponibile în cloud atât pentru OpenAI, cât și pentru dezvoltatori independenți.

Chiar și alianțele strategice între companii precum Google, Anthropic, Microsoft, OpenAI, Amazon și NVIDIA sunt, în primul rând, parteneriate pentru utilizarea comună a resurselor, și nu încercări de a închide piața. Acest model permite alocarea eficientă a puterii de calcul, accelerând astfel dezvoltarea tehnologică.

Dacă urmărim lanțul de utilizare a resurselor de calcul, el începe cu utilizatorul final. De exemplu, atunci când utilizați WhatsApp pentru apeluri video și mesaje, compania trebuie să se asigure că serviciul funcționează: stocarea și procesarea datelor, rularea modelelor pentru curățarea videoclipurilor, adăugarea de efecte și îmbunătățirea calității imaginii.

Menținerea serverelor proprii este scumpă, ele devin învechite și necesită întreținere constantă. De aceea, au apărut soluțiile cloud, “norul”. Piața este dominată de trei jucători: Google Cloud, AWS și Microsoft Azure. Alte companii nu pot concura la acest nivel: scala infrastructurii este prea vastă.

Soluțiile cloud sunt centre de date uriașe, cu sisteme de răcire, alimentare și întreținere non-stop. Ele găzduiesc servere și cipuri specializate de la NVIDIA, AMD și alți producători, permițând procese de calcul la scară largă.

Aici ajungem la întrebarea cheie pe care am discutat-o în articolul meu anterior despre centrele de date și pe care vreau să o continuăm aici: ce este principala problemă în acest sistem? Este lipsa de electricitate sau dificultatea de a răci centrele de date în regiunile în care clima face acest lucru deosebit de provocator? În realitate, secretul constă în cipuri însele…

Sfântul Graal

De ce NVIDIA este astăzi evaluată la aproximativ 5 trilioane de dolari și numărată printre cele mai de succes companii publice din lume? Motivul este simplu: NVIDIA produce cipurile pe care se antrenează și rulează modelele de inteligență artificială.

Fiecare dintre aceste cipuri consumă cantități uriașe de electricitate atunci când se antrenează modele mari sau se procesează volume imense de date. Dar cât de eficient este utilizată această energie? Aici intervin cipurile specializate; ele gestionează sarcini specifice mult mai eficient decât cipurile cu scop general.

Modelele de inteligență artificială diferă. De exemplu, OpenAI are o familie de modele, Anthropic are alta. Conceptele pot fi similare, dar structurile matematice și procesele de calcul sunt diferite. Un cip cu scop general, atunci când se antrenează modele OpenAI (cum ar fi ChatGPT) versus modele Anthropic (cum ar fi Claude), acționează ca un “instrument universal”, consumând, să zicem, 100.000 de ore de calcul pentru un model și 150.000 pentru altul. Eficiența variază semnificativ și rareori este optimă.

Companiile rezolvă această problemă prin producerea de cipuri specializate. De exemplu, un cip poate fi optimizat pentru arhitectura ChatGPT și să o antreneze în, să zicem, 20 de minute, în timp ce altul este specializat pentru arhitectura Anthropic și, de asemenea, o finalizează în 20 de minute. Consumul de energie și timpul de antrenament sunt reduse de multe ori în comparație cu un cip cu scop general.

Când aceste cipuri sunt vândute către companii mari, cum ar fi Google, Amazon, Microsoft sau Azure, ele sunt oferite ca produse independente. Utilizatorii pot alege, de exemplu, un cip optimizat pentru un model YOLO sau un cip mai simplu și mai ieftin pentru o arhitectură Xen. Astfel, companiile obțin acces la resurse de calcul precis adaptate sarcinilor lor, și nu cumpără cipuri cu scop general.

Tendința este clară: cipurile specializate înlocuiesc treptat cipurile cu scop general. Multe startup-uri lucrează acum cu ASIC-uri (Circuite Integrate cu Aplicație Specială), cipuri proiectate pentru sarcini de calcul specifice. Primele ASIC-uri au apărut pentru mineritul de Bitcoin: inițial, criptomoneda era minată pe cipuri NVIDIA, apoi au fost create cipuri specializate doar pentru Bitcoin și nu erau capabile să execute alte sarcini.

Eu văd acest lucru în practică: aceeași configurație de hardware poate produce rezultate complet diferite, în funcție de sarcină. În startup-ul meu Introspector, studiem aceste procese în proiecte reale, și ca advisor strategic al Keymakr, observ cum clienții obțin eficiență din cipuri specializate, permițând modelului să ruleze mai rapid. Proiecte care anterior se blocau în timpul antrenamentului sau inferenței ajung la rezultate stabile cu această abordare.

Cu toate acestea, specializarea îngustă prezintă riscuri. Un cip optimizat pentru arhitectura Anthropic nu va funcționa pentru antrenarea modelelor OpenAI, și viceversa. Fiecare nouă arhitectură necesită o nouă generație de hardware, ceea ce creează riscul de “depreciere” pe scară largă. Dacă Anthropic lansează o nouă arhitectură mâine, toate cipurile din generațiile anterioare devin ineficiente sau inutile. Producerea de cipuri noi costă miliarde de dolari și poate dura ani.

Acest lucru creează un dilemă: ar trebui să producem cipuri specializate care funcționează perfect într-un scenariu îngust, sau să continuăm să producem cipuri cu scop general care rezolvă toate sarcinile în mod moderat, dar nu necesită înlocuire completă atunci când arhitecturile se schimbă?

Eficiența în acest context este măsurată prin trei parametri principali: timp de rulare, consum de electricitate și generare de căldură. Aceste metrice sunt direct legate: cu cât sistemul rulează mai mult, cu atât consumă mai multă energie și produce mai multă căldură. Reducerea unui parametru îmbunătățește automat ceilalți doi.

Aici se află “Sfântul Graal” al performanței inteligenței artificiale: dacă măcar unul dintre parametrii fundamentali de eficiență poate fi optimizat, ceilalți parametri se îmbunătățesc aproape automat.

Proces durabil

Odată cu utilizarea crescândă a cipurilor specializate, problema riscurilor de supraproducție a devenit presantă. În prezent, surplusul de echipamente este deja semnificativ, și companiile abordează această problemă în diverse moduri durabile, inclusiv reutilizarea resurselor existente.

Reciclarea echipamentelor a devenit un element cheie al dezvoltării durabile în industriile high-tech. Cipurile conțin cantități substanțiale de metale prețioase și de bază, aur, cupru, aluminiu, paladiu și materiale rare, precum și materiale utilizate în microcipuri și tranzistoare. Odată ce echipamentul devine învechit, aceste resurse valoroase pot fi returnate în producție, reducând costul componentelor noi și scăzând, în același timp, amprenta ecologică a industriei.

Unele fabrici specializate și companii se axează pe reciclarea și extragerea metalelor prețioase din componente învechite. De exemplu, unele facilități utilizează procese hidrometalurgice și metode chimice avansate pentru a extrage aur și cupru cu un grad ridicat de puritate, permițând ca aceste materiale să fie reutilizate în cipuri noi.

Companiile implementează, de asemenea, modele cu circuit închis, în care echipamentul vechi este actualizat sau integrat în soluții noi, reducând astfel nevoia de extragere a resurselor primare. Astfel de abordări nu numai că ajută la minimizarea deșeurilor, dar și reduc amprenta de carbon a producției, deoarece mineritul și prelucrarea tradițională a metalelor necesită cantități semnificative de energie.

Managementul durabil al ciclului de viață al cipurilor și echipamentelor ar putea deveni un standard al industriei, în care progresul tehnologic se aliniază cu responsabilitatea ecologică.