Sfântul Graal al puterii de calcul în inteligența artificială

În ciuda progreselor incredibile, capacitățile inteligenței artificiale sunt încă limitate în comparație cu așteptările lumii reale. Construim modele complexe, rulăm rețele neuronale și testăm algoritmi, însă progresul uneori stagnează în locurile la care ne așteptăm mai puțin.

Problema adesea nu constă în algoritmi sau date, ci în puterea de calcul, resursele care permit modelelor să învețe și să opereze la scara necesară. Așadar, ce se ascunde în spatele acestei bariere? Să examinăm resursa critică fără de care nici măcar cele mai promițătoare proiecte de inteligență artificială nu pot depăși limitele laboratorului.

Deficitul de calcul și consecințele sale

Pentru a înțelege acest subiect, să începem cu istoria comunicațiilor mobile. Când au apărut rețelele 3G și ulterior 4G, internetul era deja aproape global. Iar când a fost introdus 5G, mulți oameni au pus o întrebare perfect rezonabilă: „Internetul va fi mai rapid - dar ce dacă?”

În realitate, creșterea vitezei internetului nu se reduce la confortul utilizatorului. Ea transformă întregul peisaj tehnologic. Apar cazuri de utilizare care anterior erau imposibile. 5G s-a dovedit a fi mult mai rapid decât 4G, iar acest salt nu a fost gradual, precum saltul de la 1G la 2G, ci exponențial. Drept urmare, pot apărea noi aplicații, dispozitive și clase întregi de tehnologie.

Camerele video cu semafoare, sistemele de analiză a traficului în timp real și mecanismele automate de reglare a traficului – toate acestea devin posibile datorită noilor tehnologii de comunicații. Poliția dobândește noi modalități de a face schimb de date, iar în spațiu, telescoapele și sateliții pot transmite cantități uriașe de informații către Pământ. Un salt calitativ într-o tehnologie fundamentală impulsionează dezvoltarea întregului ecosistem.

Același principiu se aplică puterii de calcul. Imaginați-vă capacitatea totală de calcul a umanității în unități ipotetice. Astăzi, am putea avea, să zicem, zece astfel de unități. Cu ele, putem genera imagini și videoclipuri, putem scrie texte, putem crea materiale de marketing… Acest lucru este deja substanțial, dar gama de aplicații este în mare parte limitată.

Acum imaginați-vă că am avea nu zece, ci o mie de astfel de unități. Dintr-o dată, tehnologiile care anterior erau prea scumpe devin fezabile, iar startup-urile care au fost abandonate din cauza costurilor de calcul ridicate încep să aibă sens din punct de vedere economic.

Luați, de exemplu, robotaxiurile. Astăzi, acestea se bazează în mare parte pe computere locale relativ slabe, instalate în vehicul. Cu toate acestea, dacă fluxul video ar fi transmis în cloud cu resurse de calcul enorme, datele ar putea fi procesate și returnate în timp real. Iar acest lucru este esențial: o mașină care se deplasează cu 100 km/h trebuie să ia decizii în fracțiuni de secundă - să meargă drept înainte, să vireze, să frâneze sau să nu frâneze.

Atunci devine posibilă o industrie de robotaxi pe deplin funcțională, nu doar soluții izolate precum cele pe care le vedem astăzi. Orice computer local instalat într-o mașină este inerent limitat într-un mod în care un sistem conectat nu este. Cu cât îl putem scala mai repede, cu atât mai repede se va schimba lumea din jurul nostru.

Acces la jetoane și „biletul de aur” în inteligența artificială

În contextul puterii de calcul, se pune întrebarea: oare accesul la cipuri moderne devine „biletul de aur” pentru a intra pe piața inteligenței artificiale? Oare jucătorii mari care semnează contracte cu producătorii de cipuri sau le produc ei înșiși creează o prăpastie între marile companii și toți ceilalți?

O astfel de lacună apare doar într-un singur caz: dacă un model de afaceri este concentrat exclusiv pe vânzarea de cipuri către clienți mari. În practică, producătorii precum NVIDIA își propun să ofere soluții cloud pentru toată lumea. Cipurile lor optimizate sunt disponibile în cloud atât pentru OpenAI, cât și pentru dezvoltatorii independenți.

Chiar și alianțele strategice dintre companii precum Google, Anthropic, Microsoft, OpenAI, Amazon și NVIDIA sunt în primul rând parteneriate pentru utilizarea partajată a resurselor, mai degrabă decât încercări de a închide piața. Acest model permite alocarea eficientă a puterii de calcul, accelerând astfel dezvoltarea tehnologică.

Dacă urmărim lanțul de utilizare a resurselor de calcul, acesta începe cu utilizatorul final. De exemplu, atunci când utilizați WhatsApp pentru apeluri video și mesagerie, compania trebuie să se asigure că serviciul funcționează: stocarea și procesarea datelor, rularea de modele pentru curățarea videoclipurilor, adăugarea de efecte și îmbunătățirea calității imaginii.

Întreținerea serverelor proprietare este costisitoare, acestea devin învechite și necesită întreținere constantă. De aceea au apărut soluțiile cloud, „cloud-ul”. Piața este dominată de trei jucători: Google Cloud, AWS și Microsoft Azure. Alte companii nu pot concura la acest nivel: scara infrastructurii este prea vastă.

Serviciile cloud sunt centre de date masive, cu răcire, alimentare cu energie și întreținere non-stop. Acestea găzduiesc servere și cipuri specializate de la NVIDIA, AMD și alți producători, permițând procese de calcul la scară largă.

Aici ajungem la întrebarea cheie pe care am discutat-o ​​în coloana anterioară despre centrele de dateși vreau să continui aici: care este principalul blocaj în acest sistem? Este vorba de lipsa energiei electrice sau de dificultatea răcirii centrelor de date în regiunile în care clima face acest lucru deosebit de dificil? În realitate, secretul constă în cipuri...

Sfântul Potir

De ce este NVIDIA evaluată astăzi la aproximativ 5 trilioane de dolari și se numără printre cele mai de succes companii listate la bursă din lume? Motivul este simplu: NVIDIA produce cipurile pe care sunt antrenate modelele de inteligență artificială și rulează inferențe.

Fiecare dintre aceste cipuri consumă cantități enorme de electricitate atunci când antrenează modele mari sau procesează volume de date în continuă creștere. Dar cât de eficient este utilizată această energie? Aici intervin cipurile specializate; acestea gestionează sarcini specifice mult mai eficient decât GPU-urile de uz general.

Modelele de inteligență artificială diferă. OpenAI, de exemplu, are o familie de modele, Anthropic o alta. Conceptele pot fi similare, dar structurile matematice și procesele de calcul sunt diferite. Un singur cip de uz general, atunci când antrenează modele OpenAI (cum ar fi ChatGPT) versus modele Anthropic (cum ar fi Claude), acționează ca un „instrument universal”, consumând, să zicem, 100,000 de ore de calcul pentru un model și 150,000 pentru altul. Eficiența variază semnificativ și este rareori optimă.

Companiile rezolvă această problemă prin producerea de cipuri specializate. De exemplu, un cip poate fi optimizat pentru arhitectura ChatGPT și antrenat în, să zicem, 20 de minute, în timp ce un altul este adaptat la arhitectura Anthropic și finalizează, de asemenea, antrenamentul în 20 de minute. Consumul de energie și timpul de antrenament sunt reduse de mai multe ori în comparație cu un cip de uz general.

Când aceste cipuri sunt vândute unor companii mari, precum Google, Amazon, Microsoft sau Azure, acestea sunt oferite ca produse independente. Utilizatorii pot alege, de exemplu, un cip optimizat pentru un model YOLO sau un cip mai simplu și mai ieftin pentru o arhitectură Xen. În acest fel, companiile obțin acces la resurse de calcul adaptate precis sarcinilor lor, în loc să achiziționeze GPU-uri de uz general. Dacă un utilizator are zece funcții diferite, poate utiliza zece cipuri specializate diferite.

Tendința este clară: cipurile specializate le înlocuiesc treptat pe cele de uz general. Multe startup-uri lucrează acum cu ASIC-uri (circuite integrate specifice aplicației), cipuri concepute pentru sarcini de calcul specifice. Primele ASIC-uri au apărut pentru minarea Bitcoin: inițial, criptomoneda era minată pe GPU-uri NVIDIA, apoi cipurile au fost create exclusiv pentru Bitcoin și erau incapabile să îndeplinească alte sarcini.

Văd asta în practică: aceeași configurație hardware poate produce rezultate complet diferite în funcție de sarcină. În startup-ul meu Introspector, studiem aceste procese în proiecte reale și, în calitate de consultant strategic al KeymakrObserv cum clienții obțin eficiență de pe urma cipurilor specializate, permițând modelelor să ruleze mai rapid. Proiectele care anterior se blocau în timpul antrenamentului sau inferenței ajung la rezultate stabile cu această abordare.

Totuși, specializarea îngustă comportă riscuri. Un cip optimizat pentru arhitectura Anthropic nu va funcționa pentru antrenarea modelelor OpenAI și invers. Fiecare arhitectură nouă necesită o nouă generație de hardware, creând un risc de „depreciere” la scară largă. Dacă Anthropic lansează o nouă arhitectură mâine, toate cipurile din generația anterioară devin ineficiente sau inutile. Producerea de noi cipuri costă miliarde de dolari și poate dura ani.

Aceasta creează o dilemă: ar trebui să producem cipuri specializate care funcționează perfect într-un scenariu restrâns sau să continuăm să producem cipuri de uz general care rezolvă toate sarcinile moderat de bine, dar nu necesită înlocuire completă atunci când arhitecturile se schimbă?

În acest context, eficiența este măsurată prin trei parametri principali: timpul de funcționare, consumul de energie electrică și generarea de căldură. Aceste valori sunt direct legate: cu cât un sistem funcționează mai mult, cu atât consumă mai multă energie și produce mai multă căldură. Reducerea unui parametru îi îmbunătățește automat pe ceilalți doi.

Aici se află „Sfântul Graal” al performanței IA: dacă cel puțin una dintre metricile fundamentale ale eficienței poate fi optimizată, celelalte metrici se îmbunătățesc aproape automat și ele.

Proces sustenabil

Odată cu utilizarea tot mai mare a cipurilor specializate, problema riscurilor de supraproducție a devenit presantă. În prezent, surplusul de echipamente este deja semnificativ, iar companiile abordează această problemă în diverse moduri sustenabile, inclusiv prin reutilizarea resurselor existente.

Reciclarea echipamentelor a devenit un element cheie al dezvoltării durabile în industriile de înaltă tehnologie. Cipurile conțin cantități substanțiale de metale prețioase și de bază, aur, cupru, aluminiu, paladiu și materiale din pământuri rare, precum și materiale utilizate în microcipuri și tranzistoare. Odată ce echipamentele devin învechite, aceste resurse valoroase pot fi returnate în producție, reducând costul componentelor noi și, în același timp, diminuând amprenta ecologică a industriei.

Unele fabrici și companii specializate se concentrează pe reciclarea și extragerea metalelor prețioase din componentele învechite. De exemplu, unele instalații utilizează procese hidrometalurgice și metode chimice avansate pentru a extrage aur și cupru cu un grad ridicat de puritate, permițând reutilizarea acestor materiale în cipuri noi.

În plus, companiile implementează modele cu buclă închisă, în care echipamentele vechi sunt modernizate sau integrate în soluții noi, reducând astfel nevoia de extracție a resurselor primare. Astfel de abordări nu numai că ajută la minimizarea deșeurilor, dar și la reducerea amprentei de carbon a producției, deoarece mineritul tradițional și prelucrarea metalelor necesită o cantitate semnificativă de energie.

Gestionarea durabilă a ciclului de viață al cipurilor și echipamentelor ar putea deveni un standard industrial, în care progresul tehnologic se aliniază cu responsabilitatea față de mediu.