De ce următoarea fază a infrastructurii de inteligență artificială va necesita mai mult decât centrele de date hyperscale

Inteligența artificială intră într-o perioadă în care strategia de infrastructură devine inseparabilă de capacitatea modelului. De ani de zile, centrele de date hyperscale au alimentat apariția antrenamentului la scară largă, permițând modelelor de frontieră să crească de la milioane la trilioane de parametri. Dar pe măsură ce adoptarea inteligenței artificiale se accelerează în întreprinderi, industrii și sisteme în timp real, inferența înlocuiește antrenamentul ca încărcătură de lucru dominantă, și inferența are cerințe fundamental diferite.

Următoarea eră a inteligenței artificiale nu poate fi susținută numai de centrele de date hyperscale. În schimb, un model hibrid este în curs de apariție, în care campusurile centralizate pentru antrenament sunt completate de centre de date comerciale distribuite, aliniate cu puterea și la scară comercială pentru inferență. Acest schimb este determinat de restricțiile de latență, nevoile de suveranitate a datelor, realitățile energetice și limitele fizice ale expansiunii hyperscale continue.

Divergența dintre antrenament și inferență

Antrenamentul rămâne o activitate centralizată. Acesta cere clusteruri masive, conducte de date de înaltă viteză și joburi de lungă durată care beneficiază de economiile de scară. Campusurile hyperscale sunt optimizate pentru acest lucru, cu calcul dens, materiale de rețea specializate și disponibilitate globală. Dar inferența se comportă diferit. Acesta este de scurtă durată, de volum ridicat, sensibil la latență și adesea legat de geografie sau de limitele întreprinderii. Analizele de la lucrarea recentă a Akamai despre sisteme agențiale arată că majoritatea organizațiilor țintesc acum o latență de sub 500 de milisecunde pentru cazurile de utilizare critică ale inteligenței artificiale, și fluxurile de lucru multi-agente depășesc frecvent acest prag doar din cauza tranzitului de rețea și a execuției CPU.

Latența nu este un metric abstract. În robotică și sisteme autonome, buclele de control rulează adesea la 100-1000 de hertzi la fiecare 1-10 milisecunde. Orice inteligență de pe o placă externă trebuie să respecte aceste constrângeri de timp. O călătorie de 50 de milisecunde către un centru de date îndepărtat rupe complet regimul de control. În tranzacționarea financiară și detectarea fraudelor, milisecundele determină rezultatele economice. În automatizarea industrială, inferența întârziată poate destabiliza procesele sau compromite siguranța. Și în experiențele interactive, cum ar fi jocurile, realitatea virtuală și copiloții în timp real, răspunsul se degradează puternic peste 100-150 de milisecunde.

Sistemele moderne de inteligență artificială se bazează din ce în ce mai mult pe fluxuri de lucru multi-agente, constând în lanțuri de zeci de apeluri secvențiale. Analiza Akamai arată că execuția CPU poate reprezenta majoritatea latenței totale, iar fiecare tur de rețea adaugă întârziere suplimentară. Un flux de lucru cu 50 de apeluri secvențiale poate suferi secunde de latență de transport atunci când este direcționat către o regiune hyperscale îndepărtată. Plasați același flux de lucru într-un centru de date hiperlocal situat pe același campus sau în aceeași zonă metropolitană și fizica se schimbă. Inferența locală poate oferi o latență de tur de 1-5 milisecunde. Un flux de lucru cu 50 de pași care ar dura secunde într-o regiune îndepărtată poate fi finalizat în 50-250 de milisecunde local, rămânând în bugetul de latență al întreprinderii.

Suveranitatea datelor și realitățile rețelei electrice care determină implementările locale

Latența este doar o parte a poveștii. Pentru industrii reglementate, cum ar fi sănătatea, finanțele și sectorul public, suveranitatea datelor este adesea principalul factor care determină inferența locală. Rularea încărcăturilor de lucru de inteligență artificială în spatele unui zid de foc al întreprinderii conservă perimetrele de securitate existente, reduce expunerea multitenant, simplifică conformitatea și ține datele sensibile departe de infrastructura cloud împărtășită. Furnizorii de centre de date hyperscale oferă securitate puternică, dar suprafața de atac și lanțul de încredere sunt în mod inerent mai largi. Întreprinderile preferă din ce în ce mai mult arhitecturi de inferență care se aliniază cu postura lor de securitate existentă.

În plus față de preocupările legate de latență și securitate, disponibilitatea puterii devine o constrângere la fel de importantă. Centrele de date hyperscale mari se confruntă adesea cu întârzieri de mai mulți ani din cauza constrângerilor de transmisie și a cozilor de conectare. Implementările comerciale la scară mai mică, în special cele situate lângă sarcini existente sau generare distribuită, pot fi adesea energizate mult mai rapid. Acest lucru contează pentru că cererea de inteligență artificială se ciocnește cu o paradoxă ciudată.

În același timp, operatorii se luptă să obțină noi conexiuni la rețeaua electrică, cantități imense de energie regenerabilă sunt limitate. La nivel global, limitarea energiei regenerabile depășește 200 de terawatt-ore pe an. În Statele Unite, limitarea este estimată la aproximativ 20 de terawatt-ore anual. ERCOT a limitat peste 9 terawatt-ore de generare eoliană și solară într-un an recent. Între timp, CAISO a limitat 3,4 terawatt-ore de energie solară și eoliană în 2024, cu energia solară reprezentând 93% din toată producția tăiată. Studiile sistemelor energetice arată în mod constant că atât energia solară, cât și cea eoliană se confruntă cu limitări semnificative atunci când generarea depășește capacitatea rețelei. Limitarea energiei solare este deosebit de frecventă în regiunile cu vârfuri puternice la prânz, în timp ce limitarea energiei eoliene apare adesea în orele de vârf sau în coridoarele constrânse. Centrele de date distribuite, situate lângă generare, în special în regiunile bogate în energie solară, pot converti energia blocată în capacitate de inferență utilă.

Centrele de date hyperscale vor rămâne esențiale pentru antrenament, dar se confruntă cu limite fizice și economice în creștere. Conectarea la rețeaua de transmisie poate fi un proces lung, care necesită noi stații de transmisie, actualizări ale rețelei, permise multi-agency și revizuiri ale comunității. Acestea sunt procese care durează în mod obișnuit ani. Instalațiile hyperscale necesită amprente mari de teren, alocări semnificative de apă și aprobări complexe de mediu. Comunitățile sunt din ce în ce mai rezistente la dezvoltarea de noi centre de date din cauza zgomotului, a utilizării apei și a impactului asupra terenului. Și campusurile centralizate concentrează riscul astfel încât evenimentele meteorologice, întreruperile rețelei sau întreruperile geopolitice pot afecta o parte semnificativă a capacității de calcul global. Arhitecturile distribuite oferă redundanță geografică și reziliență operațională.

Viitorul este o arhitectură de inteligență artificială cu mai multe niveluri

Când vine vorba de a asigura faptul că inferența funcționează fără întrerupere, eficiența poate deveni la fel de importantă ca și capacitatea brută. Inferența consumă energie continuu, și analistii din industrie sugerează că inferența poate reprezenta în cele din urmă majoritatea consumului de energie legat de inteligența artificială. Câștigurile de eficiență din integrarea locală a energiei regenerabile, reducerile pierderilor de transmisie, implementările de dimensiuni adecvate, profilurile termice îmbunătățite și ratele de utilizare mai mari vor deveni esențiale pentru a satisface cererea globală de inteligență artificială în mod durabil. Centrele de date comerciale la scară distribuită sunt bine poziționate pentru a oferi aceste câștiguri, deoarece pot fi situate acolo unde energia este abundentă, ieftină sau subutilizată.

Următoarea fază a infrastructurii de inteligență artificială va fi un amestec hibrid de campusuri hyperscale care domină antrenamentul, centre de date comerciale distribuite care servesc inferenței, și dispozitive de margine care servesc încărcăturilor de lucru ultra locale. Această arhitectură cu mai multe niveluri reflectă realitățile fizice ale puterii, latenței, securității și scalei. Pe măsură ce inteligența artificială devine încorporată în sistemele în timp real din toate industriile, infrastructura trebuie să evolueze corespunzător pentru a aduce inferența mai aproape de lumea pe care o deservește.