Renunțați la proiectarea infrastructurii AI în jurul GPU-ului

De ce MSP-urile ar trebui să înceapă cu sarcina de lucru, nu cu hardware-ul

Petreceți cinci minute la o conferință AI și veți pleca cu ușurință convins că fiecare implementare AI de succes începe cu achiziționarea a mai multor GPU-uri. Este ușor de înțeles de ce. Hardware-ul domină discuția. Clienții aud despre sistemele Blackwell, rețelele InfiniBand, norii hyperscale și clustere AI din ce în ce mai masive. Furnizorii gravitează natural spre cele mai noi acceleratoare și cele mai rapide sisteme, deoarece sunt incitante, relevante și relativ ușor de poziționat pe piață.

Problema nu este că puterea de calcul nu contează. Contează enorm.

Problema este că, pornind de aici, organizațiile pot pune întrebarea greșită. Piața AI nu mai este în faza de experimentare. AI este introdus în producție, companiile investesc bani reali și se așteaptă la rezultate de afaceri cuantificabile. Deciziile privind infrastructura au devenit mult mai decisive decât acum două ani. Totuși, nu suficiente decizii sunt ghidate de cerințele de business – deciziile conduse de tehnologie rămân în frunte.

Prima întrebare nu ar trebui să fie „Ce GPU să cumpărăm?”

„Ce sarcină de lucru încercăm să susținem?” ar trebui să fie punctul central.

Această schimbare aparent mică afectează aproape fiecare decizie de infrastructură care urmează.

Nu există o infrastructură AI standard

Una dintre cele mai mari concepții greșite de pe piață este că există un plan standard pentru infrastructura AI. Nu există.

Vorbeam despre AI ca și cum ar fi o singură sarcină de lucru. În realitate, AI cuprinde o gamă enormă de aplicații de business cu cerințe foarte diferite. O platformă de AI vocal nu are aceleași cerințe de infrastructură ca imagistica medicală. Recuperarea de cunoștințe diferă de generarea de imagini. Detectarea fraudei nu seamănă cu analiza predictivă și nici nu se aseamănă cu procesarea video. Toate folosesc AI. Pur și simplu utilizează infrastructura în mod diferit.

Nu proiectați cu adevărat infrastructura pentru „AI”. Proiectați infrastructura pentru o aplicație de business care folosește AI. Această distincție contează. Fiecare sarcină de lucru impune cerințe unice asupra infrastructurii care o susține. Unele necesită resurse de calcul substanțiale. Altele depind puternic de performanța stocării, deoarece recuperează continuu seturi de date mari. Unele sunt limitate de debitul rețelei, în timp ce altele pot trăi sau muri din cauza latenței, deoarece fiecare milisecundă afectează experiența clientului.

Există, de asemenea, o realitate practică. Infrastructura pentru care a fost conceput un model nu este întotdeauna cea disponibilă în momentul implementării. Disponibilitatea hardware-ului, timpii lungi de livrare sau termenele de implementare pot forța organizațiile să folosească GPU-uri, acceleratoare sau configurații de infrastructură diferite de cele planificate inițial. Acest lucru poate însemna reoptimizarea modelului. Sau chiar reproiectarea modelului în jurul hardware-ului pe care îl pot implementa efectiv.

Cerințele de securitate și guvernanță sunt, de asemenea, specifice sarcinii de lucru. O aplicație care procesează informații publice are cerințe foarte diferite de cea care gestionează tranzacții financiare, dosare medicale sau proprietate intelectuală proprietară. Protecția datelor, gestionarea identității și accesului, conformitatea, suveranitatea, backup-ul, recuperarea și disponibilitatea nu pot fi adăugate simplu după implementare. Sunt decizii arhitecturale.

Cerințele de business adaugă un alt nivel. Cât de repede va trebui să scaleze aplicația? Ce costuri de operare sunt sustenabile? Ce nivel de disponibilitate necesită business-ul? Câtă complexitate poate gestiona în mod realist organizația? Aceste întrebări vor primi răspunsuri diferite de la fiecare client. De aceea nu există o infrastructură AI universală.

Organizațiile care încep cu un cloud, o platformă hardware sau un furnizor preferat nu reușesc să obțină infrastructura AI corectă. Liderii încep cu sarcina de lucru și proiectează o arhitectură în jurul obiectivului de business.

Antrenamentul atrage atenția. Inferența livrează valoarea de business.

Fascinația industriei pentru antrenament este un alt motiv pentru care discuțiile despre infrastructura AI pot merge în direcția greșită.

Antrenarea unui model lingvistic mare este o provocare inginerească extraordinară. Sunt necesare seturi de date enorme, clustere GPU masive, consum semnificativ de energie și o infrastructură capabilă să funcționeze la capacitate maximă zile, săptămâni sau chiar luni. Este costisitor, tehnic impresionant și atrage în mod natural atenția.

Totuși, majoritatea organizațiilor nu construiesc următorul model de frontieră. Ele dezvoltă aplicații de servicii pentru clienți, sisteme AI vocale, asistenți pentru angajați, asistenți de cunoaștere, instrumente de căutare, platforme de rezumat de documente, sisteme de detectare a fraudei și zeci de alte aplicații practice folosind modele deja antrenate.

Acestea sunt sarcini de inferență, iar inferența schimbă ecuația infrastructurii. În loc de a optimiza exclusiv pentru calcul maxim, organizațiile pot avea nevoie să optimizeze pentru timpi de răspuns rapizi, latență scăzută, costuri de operare previzibile și performanță constantă.

Un client nu îi pasă cât de puternic este GPU-ul de bază dacă un chatbot răspunde în cinci secunde. Un apelant nu îi pasă de specificațiile clusterului AI dacă asistentul vocal înțelege greșit în mod repetat solicitările sau ezită în timpul unei conversații. Ei știu pur și simplu că aplicația nu funcționează bine.

Prin urmare, proiectarea fiecărui mediu AI ca și cum ați antrena un model de bază este de obicei abordarea greșită și adesea una inutil de costisitoare.

Obiectivul majorității clienților MSP nu este să construiască cel mai mare cluster GPU din lume. Scopul este să aducă aplicațiile AI în producție rapid, fiabil, în siguranță și economic.

Provocarea este să găsească echilibrul potrivit între performanță, securitate, scalabilitate, reziliență și cost pentru sarcinile de lucru pe care le rulează efectiv.

Poate că GPU-ul nu este blocajul tău

GPU-urile au devenit vedetele infrastructurii AI. Sunt scumpe, greu de obținut și ușor de comparat, ceea ce le face punctul central al nenumăratelor discuții despre infrastructură. Totuși, GPU-ul s-ar putea să nu fie factorul care le limitează odată ce o aplicație AI ajunge în producție.

„Câte GPU-uri avem nevoie?” nu este întrebarea pe care ar trebui să ne-o punem, ci mai degrabă „Ce va încetini această aplicație peste șase luni?”

Răspunsul poate fi, de asemenea, undeva în altă parte a arhitecturii.

Stocarea este un exemplu bun. Cantități enorme de date sunt consumate de sarcinile AI – și aceste seturi de date cresc în timp. Chiar și un GPU extrem de puternic poate pierde timp prețios așteptând în loc să lucreze, dacă stocarea nu poate furniza informațiile suficient de rapid. Aceste date trebuie, de asemenea, protejate, salvate, păstrate, securizate și gestionate pe tot parcursul ciclului lor de viață.

La fel de mult, rețelele contează. Debit, latență, trafic east‑west și comunicarea între clusterele AI afectă toate performanța aplicației. Un mediu de calcul bine proiectat nu poate compensa pe termen nedeterminat o rețea prost concepută.

De asemenea, securitatea trebuie să facă parte din arhitectură încă de la început. Întrebările care trebuie abordate înainte de producție includ: unde se află datele sensibile, cum sunt segmentate rețelele, dacă sarcinile comunică prin conectivitate privată sau publică și cum sunt abordate cerințele de conformitate și suveranitate.

Un alt factor ușor trecut cu vederea este conectivitatea. Deși nu generează titluri strălucitoare, diversitatea fibrei, diversitatea rutelor, relațiile de peering și proximitatea geografică pot influența critic experiența utilizatorului – ca să nu mai vorbim de reziliența platformei.

Clienții finali nu știu și nu le pasă ce GPU este instalat în rack. Le pasă dacă aplicația răspunde imediat sau îi lasă în așteptare.

Infrastructura fizică merită, de asemenea, atenție. Disponibilitatea energiei, capacitatea de răcire, densitatea rack-urilor și capacitatea de extindere determină dacă implementarea de succes de astăzi poate susține creșterea de mâine.

Apoi există gravitația datelor. Pe măsură ce seturile de date se extind, mutarea petabytes de informații între locații, doar pentru că calculul se află în altă parte, devine din ce în ce mai ineficientă. În multe situații, aducerea calculului mai aproape de date poate fi atât mai practică, cât și mai puțin costisitoare.

De aceea, arhitectura contează.

Gândiți-vă la o mașină de curse – doar pentru că are cel mai bun motor nu înseamnă că va câștiga. Transmisia, anvelopele, suspensia, pista și, în special, pilotul contează de asemenea. Infrastructura AI funcționează în mod similar.

Organizațiile care generează cea mai mare valoare din AI nu vor fi neapărat cele cu cele mai mari clustere GPU. Vor fi cele care înțeleg cum fiecare strat al infrastructurii lucrează împreună.

Aceasta este diferența dintre a cumpăra infrastructură și a o proiecta.

Un cadru de planificare bazat pe sarcina de lucru

MSP-urile au o oportunitate de a schimba discuția despre infrastructură.

În loc să începeți cu:

• Ce GPU?
• Ce cloud?
• Ce furnizor?

Începeți cu sarcina de lucru:

• Ce problemă de business rezolvăm?
• Este aceasta o sarcină de antrenament sau de inferență?
• Câtă latență poate tolera aplicația?
• Unde sunt stocate datele și cu ce viteză vor crește?
• Ce cerințe de securitate, conformitate și suveranitate se aplică?
• Cum va scala sarcina de lucru?
• Ce nivel de disponibilitate necesită business-ul?
• Ce nivel de risc operațional este acceptabil?
• Care va fi costul de operare al acestui mediu pe măsură ce utilizarea crește?

Răspunsurile ar trebui să determine arhitectura. Nu invers.

Oportunitatea pentru MSP-uri

Această schimbare modifică rolul MSP-ului.

Clienții nu au nevoie de un alt partener capabil să le vândă infrastructură. Au nevoie de un partener care să îi ajute să ia decizii mai bune privind infrastructura.

O abordare bazată pe sarcina de lucru este esențială, deoarece oferă MSP-urilor oportunitatea de a evalua calculul, stocarea, rețelele, conectivitatea, securitatea, locația datelor, disponibilitatea și costul ca părți ale unei singure arhitecturi – în loc de decizii de achiziție separate.

În acest fel, puteți controla costurile, îmbunătăți performanța și identifica riscurile operaționale și de securitate înainte ca aplicațiile să ajungă în producție.

Se creează, de asemenea, un model de business mai bun pentru MSP.

MSP-urile pot construi servicii recurente de valoare mai mare în jurul arhitecturii, implementării, optimizării, securității, managementului ciclului de viață, planificării capacității și îmbunătățirii continue – în loc să concureze în principal pe marjele hardware în scădere.

Valoarea nu constă în recomandarea celui mai recent GPU sau a celei mai noi platforme cloud. Este în a ști când un client are nevoie de ele, când nu și ce altceva trebuie proiectat în jurul lor.

Infrastructura AI nu este în final o decizie hardware. Este o decizie de arhitectură determinată de sarcina de lucru, datele și rezultatul de business pe care clientul încearcă să îl obțină.

MSP-urile care înțeleg această distincție vor fi poziționate să devină ceva mult mai valoros decât furnizorii de infrastructură.

Ele vor deveni persoanele în care clienții au încredere pentru a ajuta la decizia ce infrastructură au cu adevărat nevoie.