Přestaňte navrhovat AI infrastrukturu kolem GPU

Proč by MSP měly začít s pracovním zatížením, ne s hardwarem

Strávíte-li pět minut na konferenci o AI, snadno si můžete odnést dojem, že každé úspěšné nasazení AI začíná nákupem více GPU. Je snadné pochopit proč. Hardware dominuje konverzaci. Zákazníci slyší o systémech Blackwell, InfiniBand sítích, hyperskalových cloudech a stále masivnějších AI klastrech. Dodavatelé přirozeně směřují k nejnovějším akcelerátorům a nejrychlejším systémům, protože jsou vzrušující, relevantní a relativně snadno umístitelné na trhu.

Problém není v tom, že výpočetní výkon není důležitý. Je nesmírně důležitý.

Problém je, že zahájení u toho může organizace přimět k položení špatné otázky. Trh s AI už není ve fázi experimentování. AI se uvádí do výroby, společnosti investují skutečné peníze a očekávají měřitelné obchodní výsledky. Rozhodnutí o infrastruktuře se stala mnohem důležitější než před dvěma lety. Přesto není dostatek rozhodnutí řízených obchodními požadavky – rozhodnutí vedená technologií stále převládají.

První otázkou by nemělo být „Který GPU si máme koupit?“

„Jaké pracovní zatížení se snažíme podpořit?“ by mělo být středem pozornosti.

Tato zdánlivě malá změna ovlivňuje téměř každé následné rozhodnutí o infrastruktuře.

Neexistuje standardní AI infrastruktura

Jedním z největších omylů na trhu je představa, že existuje jednotný nákres AI infrastruktury. Neexistuje.

Hovoříme o AI, jako by šlo o jediné pracovní zatížení. Ve skutečnosti AI zahrnuje obrovské spektrum obchodních aplikací s velmi odlišnými požadavky. Platforma pro hlasovou AI nemá stejné požadavky na infrastrukturu jako medicínské zobrazování. Vyhledávání znalostí se liší od generování obrázků. Detekce podvodů nepůsobí jako prediktivní analytika a nepřipomíná zpracování videa. Všechny používají AI. Používají jen infrastrukturu různě.

Neplánujete infrastrukturu pro „AI“. Navrhujete infrastrukturu pro obchodní aplikaci, která používá AI. Tento rozdíl je podstatný. Každé pracovní zatížení klade jedinečné nároky na podporující infrastrukturu. Některá vyžadují značné výpočetní zdroje. Jiná jsou silně závislá na výkonu úložiště, protože neustále načítají velké datové sady. Některá jsou omezena propustností sítě, zatímco jiná může žít nebo zemřít na latenci, protože každá milisekunda ovlivňuje zákaznickou zkušenost.

Existuje také praktická realita. Infrastruktura, pro kterou byl model navržen, není vždy dostupná v okamžiku nasazení. Dostupnost hardware, dlouhé dodací lhůty nebo termíny nasazení mohou organizace nutit použít jiné GPU, akcelerátory nebo konfigurační nastavení, než bylo původně plánováno. To může znamenat přeoptimalizaci modelu nebo dokonce přepracování modelu kolem hardware, který lze skutečně nasadit.

Požadavky na zabezpečení a správu jsou stejně specifické pro konkrétní pracovní zatížení. Aplikace zpracovávající veřejné informace má velmi odlišné požadavky než ta, která pracuje s finančními transakcemi, zdravotními záznamy nebo proprietárním duševním vlastnictvím. Ochrana dat, správa identit a přístupů, soulad, suverenita, zálohování, obnova a dostupnost nemohou být jednoduše přidány po nasazení. Jedná se o architektonická rozhodnutí.

Obchodní požadavky přidávají další vrstvu. Jak rychle bude aplikace potřebovat škálovat? Jaké provozní náklady jsou udržitelné? Jakou úroveň dostupnosti podnik vyžaduje? Kolik složitosti si organizace realisticky dokáže řídit? Na tyto otázky odpoví každý zákazník jinak. Proto neexistuje jediné řešení AI infrastruktury.

Organizace, které začínají preferovaným cloudem, hardwarem nebo dodavatelem, nedosahují správné AI infrastruktury. Lídři začínají pracovním zatížením a navrhují architekturu kolem obchodního cíle.

Trénink získává titulky. Inference přináší obchodní hodnotu.

Fascinace průmyslu tréninkem je dalším důvodem, proč se konverzace o AI infrastruktuře mohou vydat špatným směrem.

Trénink velkého jazykového modelu je mimořádná inženýrská výzva. Vyžaduje obrovské datové sady, masivní GPU clustery, značnou spotřebu energie a infrastrukturu schopnou pracovat na plný výkon po dny, týdny či dokonce měsíce. Je to nákladné, technicky působivé a přirozeně přitahuje pozornost.

Většina organizací však nevyvíjí další špičkový model. Budují aplikace zákaznické podpory, hlasové AI systémy, asistenty pro zaměstnance, znalostní asistenty, vyhledávací nástroje, platformy pro sumarizaci dokumentů, systémy detekce podvodů a desítky dalších praktických aplikací využívajících již natrénované modely.

Jedná se o inference pracovní zatížení a inference mění rovnici infrastruktury. Místo optimalizace výhradně pro maximální výpočetní výkon mohou organizace potřebovat optimalizovat pro rychlé odezvy, nízkou latenci, předvídatelné provozní náklady a konzistentní výkon.

Zákazník se nezajímá, jak výkonný je podkladový GPU, pokud chatbot odpovídá pět sekund. Volající se nezajímá o specifikace AI clusteru, pokud hlasový asistent opakovaně špatně rozumí požadavkům nebo váhá během konverzace. Jednoduše vědí, že aplikace nefunguje dobře.

Navrhovat každé AI prostředí tak, jako byste trénovali základní model, je tedy obvykle špatný přístup a často zbytečně drahý.

Cílem většiny zákazníků MSP není vybudovat největší GPU cluster na světě. Cílem je rychle, spolehlivě, bezpečně a ekonomicky dostat AI aplikace do výroby.

Výzvou je najít správnou rovnováhu mezi výkonem, bezpečností, škálovatelností, odolností a náklady pro pracovní zatížení, která skutečně provozují.

Možná GPU není vaše úzké místo

GPU se staly celebritou AI infrastruktury. Jsou drahé, obtížně dostupné a snadno srovnatelné, což je činí středobodem nesčetných diskusí o infrastruktuře. GPU však nemusí být tím, co brání aplikaci AI v produkci, jakmile se dostane do provozu.

„Kolik GPU potřebujeme?“ není otázka, kterou bychom si měli klást, spíše „Co zpomalí tuto aplikaci za šest měsíců?“

Odpověď může být i jinde v architektuře.

Úložiště je dobrý příklad. Obrovské množství dat spotřebovávají AI pracovní zatížení – a tyto datové sady časem rostou. I extrémně výkonný GPU může ztrácet cenný čas čekáním místo práce, pokud úložiště nedokáže informace dodat dostatečně rychle. Tato data je také třeba chránit, zálohovat, archivovat, zabezpečit a spravovat po celou dobu jejich životního cyklu.

Stejně tak je důležitá síť. Propustnost, latence, východ-západ provoz a komunikace mezi AI clustery všechny ovlivňují výkon aplikace. Dobře navržené výpočetní prostředí nemůže nekonečně kompenzovat špatně navrženou síť.

Bezpečnost musí být součástí architektury od samého začátku. Otázky, které je nutné vyřešit před nasazením, zahrnují: kde jsou citlivá data uložena, jak jsou sítě segmentovány, zda pracovní zatížení komunikují přes soukromé nebo veřejné připojení a jak jsou řešeny požadavky na soulad a suverenitu.

Dalším snadno přehlíženým faktorem je konektivita. I když neprodukují žhavé titulky, rozmanitost optických vláken, rozmanitost tras, peeringové vztahy a geografická blízkost mohou kriticky ovlivnit uživatelský zážitek – nemluvě o odolnosti platformy.

Koncoví zákazníci neví a nezajímají se, který GPU sedí v racku. Zajímají je, zda aplikace reaguje okamžitě nebo je nutné čekat.

Fyzická infrastruktura také zasluhuje pozornost. Dostupnost energie, chladicí kapacita, hustota racků a kapacita rozšíření určují, zda dnešní úspěšné nasazení může pojmout zítřejší růst.

A pak je tu gravitační síla dat. Jak datové sady rostou, přesouvání petabajtů informací mezi místy jen proto, že výpočetní výkon je někde jinde, se stává stále neefektivnějším. V mnoha situacích může být praktičtější a levnější přinést výpočetní výkon blíže k datům.

Proto je architektura důležitá.

Pomyslete na závodní auto – jen proto, že má nejlepší motor, neznamená to, že vyhraje. Převodovka, pneumatiky, podvozek, trať a zejména řidič jsou také podstatné. AI infrastruktura funguje obdobně.

Organizace, které generují největší hodnotu z AI, nebudou nutně ty s největšími GPU clustery. Budou to ti, kteří pochopí, jak všechny vrstvy infrastruktury spolupracují.

To je rozdíl mezi nákupem infrastruktury a jejím návrhem.

Rámec plánování zaměřený na pracovní zatížení

MSP mají příležitost změnit konverzaci o infrastruktuře.

Místo zahájení s:

• Který GPU?
• Který cloud?
• Který dodavatel?

Začněte s pracovním zatížením:

• Jaký obchodní problém řešíme?
• Jedná se o tréninkové nebo inference pracovní zatížení?
• Jakou latenci může aplikace tolerovat?
• Kde data žijí a jak rychle budou růst?
• Jaké požadavky na bezpečnost, soulad a suverenitu platí?
• Jak bude pracovní zatížení škálovat?
• Jakou úroveň dostupnosti podnik vyžaduje?
• Jaké úrovně provozního rizika jsou přijatelné?
• Kolik bude stát provoz tohoto prostředí při růstu využití?

Odpovědi by měly určovat architekturu. Ne naopak.

Příležitost pro MSP

Tato změna mění roli MSP.

Zákazníci nepotřebují dalšího partnera, který jim prodá infrastrukturu. Potřebují partnera, který jim pomůže učinit lepší rozhodnutí o infrastruktuře.

Přístup zaměřený na pracovní zatížení je nezbytný, protože dává MSP možnost posuzovat výpočet, úložiště, síť, konektivitu, bezpečnost, umístění dat, dostupnost a náklady jako součást jediné architektury – místo samostatných nákupních rozhodnutí.

Tímto způsobem můžete kontrolovat náklady, zlepšovat výkon a identifikovat provozní a bezpečnostní rizika ještě před tím, než aplikace dosáhnou výroby.

Vytváří se také lepší obchodní model pro MSP.

MSP mohou budovat vyšší hodnotové opakující se služby kolem architektury, nasazení, optimalizace, bezpečnosti, správy životního cyklu, plánování kapacit a kontinuálního zlepšování – místo toho, aby se primárně soutěžily v zužování marží hardware.

Hodnota nespočívá v doporučování nejnovějšího GPU nebo nejnovější cloudové platformy. Spočívá v tom, vědět, kdy je zákazník potřebuje, kdy ne, a co dalšího je třeba navrhnout kolem nich.

AI infrastruktura je v konečném důsledku ne rozhodnutí o hardware. Je to rozhodnutí o architektuře řízené pracovním zatížením, daty a obchodním výsledkem, který zákazník usiluje dosáhnout.

MSP, které pochopí tento rozdíl, budou v pozici stát se něčím mnohem cennějším než dodavatelé infrastruktury.

Stanou se lidmi, kterým zákazníci důvěřují při rozhodování, jakou infrastrukturu skutečně potřebují.