Vylepšení AI Inferencing: Pokročilé Techniky a Nejlepší Postupy

Při aplikacích s umělou inteligencí v reálném čase, jako jsou samořiditelná auta nebo zdravotnický monitoring, může jeden navíc sekunda na zpracování vstupu mít vážné důsledky. Aplikace s umělou inteligencí v reálném čase vyžadují spolehlivé GPU a výpočetní výkon, což bylo dříve velmi drahé a nákladné pro mnoho aplikací – až do teď.

Adoptováním optimalizovaného procesu inferencing mohou podniky nejen maximalizovat efektivitu AI, ale také snížit spotřebu energie a provozní náklady (až o 90 %); zlepšit soukromí a bezpečnost; a dokonce zlepšit spokojenost zákazníků.

Časté problémy s inferencí

Některé z nejčastějších problémů, se kterými se společnosti setkávají při správě efektivnosti AI, zahrnují nevyužité klastry GPU, výchozí obecné modely a nedostatek přehledu o souvisejících nákladech.

Týmy často zajišťují klastry GPU pro špičkovou zátěž, ale mezi 70 a 80 procenty času jsou nevyužité kvůli nerovnoměrným pracovním postupům.

Kromě toho týmy výchozí volby velkých obecných modelů (GPT-4, Claude) i pro úkoly, které by mohly běžet na menších, levnějších open-source modelech. Důvodem je nedostatek znalostí a strmá křivka učení při vytváření vlastních modelů.

Nakonec inženýři obvykle postrádají přehled o skutečných nákladech na každou žádost, což vede k vysokým účtům. Nástroje jako PromptLayer, Helicone mohou pomoci poskytnout tento přehled.

S nedostatkem kontrol nad výběrem modelu, dávkováním a využitím se náklady na inferenci mohou exponenciálně zvýšit (až o 10 krát), plýtvat zdroji, omezovat přesnost a snižovat uživatelský zážitek.

Spotřeba energie a provozní náklady

Spouštění větších LLM, jako je GPT-4, Llama 3 70B nebo Mixtral-8x7B, vyžaduje významně více energie na token. V průměru 40 až 50 procent energie spotřebované datovým centrem pohání výpočetní zařízení, s dalšími 30 až 40 procenty věnovanými chlazení zařízení.

Proto je pro společnost, která běží kolem hodin pro inferenci v měřítku, výhodnější zvážit poskytovatele na místě jako opposed k poskytovateli cloudu, aby se vyhnula placení премiální ceny a spotřebě více energie.

Privátnost a bezpečnost

Podle studie Cisco 2025 Data Privacy Benchmark „64 % respondentů se obává, že náhodně sdílí citlivé informace veřejně nebo s konkurenty, a přesto téměř polovina přiznává, že vkládá osobní údaje zaměstnanců nebo neveřejné údaje do nástrojů GenAI.“ To zvyšuje riziko nedodržení předpisů, pokud jsou data nevhodně protokolována nebo uložena.

Další příležitostí pro riziko je spouštění modelů napříč různými zákaznickými organizacemi na sdílené infrastruktuře; to může vést k únikům dat a problémům s výkonem, a existuje další riziko, že akce jednoho uživatele ovlivní ostatní uživatele. Proto podniky obvykle preferují služby nasazené ve své cloudu.

Spokojenost zákazníků

Když odpovědi trvají déle než několik sekund, uživatelé obvykle odpadají, což podporuje úsilí inženýrů o optimalizaci pro nulovou latenci. Kromě toho aplikace představují „překážky, jako jsou halucinace a nepřesnost, které mohou omezit široký dopad a přijetí,” podle tiskové zprávy Gartner.

Obchodní výhody řešení těchto problémů

Optimalizace dávkování, výběr správně velikých modelů (například přepínání z Llama 70B nebo uzavřených zdrojových modelů, jako je GPT, na Gemma 2B, kde je to možné) a zlepšení využití GPU může snížit náklady na inferenci o 60 až 80 procent. Používání nástrojů, jako je vLLM, může pomoci, stejně jako přepínání na serverless model platby podle použití pro špičkový pracovní postup.

Vezměme si například Cleanlab. Cleanlab spustil Důvěryhodný jazykový model (TLM), aby přidali skóre důvěryhodnosti k každé odpovědi LLM. Je navržen pro vysoké kvality výstupů a zvýšenou spolehlivost, což je kritické pro podnikové aplikace, aby se zabránilo nekontrolovaným halucinacím. Před Inferless Cleanlabs zaznamenal zvýšené náklady na GPU, protože GPU běžel i tehdy, když nebyl aktivně používán. Jejich problémy byly typické pro tradiční cloudové poskytovatele GPU: vysoká latence, neefektivní správa nákladů a složitá infrastruktura. S serverless inferencí snížili náklady o 90 procent, zatímco udržovali úroveň výkonu. Co je důležitější, šli naživo do dvou týdnů bez dalších nákladů na inženýrský overhead.

Optimalizace architektury modelu

Základní modely, jako je GPT a Claude, jsou často trénovány pro obecnost, nikoli pro efektivitu nebo konkrétní úkoly. Nezvykáním open-source modelů pro konkrétní použití odpadá paměť a výpočetní čas pro úkoly, které nevyžadují tuto velikost.

Novější čipové sady GPU, jako je H100, jsou rychlé a efektivní. Tyto jsou zvláště důležité při spouštění velkých operací, jako je generování videa nebo úkoly související s umělou inteligencí. Více CUDA jader zvyšuje rychlost zpracování, překonává menší GPU; Tensorová jádra NVIDIA (NVDA ) jsou navržena pro urychlení těchto úkolů v měřítku.

Paměť GPU je také důležitá pro optimalizaci architektury modelu, protože velké modely AI vyžadují značný prostor. Tato dodatečná paměť umožňuje GPU spouštět větší modely bez kompromisů v rychlosti. Naopak výkon menších GPU s méně VRAM trpí, protože přesouvají data do pomalejší systémové RAM.

Několik výhod optimalizace architektury modelu zahrnuje úspory času a peněz. Nejprve přepínání z hustého transformátoru na LoRA-optimovaný nebo FlashAttention-založený variant může snížit odpověď na dotaz o 200 až 400 milisekund, což je kritické v chatbotech a hrách, například. Kromě toho kvantifikované modely (jako 4-bit nebo 8-bit) vyžadují méně VRAM a běží rychleji na levnějších GPU.

Dlouhodobě optimalizace architektury modelu šetří peníze na inferenci, protože optimalizované modely mohou běžet na menších čipech.

Optimalizace architektury modelu zahrnuje následující kroky:

• Kvantizace — snižování přesnosti (FP32 → INT4/INT8), úspora paměti a urychlení výpočetního času
• Řezání — odstraňování méně užitečných váh nebo vrstev (strukturovaných nebo nestrukturovaných)
• Destilace — trénování menšího „studenta“ modelu, aby napodoboval výstup většího modelu

Komprese velikosti modelu

Menší modely znamenají rychlejší inferenci a méně nákladnou infrastrukturu. Velké modely (13B+, 70B+) vyžadují drahé GPU (A100s, H100s), vysokou VRAM a více energie. Komprese umožňuje jejich běh na levnější hardwaru, jako jsou A10s nebo T4s, s mnohem nižší latencí.

Kompresní modely jsou také kritické pro běh na zařízení (telefony, prohlížeče, IoT) inferenci, protože menší modely umožňují službu více současných požadavků bez škálování infrastruktury. V chatbotu s více než 1 000 současnými uživateli přechod z 13B na 7B komprimovaný model umožnil jedné týmu obsloužit více než dvojnásobný počet uživatelů na GPU bez latencí.

Využití specializovaného hardwaru

Obecné-purpose CPU nejsou navrženy pro tensorové operace. Specializovaný hardware, jako je NVIDIA A100s, H100s, Google TPUs nebo AWS Inferentia, může nabízet rychlejší inferenci (mezi 10 a 100 krát) pro LLM s lepší energetickou efektivitou. Odstranění dokonce 100 milisekund na žádost může udělat rozdíl, když se zpracovávají miliony požadavků denně.

Přemýšlejte o tomto hypotetickém příkladu:

Tým běží LLaMA-13B na standardních GPU A10 pro svůj interní RAG systém. Latence je kolem 1,9 sekundy a nemohou dávkovat mnoho kvůli omezením VRAM. Takže přepínají na H100s s TensorRT-LLM, Enable FP8 a optimalizovanou jádro pozornosti, zvyšují dávkovací velikost z osmi na 64. Výsledek je snížení latence na 400 milisekund s pětinásobným zvýšením propustnosti.
Jako výsledek, jsou schopni obsloužit požadavky pětkrát na stejném rozpočtu a uvolnit inženýry z navigace infrastrukturálních úzkých míst.

Hodnocení možností nasazení

Různé procesy vyžadují různé infrastruktury; chatbot s 10 uživateli a vyhledávací stroj, který obsluhuje milion dotazů denně, mají různé potřeby. Plné nasazení cloudu (například AWS Sagemaker) nebo DIY GPU serverů bez hodnocení poměru nákladů a výkonu vede k plýtvání penězi a špatnému uživatelskému zážitku. Poznámka: Pokud se zavážete k uzavřenému cloudovému poskytovateli, migrace řešení později je bolestivá. Nicméně, hodnocení na začátku s pay-as-you-go strukturou vám nabízí možnosti na cestě.

Hodnocení zahrnuje následující kroky:

• Benchmark modelu latence a nákladů napříč platformami: Spusťte A/B testy na AWS, Azure, místních GPU klastrů nebo serverless nástrojích, aby se replikovaly.
• Měření studené startovací výkonnosti: To je zvláště důležité pro serverless nebo událostmi řízené pracovní postupy, protože modely se načítají rychleji.
• Hodnocení pozorovatelnosti a omezení škálovatelnosti: Hodnotit dostupné metriky a identifikovat, co je maximální počet dotazů za sekundu před degradací.
• Kontrola podpory dodržování předpisů: Určete, zda můžete vynutit pravidla geo-vázaných dat nebo auditní protokoly.
• Odhad celkových nákladů na vlastnictví. To by mělo zahrnovat hodiny GPU, úložiště, šířku pásma a režii pro týmy.

Podstatné

Inferencing umožňuje podnikům optimalizovat výkon AI, snížit spotřebu energie a náklady, zachovat soukromí a bezpečnost a udržet zákazníky spokojené.