Chcete-li snížit náklady na AI, začněte výdaji na cloud

Takzvaný „špinavý střed“ umělé inteligence možná dosáhl svého největšího problému.

Globální krize hardwaru se střetává s enormní poptávkou, náklady na umělou inteligenci prudce vzrostly. Společnosti poskytující služby umělé inteligence byly nuceny zvyšovat ceny a měnit své fakturační modely, což vyřadilo rozpočty z rovnováhy a zastavilo inovace právě ve chvíli, kdy mnoho organizací konečně dosáhlo svého tempa.

Výsledek je více než šok z ceny: je to existenční krize pro obchodní svět, který vlastně právě prodělal jednu. Společnosti změnily své plány, aby zohlednily dopad umělé inteligence. Týmy změnily své pracovní postupy v souladu s možnostmi umělé inteligence. Povolení umělé inteligence se stalo primárním diferencujícím prvkem organizací. Umělá inteligence vstoupila na scénu, spustila masivní transformaci a nyní se týmy žádají, aby zpomalily, když teprve začaly umělou inteligenci využívat.

Společnosti jako Uber se dostaly do novin kvůli agresivním limitům na využití umělé inteligence, aby zastavily tok nákladů. Ale zatímco limity využití mohou být účinným způsobem, jak snížit náklady, nejsou to jediný způsob, jak podniky mohou snížit výdaje na výpočetní techniku.

První místo, kde by měly hledat, je jejich cloudový účet.

Zdá se to protichůdné. Zatímco vzorec vždy zněl, že více výpočetní síly znamená více dopadu umělé inteligence, to nutně neznamená, že je to více efektivní. Podniky ztrácejí své rozpočty na služby umělé inteligence, zatímco stále spoléhají na předimenzované a předrazené infrastruktury; rostoucí náklady na umělou inteligenci jednoduše odhalují hluboce zakořeněný problém, který podniky již nemohou ignorovat.

Jak se hromadí cloudové výdaje

Výdaje na IT infrastrukturu jsou často druhým největším položením rozpočtu organizace po počtu zaměstnanců, což představuje v průměru 10 % ročního příjmu podniku – číslo, které poptávka po umělé inteligenci posunula vzhůru v posledních letech. Ale mnoho z nich přidává objem již přebytečné IT struktury.

CTO a další technologičtí rozhodčí jsou přitahováni k tomu, co je jim známé a spolehlivé. Bohužel, to je také to, co zvyšuje jejich cloudové účty. Přijetím osvědčených postupů se dostanou do drahých univerzálních dohod s velkými hyperscalery, kde platí za řešení, která nevytvářejí hodnotu.

Postupem času zjistí, že platí za nevyužité nebo neaktivní služby, neoptimalizované hardware a prázdné úložiště, když mohli investovat peníze do inovací umělé inteligence. S rostoucími náklady na umělou inteligenci budou potřebovat každý dolar, který mohou získat.

Přizpůsobení infrastruktury pro efektivní umělou inteligenci

Získání cloudové rozptýlení pod kontrolu vyžaduje kombinaci akutních, krátkodobých akcí a dlouhodobého vývoje. Řešení toho, co je řešitelné dnes, poskytne podnikům prostor pro plánování větších úprav v příštím roce.

Přechod na novou infrastrukturu vyžaduje čas a organizace potřebují řešení hned, aby jejich týmy mohly pokračovat v práci s umělou inteligencí. Zde jsou tři kroky, které podniky mohou okamžitě podniknout, aby modulovat své cloudové výdaje:

1 – Analyzujte využití CPU a paměti

Existuje něco jako „příliš mnoho“ výkonu. IT týmy by měly provést důkladnou diagnózu využití cloudových služeb, poté snížit instance, které překračují požadavky na výkon. Hluboké prozkoumání cloudového využití také pomáhá týmům objevit funkce a infrastrukturu, které nejsou vůbec používány; pokud jejich aktuální smlouva umožňuje, mohou tyto služby zrušit nebo vyjednat nižší platbu po zbývající dobu smlouvy. Jinak identifikace nepoužívaných funkcí poskytuje cenný rámec pro stanovení parametrů jejich rekonfigurovaného cloudového přístupu.

Když podniky mění svou infrastrukturní strategii, budou chtít zvolit cloudové služby, které šetří paměť. Například infrastruktura optimalizovaná pro paměť a vCPUs poskytují dostupnější podporu pro firemní podporu ve srovnání s optimalizacemi založenými na ARM, které obvykle nabízejí hyperscalery. To uleví části monitorovací zátěže IT týmům a současně sníží celkové cloudové výdaje.

2 – Nastavte přísné limity výdajů

Limity výdajů a využití byly technologickou odpovědí na zvyšující se ceny umělé inteligence, ale není to jen nastavení limitů, co záleží. Je to, jak jsou tyto limity definovány, komunikovány a vynucovány.

Limity výdajů by měly být specifické pro použití. Lídrům by měly sloužit jako vodítko pro plánování projektů a zdrojů, umožňující jim strukturovat rozpočty, časové plány a individuální projektové týmy s ohledem na efektivitu.

Co se týče komunikace, je zásadní, aby celý pracovní tým pochopil proč jsou limity. Jsme zvyklí vidět digitální jako nekonečné, ale v této fázi boomu umělé inteligence jsme proti zákonům fyziky. Když se nedostatek a změny fakturace ovlivňují denní pracovní postupy zaměstnanců, limity výdajů by měly být prezentovány jako udržitelný způsob, jak udržet jejich novou závislost na nástrojích umělé inteligence, spíše než jako omezení.

3 – Vynucujte protokoly značek

Protokoly značek brání neřízenému využívání IT, které tajně zvyšuje výpočetní náklady. S robustním kódem značek mohou lídři IT získat lepší pochopení cloudových služeb, umožňující týmům cílit na zdroj nadměrného využití a provádět strategické úpravy, aby snížily zdroje, kde dochází ke zbytečnosti. Současně mohou protokoly značek také ukázat, kde týmy možná potřebují upgrade.

Když jejich stávající cloudové smlouvy vyprší, podniky mají příležitost restrukturalizovat svou výpočetní ekosystému s komponibilním, multi-cloudovým přístupem. To nutně neznamená opuštění dlouholetých partnerů hyperscalery, ale snížení jejich smluv, aby byly v souladu s efektivnější infrastrukturou jinde ve stacku. Alternativní cloudy, řešení okraje, která odstraňují zátěž z GPU-založené infrastruktury, a otevřené softwarové řešení all tvoří flexibilní, víceslužebný strategii, která nejen šetří náklady, ale také zvyšuje návratnost investic každé iniciativy umělé inteligence, maximalizuje cenu za výkon, a umožňuje tak podnikům investovat úspory zpět do inovací umělé inteligence.

Přeprogramování efektivity

Řízení nákladů na umělou inteligenci je také otázkou kultury. Pracovní týmy s umělou inteligencí jsou pozoruhodně posedlé efektivitou. To je důvod, proč budují agenty, automatizují své komunikace a nechávají umělou inteligenci dělat rutinní práci, zatímco oni rozšiřují svou kapacitu pro kreativitu a inovace. Ale nezodpovědné využívání těchto nástrojů má opačný efekt.

„Tokenmaxxing“ a další trendy, které podporují plýtvání umělou inteligencí, jsou neslučitelné s předpojatostí vůči efektivitě. Pokud týmy skutečně chtějí dělat více s méně, jejich interakce s umělou inteligencí by měly odrážet tento princip.

To vyžaduje současnou změnu kultury a technologie. Povzbuzujte použití lepších promptů, aby se snížila zátěž inference, ale také přijměte infrastrukturu, která automaticky šetří inference. Přijměte menší modely umělé inteligence s přesnými případy použití. Přijměte otevřené modely a software, aby se snížily náklady na školení. Poskytněte vývojářům možnost efektivně řešit problémy a vzdělávejte ne-technické uživatele umělé inteligence. Společnosti, které chtějí povzbudit své zaměstnance, aby využívali umělou inteligenci, musí tak činit zodpovědně.

Navzdory zvýšeným cenám jsme nezastavili transformaci umělé inteligence. Operační využití umělé inteligence ve velkém měřítku vždy bylo nákladným podnikem, který vyžaduje pečlivé plánování a strategické alokaci kapitálu, aby zůstal udržitelný. Kde jsme: je to bod zlomu – kroky, které IT lídři podniknou nyní, určí, kdo projde a kdo zůstane pozadu.

Zatímco se průmysl mobilizuje, aby vyřešil vznikající výpočetní krizi, podniky musí najít způsoby, jak si vypořádat s tím, co mají. Společnosti mohou chránit sebe před astronomickými náklady na umělou inteligenci, řešením nadměrných výdajů na cloudová řešení, šetřením inference v distribuovaném cloudu a investováním do infrastruktury, která podporuje skutečnou návratnost investic.