Nezřídkavěte svou firemní AI na vypůjčený přístup

Všechny AI aplikace a firemní nasazení byly dosud budovány s předpokladem, že přístup k hraničním AI modelům zůstane možný a téměř neomezený. To byla správná mentalita, dokud teď. Trendem bylo, že nové schopnosti hraničních modelů byly komoditizovány nebo otevřeny do 6 měsíců a proto se zaměřovaly pouze na pochopení budoucích schopností co nejdříve. Společnosti, týmy nebo lidé, kteří mohli vytvářet produkty tím, že chápali a přizpůsobovali se novým hraničním schopnostem co nejdříve, aby vytvořili aplikace, vyhrávali. Nicméně, několik signálů by mohlo naznačovat, že tato éra brzy skončí. Rozhodnutí ministerstva obchodu USA omezit přístup k modelům Anthropic Fable a Mythos pro občany USA bylo pouze prvním znamením. Nicméně, toto omezení bylo později zrušeno po koordinaci s Anthropic, což ukazuje, jak rychle mohou podmínky přístupu změnit a potřebu přizpůsobitelných firemních AI systémů.

Čtyři důvody, proč přístup k hraničním modelům není zaručen

Mentalita budování pouze pro hraniční modely může přestat být správnou, pokud jejich dostupnost přestane být zaručena. Existují alespoň čtyři důvody, proč by to mohlo nastat. První, ekonomika hraniční AI je založena na dotovaných cenách, které nevydrží. Nedávné přípravy na IPO od OpenAI a Anthropic donutily je otevřít knihy a jasně odhalit skutečné náklady na současné sponzorované AI služby, které nemusí být ekonomicky životaschopné po IPO. Zvěsti jsou, že soukromá předplatné za 200 dolarů nabízená Anthropic vlastně stojí společnosti několik tisíc. Proto se očekává, že ceny tokenů budou dále růst a éra umělého levného přístupu k hraničním modelům skončí.

Druhý, hraniční modely nejsou levnější na provoz. Na rozdíl od klasického výpočetního zpracování, kde Moorův zákon postupně snižoval náklady na jakoukoli operaci, AI nezdá se, že sleduje tuto křivku. Modely se stávají většími, ale také více výpočetně náročnými. Všichni naši inženýři vyčerpali své kredity Claude během 10 minut po (dočasné) uvolnění fable 5. To by mohlo naznačovat, že následující hraniční modely budou vyžadovat více tokenů, více výpočtů a více infrastruktury s každou iterací.

Třetí, zdá se, že méně a méně hráčů skutečně zůstává v závodě o skutečné hraniční modely. Mistral, dříve Evropa doufala, že bude soutěžit na globálním poli hraničních modelů, přehodnotila své ambice a stala se skromným následovníkem. Čínské modely jsou rychlými následovníky, ale stále zaostávají za nejlepšími modely vedoucích laboratoří.

Čtvrtý, hraniční modely mohou být prostě příliš nebezpečné pro použití ve všech aplikacích. Nemusíme používat miniaturizované jaderné reaktory v autech, částečně proto, že toto pole je vysoce regulováno a je nebezpečné. Experimenty Anthropic ukazují, že je velmi obtížné udržet hraniční model pod kontrolou, aby zůstal neškodný a současně zachoval své schopnosti. To může být dlouhodobá skutečná lekce a základní důvod za regulací Fable 5 ze strany USA. V každém případě je velmi pravděpodobné, že hraniční modely budou považovány za strategické aktivity státem a proto nebudou tak volně dostupné, jako jsou nyní.

Proto můžeme vstupovat do světa, kde náklady na tokeny záleží a kde hraniční modely nejsou dostupné pro všechny aplikace ve všech zemích.

Vstupuje aplikační vrstva

V světě, kde ne každý modelový hovor jde na nejlepší dostupný model, jak můžeme stále zaručit, že každá úloha je řešena spolehlivě a s nejlepší možnou úrovní výkonu? Odpověď může ležet v takzvané „aplikační vrstvě“.

CEO NVIDIA Jensen Huang popsal AI jako 5vrstvý dort: energie, čipy, datové centrum, modely a aplikace. Argumentuje, že aplikační vrstva je jak nejdůležitější, tak i ta, která je stále chybějící.

Pro některé aplikace, jako jsou chatboty, je tato vrstva extrémně tenká – prakticky pouze chatovací rozhraní. V jiných, jako jsou pokročilé průmyslové a inženýrské aplikace, je mnohem důležitější a kritičtější. Je to rozhodující vrstva v hodnotovém řetězci. Jakmile přístup k určitému hraničnímu modelu nebude již zaručen, role aplikační vrstvy bude uniformizovat výsledek napříč modely a udržet náklady na tokeny pod kontrolou.

Konkrétně, pokud chci provést komplexní, kritickou úlohu, jako je přestavba mé výrobní linky pro nový letecký model, požádám mocný hraniční model o pomoc. Model by mohl zjistit, jak to udělat sám, vytvořit plánovací nástroj pro mě a sdělit výsledek všem mým týmům. Nicméně, pokud přepnu na jiný model, možná více schopný, méně nákladný nebo od jiného poskytovatele, mohu ztratit výkon nebo ztratit konzistenci ve svém konečném výstupu. Ve mnoha praktických případech ve firemních nastaveních je tato nepředvídatelnost nepřijatelná. To je místo, kde je role aplikační vrstvy kritická: místo toho, aby model pracoval v otevřeném prostoru a spoléhal se na své surové schopnosti pro výsledek, aplikační vrstva definuje jasnou obrazovku, omezený soubor dostupných akcí a definovaný obvod, ve kterém může pracovat. Model již není požádán, aby vše vymyslel od začátku, je dán jasně definovaná obrazovka, která výrazně zvýší pravděpodobnost, že kterýkoli model bude fungovat dobře.

Nákladově, můj model by mohl také rozhodnout provést velmi nízkoúrovňové akce, aby dosáhl svého cíle. Mohl by přepsat plánovací algoritmus od začátku, vytvořit nové rozhraní pro mě, aby visualizoval svou práci, nebo dokonce vyvinout nový optimalizační řešitel. To by mohlo být neuvěřitelně token-nákladné, zatímco dobré pokyny nebo předem vytvořené nástroje by mohly modelu pomoci dosáhnout stejného výsledku s menším počtem tokenů. To je role aplikační vrstvy. Dobrou zprávou je, že modely tendují k tomu, aby byly líné a hledaly kratší cesty, takže nemusíme je omezovat příliš, pokud má přístup k správnému souboru dovedností, nástrojů a výpočetních zdrojů.

Stručně, dobrá aplikační vrstva poskytne jasná pravidla, nástroje a pokyny pro model, aby pracoval spolehlivě a nákladově efektivně. Kromě zlepšení výkonu a kontroly nákladů na tokeny to také znamená, že závislost na konkrétním modelu se snižuje. Pokud vložíte svou inteligenci do aplikační vrstvy místo do modelu samotného, podkladový model se stává vyměnitelným. V mnoha případech to může být to, co činí rozdíl mezi experimentální a škálovatelnou firemní AI.

Volání k akci pro firemní lídry

Přes průmysly se setkáváme každý den s firemními lídry, kteří pracují na zavedení své AI sady. Většina společností začíná s jedním nebo několika poskytovateli hraničních modelů, aby zavedla svou nutnou modelovou vrstvu ve své sadě. Pro aplikační vrstvu spoléhají buď na domácí nástroje, plně nakoupené schopnosti nebo kombinaci obou.

Zákaz Anthropic byl připomínkou, že tato sada může být přerušena přes noc. Architektury společností musí být připraveny na to, až se to stane znovu. Aby byly připraveny, společnosti musí zvažovat rychlost nasazení, ale také budovat řešení, která zmírní účinky změn modelů a rostoucích nákladů na tokeny. Není to snadná cesta, ale moje rada by byla:

• Investujte do své aplikace strategicky a brzy. Společnosti, které chybí vlak, budou mít vždycky mezera ve srovnání s ranými přijímači
• Udělejte model-agnosticismus designovým principem, ne workaroundem
• Náklad přepnutí modelu by neměl být existenční otázkou pro vaše operace
• Spolupracujte se specializovanými společnostmi, které mohou benchmarkovat modely, ověřovat výkon napříč několika nastaveními a pomoci zajišťovat dlouhodobé výkonnostní záruky.

Společnosti, které vyhrávají hru v další fázi firemní AI, nejsou nutně ty, které mají přístup k nejlepším modelům, ale ty, které budou mít postavenou správnou vrstvu kolem nich.