Nie Buduj Swojego Przedsiębiorstwa AI Na Podstawie Udostępnionego Dostępu

Wszystkie aplikacje AI i wdrożenia przedsiębiorstw były budowane do tej pory z założeniem, że dostęp do modeli AI na poziomie frontier będzie możliwy i prawie nieograniczony. To było słuszne podejście, do tej pory. Trendem było to, że nowe możliwości modeli na poziomie frontier były komercjalizowane lub udostępniane jako open-source w ciągu 6 miesięcy, a zatem skupiano się tylko na zrozumieniu przyszłych możliwości jak najwcześniej. Firmy, zespoły lub osoby, które mogły budować produkty, chwytając i adaptując nowe możliwości modeli na poziomie frontier, wygrywały. Jednak kilka sygnałów może wskazywać, że ta era wkrótce się zakończy. Decyzja Departamentu Handlu USA ograniczająca dostęp do modeli Fable i Mythos Anthropic dla obywateli spoza USA była tylko pierwszym sygnałem. Jednak ten zakaz został później zniesiony po koordynacji z Anthropic, pokazując, jak szybko warunki dostępu mogą ulegać zmianie i potrzebę elastycznych systemów AI w przedsiębiorstwach.

Cztery powody, dla których dostęp do modeli na poziomie frontier nie jest gwarantowany

Podejście do budowania tylko modeli na poziomie frontier może przestać być słuszne, jeśli ich dostępność przestanie być gwarantowana. Istnieją co najmniej cztery powody, dla których może to nastąpić. Po pierwsze, ekonomia AI na poziomie frontier oparta jest na subsydiowanym cenowaniu, które nie będzie trwało. Ostatnie przygotowania do IPO OpenAI i Anthropic zmusiły je do otwarcia ksiąg i jasno ujawniły rzeczywiste koszty obecnych usług AI sponsorowanych, które mogą nie być ekonomicznie uzasadnione po IPO. Plotki mówią, że subskrypcja prywatna w wysokości 200 dolarów oferowana przez Anthropic kosztuje firmę kilka tysięcy dolarów. Dlatego też cena tokenów będzie się zwiększać, a era taniego dostępu do modeli na poziomie frontier dobiegnie końca.

Po drugie, modele na poziomie frontier nie stają się tańsze w użytkowaniu. W przeciwieństwie do klasycznego przetwarzania, gdzie prawo Moore’a stopniowo zmniejszało koszt każdej operacji w czasie, AI nie wydaje się podążać za tą krzywą. Modele stają się większe, ale także bardziej wymagające obliczeniowo. Wszystkie nasze inżynierowie wyczerpały swoje kredyty Claude w ciągu 10 minut po (tymczasowym) wydaniu fable 5. To może wskazywać, że następne modele na poziomie frontier będą wymagać więcej tokenów, więcej obliczeń i więcej infrastruktury przy każdej iteracji.

Po trzecie, wydaje się, że coraz mniej graczy pozostaje w wyścigu o prawdziwe modele na poziomie frontier. Mistral, który kiedyś był nadzieją Europy na konkurowanie na arenie globalnej, zmienił swoje ambicje i stał się skromnym naśladowcą. Chińskie modele są szybkimi naśladowcami, ale nadal pozostają w tyle za najlepszymi wersjami wiodących laboratoriów.

Wreszcie, modele na poziomie frontier mogą być po prostu zbyt niebezpieczne, aby były używane we wszystkich aplikacjach. Nie używamy miniaturyzowanych reaktorów jądrowych w samochodach, częściowo dlatego, że ten obszar jest bardzo uregulowany i jest niebezpieczny. Eksperymenty Anthropic pokazują, że jest bardzo trudno utrzymać model na poziomie frontier na smyczy, aby zagwarantować, że pozostanie on nieszkodliwy, jednocześnie zachowując jego możliwości. To może być długoterminowa lekcja i podstawowy powód za regulacją Fable 5 przez USA. W każdym razie jest bardzo prawdopodobne, że modele na poziomie frontier będą traktowane jako strategiczne aktywa przez państwa i nie będą tak swobodnie dostępne, jak są teraz.

Dlatego możemy wejść w świat, w którym koszty tokenów mają znaczenie, a modele na poziomie frontier nie będą dostępne dla wszystkich aplikacji we wszystkich krajach.

Wejście warstwy aplikacji

W świecie, w którym nie każde wywołanie modelu idzie do najlepszego dostępnego modelu, jak możemy nadal zagwarantować, że każde zadanie zostanie rozwiązane w sposób niezawodny i z najlepszym możliwym poziomem wydajności? Odpowiedź może leżeć w tzw. „warstwie aplikacji”.

CEO NVIDII, Jensen Huang, opisał AI jako 5-warstwowy tort: energię, chipy, centra danych, modele i aplikacje. Twierdzi, że warstwa aplikacji jest zarówno najważniejsza, jak i najbardziej brakująca.

Dla niektórych aplikacji, takich jak czatboty, ta warstwa jest niezwykle cienka – praktycznie tylko interfejs czatu. W innych, takich jak zaawansowane aplikacje przemysłowe i inżynierskie, jest o wiele ważniejsza i krytyczna. Jest to warstwa decydująca w łańcuchu wartości. Ponieważ dostęp do konkretnego modelu na poziomie frontier nie będzie już gwarantowany, rola warstwy aplikacji polega na ujednoliceniu wyników w różnych modelach i utrzymaniu kosztów tokenów pod kontrolą.

Konkretnie, jeśli chcę wykonać złożone, krytyczne zadanie, takie jak przebudowanie mojego łańcucha produkcyjnego dla nowego modelu samolotu, poproszę potężny model na poziomie frontier o pomoc. Model może być w stanie samodzielnie rozwiązać problem, zbudować narzędzie planistyczne dla mnie i przekazać wynik wszystkim moim zespołom. Jednak jeśli zmienię model na bardziej wydajny, tańszy lub pochodzący od innego dostawcy, mogę stracić wydajność lub spójność w moim końcowym wyniku. W wielu praktycznych przypadkach w przedsiębiorstwach nieakceptowalna jest ta nieprzewidywalność. To właśnie tutaj rola warstwy aplikacji jest krytyczna: zamiast pozwolić modelowi działać w otwartej przestrzeni i polegać na jego surowych zdolnościach do produkcji wyniku, warstwa aplikacji definiuje wyraźny kanwę, ograniczony zestaw dostępnych działań i określony obszar, w którym może działać. Model nie jest już proszony o rozwiązanie wszystkiego od podstaw, ale otrzymuje wyraźnie zdefiniowaną kanwę, co znacznie zwiększa prawdopodobieństwo, że każdy model będzie działał dobrze.

Kosztowo, mój model może również zdecydować się na wykonanie bardzo niskopoziomowych działań, aby osiągnąć swój cel. Może przepisać algorytm planistyczny od podstaw, zbudować nowy interfejs dla mnie, aby wizualizować swoją pracę, lub nawet opracować nowy solver optymalizacyjny. Ale to może być niezwykle kosztowne tokenami, podczas gdy dobre wytyczne lub prebudowane narzędzia mogą pomóc modelowi osiągnąć ten sam wynik z mniejszą ilością tokenów. To właśnie rola warstwy aplikacji. Dobra wiadomość jest taka, że modele mają tendencję do lenistwa i szukają krótszych ścieżek, więc nie musimy ich zbyt mocno ograniczać, gdy mają dostęp do odpowiedniego zestawu umiejętności, narzędzi i zasobów obliczeniowych.

Krótko mówiąc, dobra warstwa aplikacji zapewni wyraźne umiejętności, narzędzia i wytyczne dla modelu, aby działał niezawodnie i efektywnie kosztowo. Oprócz poprawy wydajności i kontroli kosztów tokenów, oznacza to również zmniejszenie zależności od konkretnego modelu. Jeśli wbudujesz swoją inteligencję w warstwę aplikacji, a nie w sam model, podstawowy model staje się wymienny. W wielu przypadkach może to być różnica między eksperymentalnym a skalowalnym AI w przedsiębiorstwie.

Wezwanie do działania dla liderów przedsiębiorstw

Przez branże spotykamy się codziennie z liderami przedsiębiorstw, którzy pracują nad ustanowieniem swojego stosu AI. Większość firm zaczyna od jednego lub kilku dostawców modeli na poziomie frontier, aby ustanowić niezbędną warstwę modelu w swoim stosie. Dla warstwy aplikacji albo polegają na narzędziach zbudowanych we własnym zakresie, albo na w pełni zakupionych możliwościach, albo na mieszance obu.

Zakaz Anthropic był przypomnieniem, że ten stos może być zakłócony w ciągu nocy. Architektury firm muszą być gotowe na to, gdy się to powtórzy. Aby być gotowym, firmy muszą brać pod uwagę szybkość wdrożenia, ale także budować rozwiązania, które zminimalizują skutki zmian modeli, a także rosnących kosztów tokenów. Nie jest to łatwa ścieżka, ale moja rada byłaby:

• Zainwestuj w swoją warstwę aplikacji strategicznie i wcześnie. Firmy, które przegapią pociąg, zawsze będą miały lukę w porównaniu z wczesnymi adoptującymi
• Zrób model-agnostyczność zasadą projektową, a nie obejściem
• Koszt przełączania modeli nie powinien być egzystencjalnym pytaniem dla Twoich operacji
• Współpracuj z firmami specjalistycznymi, które mogą porównywać modele, walidować wydajność w wielu konfiguracjach i pomagać w zapewnieniu długoterminowych gwarancji wydajności.

Firmy, które wygrają grę w następnej fazie AI w przedsiębiorstwach, niekoniecznie są tymi, które mają dostęp do najlepszych modeli, ale tymi, które zbudują odpowiednią warstwę wokół nich.