Dlaczego koszty tokenów nie mówią, czy AI w przedsiębiorstwie przynosi efekty

AI w przedsiębiorstwach przechodzi przez dobrze znany cykl. Początkowo organizacje angażowały się w pełni, sięgając po największe i najbardziej zaawansowane modele, ponieważ technologia budziła entuzjazm, a rachunek jeszcze nie nadszedł. Kiedy w końcu się pojawił, reakcja była równie przewidywalna: zespoły zaczęły ograniczać dostęp, zmniejszać skalę eksperymentów i szukać tańszych modeli.

Ali Ghodsi, współzałożyciel i dyrektor generalny Databricks, opisał wczesny etap tego cyklu jako „maksymalizację liczby tokenów”, czyli traktowanie większego zużycia tokenów jako dowodu postępu. Ważniejszym etapem jest „maksymalizacja wartości”, czyli zrozumienie, jakie efekty przynoszą te wydatki, i kierowanie ich na zadania, które mają znaczenie.

To nie jest po prostu nowa nazwa optymalizacji kosztów. Optymalizacja kosztów polega na szukaniu sposobów, by organizacja wydawała mniej, natomiast maksymalizacja wartości — na tym, by uzyskiwała więcej z poniesionych wydatków. To rozróżnienie będzie nabierać coraz większego znaczenia w miarę przechodzenia AI od odosobnionych eksperymentów do codziennych działań przedsiębiorstw.

Największy model nie zawsze jest najlepszym wyborem

Wiele organizacji rozpoczęło wdrażanie AI od korzystania z najpotężniejszego dostępnego modelu przy niemal każdym zadaniu. Takie podejście miało sens na wczesnym etapie eksperymentów, kiedy zespoły próbowały zrozumieć możliwości tej technologii, a zdolności modelu liczyły się bardziej niż przewidywalność.

Wraz z rozwojem wdrożeń trudno jednak było uzasadnić koszt korzystania z modelu czołowego przy każdym zapytaniu. Niektóre organizacje zareagowały, ograniczając dostęp lub prosząc zespoły o zmniejszenie skali działań, ale szeroko zakrojone restrykcje mogą hamować pożyteczne eksperymenty, a nie tylko eliminować rzeczywiste marnotrawstwo.

Wyłania się bardziej dojrzałe podejście. Zespoły zaczynają dobierać mniejsze, wyspecjalizowane modele do rutynowych zadań, a bardziej zaawansowane zachowywać na potrzeby zadań wymagających złożonego rozumowania lub obarczonych wysokim kosztem niepowodzenia. Z czasem niektóre organizacje mogą również wdrażać modele we własnej infrastrukturze, aby zyskać większą kontrolę nad kosztami, wydajnością i danymi wrażliwymi.

Ważne pytanie nie brzmi, czy lepszy jest model duży, czy mały. Chodzi o to, czy model jest odpowiedni do danego zadania i czy uzyskany wynik uzasadnia całkowity koszt jego wytworzenia.

Tokeny pokazują aktywność, nie wartość

Większość firmowych pulpitów nawigacyjnych dotyczących AI koncentruje się na zużyciu. Pokazują, ile tokenów wykorzystano, które modele je przetwarzały i ile wydała organizacja. Te dane są niezbędne, ale nie pokazują, czy praca przyniosła użyteczny rezultat.

Zespół, który zużywa dwa razy więcej tokenów, niekoniecznie tworzy dwa razy większą wartość. Może realizować trudniejsze zadania, korzystać z niepotrzebnie zaawansowanego modelu albo polegać na agencie, który wielokrotnie ponawia nieudane próby. Obciążenie pracą wiążące się z wysokimi kosztami modeli może nadal być znakomitą inwestycją, jeśli zapobiega awariom, rozwiązuje problemy klientów lub pozwala pracownikom odzyskać wiele godzin cennego czasu.

Ten sam problem od lat występuje w obszarze obserwowalności — z tą różnicą, że chodzi w nim o gigabajty, a nie tokeny. Zespoły zaczynały od gromadzenia wszystkiego, ponieważ maksymalna widoczność wydawała się najbezpieczniejszą strategią. Gdy rosły rachunki za przechowywanie i przetwarzanie danych, zaczynały próbkować dane, skracać okres ich przechowywania i usuwać kontekst, aby kontrolować wydatki.

W obu przypadkach reakcją na rosnące koszty często było ograniczanie działań. Organizacje potrzebują jednak czegoś innego: możliwości rozpoznania, które działania przynoszą wartość, które są marnotrawstwem, a które można usprawnić bez pogorszenia wyniku.

Rzeczywiste koszty wykraczają poza samo wnioskowanie

Pojedyncze wywołanie modelu rzadko obejmuje cały przebieg pracy z AI. Zanim agent wygeneruje odpowiedź, może pobrać dokumenty, wysłać zapytanie do bazy danych, przeszukać dane telemetryczne, wywołać usługi zewnętrzne oraz spowodować dodatkową aktywność aplikacji lub infrastruktury.

Rozważmy agenta badającego przyczynę wzrostu opóźnień przy finalizacji zamówienia po wdrożeniu. Może on analizować dzienniki, porównywać wskaźniki, sprawdzać ślady, pobierać dane o wdrożeniu i analizować usługi zależne. Jeśli jego pierwsza hipoteza okaże się błędna, może zmienić zakres czasu, wyszukiwać pod innymi nazwami usług i sprawdzić kilka alternatywnych przyczyn.

Jedno polecenie człowieka może więc uruchomić setki operacji generowanych maszynowo. Operacje te zużywają moc obliczeniową, zasoby pamięci masowej na wejściu i wyjściu, przepustowość sieci oraz limity zapytań do zewnętrznych interfejsów API, a żaden z tych kosztów może nie pojawić się na firmowym pulpicie wydatków na modele.

Oznacza to, że pozornie tani model może być częścią kosztownego przepływu pracy. Bardziej zaawansowany model może kosztować więcej przy pojedynczym wywołaniu, ale dojść do poprawnego wniosku w mniejszej liczbie kroków, wymagając mniej ponownych prób i mniejszego wsparcia infrastruktury. Porównać to można tylko przez obserwowanie całego zadania.

Połącz aktywność, koszty i wyniki

Maksymalizacja wartości wymaga połączenia trzech rodzajów informacji, które często mierzy się oddzielnie.

Pierwszym elementem jest aktywność związana ze sztuczną inteligencją, obejmująca wybór modelu, zużycie tokenów, opóźnienia, wywołania narzędzi, ponowienia i równoległe gałęzie. Drugim są koszty infrastruktury i koszty finansowe generowane przez tę aktywność, w tym koszty mocy obliczeniowej i pamięci masowej, wykorzystania sieci, obciążenia baz danych oraz opłaty za korzystanie z zewnętrznych interfejsów API. Trzecim jest wynik, który powinien wskazywać, czy praca została pomyślnie zakończona i czy ktokolwiek uznał jej rezultat za przydatny.

Nie każdy wynik trzeba przeliczać na dokładną kwotę w dolarach. Wystarczającą miarą może być na przykład to, czy odpowiedź została zaakceptowana, czy ktoś musiał wykonać pracę ponownie, czy problem rozwiązano szybciej albo czy zautomatyzowany przepływ pracy zakończył się bez interwencji.

Na przykład dochodzenie w sprawie incydentu, które generuje setki zapytań, może być warte poniesionych kosztów, jeśli pomaga inżynierom przywrócić działanie usługi o krytycznym znaczeniu o 30 minut szybciej. Znacznie mniejszy przepływ pracy może mimo to być nieefektywny, jeśli generuje raport, którego nikt nie czyta. Samo zużycie tokenów nie pozwala odróżnić tych dwóch przypadków.

Gdy organizacje potrafią powiązać aktywność z wynikami, mogą świadomie decydować, gdzie stosować najnowocześniejsze modele, gdzie wystarczą mniejsze modele, a gdzie trzeba przeprojektować przepływ pracy.

Uzyskanie wglądu nie powinno wymagać rezygnacji z kontroli

Zrozumienie wartości AI wymaga dostępu do wrażliwego kontekstu. Podpowiedzi, wygenerowane odpowiedzi, kod źródłowy, informacje o klientach i telemetria środowiska produkcyjnego mogą być częścią tego samego przepływu pracy.

Organizacje nie powinny być zmuszone do eksportowania tych informacji do zewnętrznej usługi tylko po to, by zrozumieć, jak działają ich systemy AI. Podpowiedzi i kontekst produkcyjny, dzięki którym pomiar jest użyteczny, mogą zawierać te same informacje, których zespoły ds. bezpieczeństwa, prywatności i zgodności z przepisami nie mogą pozwolić wynieść poza środowisko organizacji.

Dlatego liderzy przedsiębiorstw powinni pytać, gdzie przetwarzane są dane dotyczące AI i obserwowalności, kto ma do nich dostęp, jak długo są przechowywane i czy analizę można przeprowadzić w ramach istniejących zabezpieczeń organizacji. Dobre zarządzanie wymaga wglądu, ale nie może on powodować nowego problemu z kontrolą nad danymi.

Prowadzenie analiz blisko danych źródłowych ułatwia również powiązanie aktywności AI z aplikacjami, infrastrukturą i procesami biznesowymi, na które ma ona wpływ. Taki pełny obraz pozwala zespołom zrozumieć nie tylko, ile wydały, lecz także jakie korzyści przyniosły te wydatki.

Optymalizuj pod kątem wartości, nie skali

Organizacje, które odniosą sukces w kolejnej fazie rozwoju AI w przedsiębiorstwach, niekoniecznie będą tymi, które zużywają najwięcej tokenów lub wydają najmniej. Będą to te, które potrafią określić, które modele i obciążenia generują istotne rezultaty, a następnie wykorzystać tę wiedzę do podejmowania decyzji o wdrożeniach.

Wymaga to wyjścia poza odizolowane pulpity nawigacyjne pokazujące koszty modeli. Zespoły muszą obserwować całą ścieżkę — od żądania użytkownika, przez wywołania modeli, narzędzia i infrastrukturę, aż po ostateczny wynik — jednocześnie zapewniając odpowiednią kontrolę organizacyjną nad wrażliwymi informacjami.

Tokenmaxxing był przydatnym etapem, ponieważ zachęcał do eksperymentowania i pokazywał, co potrafi AI. Valuemaxxing to dyscyplina, która musi po nim nastąpić: łączy wgląd, koszty i wyniki, dzięki czemu organizacje mogą nadal eksperymentować, nie tracąc kontroli nad wydatkami ani danymi.

AI w przedsiębiorstwach nie musi ograniczać skali działania tylko dlatego, że pojawiły się pierwsze rachunki. Powinna natomiast być wykorzystywana w bardziej przemyślany sposób: nakład pracy należy dostosować do stopnia trudności, modele do zadań, a wydatki do mierzalnej wartości.