Dlaczego najbardziej zaawansowany model AI rzadko jest najlepszym wyborem dla Twojej aplikacji

Istnieje pewna wygoda w wyborze najpotężniejszego modelu. Kiedy budujesz produkt wykorzystujący sztuczną inteligencję, wydaje się odpowiedzialne (prawie logiczne) wybrać najpotężniejszy model dostępny. GPT-4o. Claude Opus. Gemini Ultra. Są to imponujące technologie, a nikt nie został zwolniony z pracy za wybór najmądrzejszego narzędzia w pokoju.

Chyba że, cóż, jest pewna uwaga. Projekty puchną. Koszty rosną. Opóźnienia pojawiają się. I gdzieś wokół trzeciego miesiąca zespół zaczyna zadawać niewygodne pytania, dlaczego prosta funkcja autouzupełniania zużywa kredyty API jak startup z finansowaniem venture i bez odpowiedzialności.

Oto rzecz: “najbardziej zdolny” i “najbardziej odpowiedni” to dwa bardzo różne standardy. Dostawcy usług rozwoju aplikacji AI wybierają modele na podstawie ocen, a nie rankingów liderów.

Większy nie zawsze jest lepszy

Model frontier działa nadzwyczajnie dobrze w idealnych warunkach, ale kosztuje dużo do obsługi, źle radzi sobie z nieidealnymi danymi wejściowymi i przekracza wymagania dla prostych zadań.

GPT-4o może pisać wiersze, rozumieć umowy prawne, debugować kod i wyjaśniać splątanie kwantowe dziesięcioletnim dzieciom, czasem w tym samym odpowiedzi. To naprawdę godne uwagi. Ale jeśli Twoja aplikacja podsumowuje bilety wsparcia klienta lub wyodrębnia dane strukturalne z faktur, płacisz za możliwości, które nie są używane.

Mniejsze, wyspecjalizowane modele radzą sobie z ukierunkowanymi zadaniami z imponującą dokładnością:

• GPT-4o mini obejmuje większość zadań językowych przy koszcie około 15-krotnie niższym niż GPT-4o
• Claude Haiku jest zbudowany z myślą o szybkości i wydajności w dużych, strukturalnych obciążeniach
• Mistral 7B i Llama 3.1 8B to opcje open-source, które działają szybko i dobrze się dostosowują

Przerwa między nimi a modelami frontier znacznie się zmniejsza, gdy zadanie jest wąskie, a prompty są dobrze zaprojektowane.

Matematyka kosztów, o której nikt nie mówi na spotkaniach planistycznych

Cennik API dla modeli frontier może wynosić 10 do 30 razy więcej za token niż ich lżejsi odpowiednicy. Ta luka brzmi abstrakcyjnie, dopóki nie uwzględni się jej w skali.

Załóżmy, że Twoja aplikacja wykonuje 500 000 połączeń API miesięcznie:

Ten sam zestaw cech. Bardzo różna historia z marżą.

Niektóre zespoły korzystają z hybrydowych architektur, kierując proste zadania klasyfikacji do lekkich modeli, a zastrzegając cięższe modele dla złożonych kroków generacji lub rozumowania. Firmy takie jak Martian i RouteLLM zbudowały narzędzia specjalnie do tego rodzaju routingu modeli. To nie jest glamourze inżynierii, ale to rodzaj rzeczy, który sprawia, że dyrektorzy finansowi stają się zauważalnie bardziej zrelaksowani.

Opóźnienia to problem doświadczenia użytkownika

Istnieje powód, dla którego istnieje fast food. Ludzie nie zawsze chcą pięcioczęściowego posiłku. Czasem chcą odpowiedzi natychmiast.

Modele frontier są wolniejsze. Nie zawsze o wiele, ale wystarczająco, aby to miało znaczenie w aplikacjach w czasie rzeczywistym. Jeśli Twoi użytkownicy czekają na odpowiedzi AI w interfejsie konwersacyjnym, interfejsie czatu lub asystencie kodowania na żywo, opóźnienie odpowiedzi bezpośrednio kształtuje, jak produkt się czuje. Model, który zajmuje 4-6 sekund na odpowiedź, zaczyna się czuć niepewnie, nawet jeśli wynik jest technicznie lepszy.

Zasada kciuka: Jeśli użytkownik widzi spinner ładowania, każda dodatkowa sekunda zmniejsza zaufanie.

Haiku, Mistral i Llama 3.1 8B działają znacznie szybciej (czasem 3 do 5 razy szybciej) w podobnych warunkach obciążenia. Dla funkcji użytkowych, w których istotna jest postrzegana szybkość, to nie jest bagatelka. To decyzja produkcyjna.

Zmienna inżynierii prompty (która zmienia wszystko)

Oto coś, co jest pomijane w wątkach porównawczych modeli: dobrze zaprojektowany prompt w mniejszym modelu często bije leniwy prompt w modelu frontier.

Jakość wyjścia jest produktem możliwości modelu I jakości prompty. Kiedy zespoły inwestują w inżynierię prompty (wyraźne instrukcje, strukturalne formaty wyjścia, przykłady z niewielu strzałów, dobrze zdefiniowane ograniczenia), mniejsze modele działają znacznie powyżej ich widocznego sufitu.

Kilka narzędzi, które warto znać:

• LangChain i DSPy do komponowania i optymalizacji potoków prompty
• Guidance do ograniczonej generacji i strukturalnych wyjść
• PromptFoo do uruchamiania systematycznych ocen prompty w modelach

Niektóre z najbardziej imponujących funkcji AI w produkcji dzisiaj działają na modelach, które nie awansowałyby do pierwszej piątki na żadnej liście możliwości. Po prostu działają na bardzo dobrych promtach.

Dostosowanie zmienia równanie

Porównanie między ogólnym modelem frontier a mniejszym modelem open-source wygląda zupełnie inaczej, gdy wejdzie w grę dostosowanie. Model Llama 3.1 8B dostosowany do Twoich specyficznych danych domenowych (Twoja terminologia, Twoje przypadki graniczne, preferowany format wyjścia) może przewyższyć GPT-4o w Twoim specyficznym zadaniu.

To nie jest hipotetyczne. Firmy w sektorach opieki zdrowotnej, prawniczym i e-commerce wielokrotnie to udowodniły.

Gdzie zacząć z dostosowaniem:

• Hugging Face do hostowania modeli open-source, zbiorów danych i infrastruktury szkoleniowej
• Together AI do szybkich i tanich uruchomień dostosowania na popularnych modelach open
• Replicate do wdrożenia niestandardowych modeli bez zarządzania własną infrastrukturą GPU

Dostosowanie wymaga początkowej inwestycji: kuracji danych, czasu obliczeniowego i pracy ewaluacyjnej. Ale dla zadań o wysokiej objętości i specyficznych dla domeny, ekonomia często wypada znacznie na korzyść.

Bezpieczeństwo i rezydencja danych nie są sprawami pobocznymi

Niektóre aplikacje nie mogą wysyłać danych do API stron trzecich w ogóle. Rozważ:

• Platformy opieki zdrowotnej działające pod HIPAA
• Narzędzia finansowe obsługujące PII lub regulowane dane transakcyjne
• Oprogramowanie przedsiębiorstw z surowymi wymogami rezydencji danych

Te środowiska mają ograniczenia, których żaden model frontier API nie może obejść, niezależnie od możliwości. Modele samohoste, czy to na miejscu, czy w chmurze prywatnej, są jedyną drogą do przodu. To oznacza modele open-source, takie jak Llama 3, Mistral lub Phi-3, działające na własnej infrastrukturze. Model frontier, którego nie można legalnie używać w produkcji, nie jest właściwym wyborem, punkt.

Krok oceny, który zespoły pomijają

Większość zespołów wybiera model, zakładając, że droższy jest lepszy, bez testowania. To, co powinni robić, to uruchamianie strukturalnych ocen na reprezentatywnych próbkach ich rzeczywistego przypadku użycia.

Oto proces, który działa:

1. Zbuduj zestaw oceny z 100 do 200 reprezentatywnych danych wejściowych z oczekiwanymi wyjściami
2. Uruchom je w dwóch lub trzech modelach kandydujących w realistycznych warunkach
3. Ocenij według rzeczywistych kryteriów: dokładność, zgodność formatu, ton, opóźnienie, koszt na połączenie
4. Decyduj na podstawie danych, a nie instynktu lub rankingów liderów

Narzędzia takie jak Braintrust, PromptFoo i Weights & Biases Prompts umożliwiają tego rodzaju systematyczną ocenę bez potrzeby wykształcenia badawczego. To zajmuje kilka godzin. Wynagrodzenie jest takie, że nie wybierasz niewłaściwego modelu przez sześć miesięcy.

Kiedy model frontier jest naprawdę właściwym wyborem

Być sprawiedliwym: istnieją zadania, w których modele frontier naprawdę zarabiają na swoją cenę.

Użyj modelu frontier, gdy:

• Zadanie wymaga złożonego, wieloetapowego rozumowania bez wyraźnego szablonu
• Jakość wyjścia jest kosztowna i objętość jest względnie niska
• Potrzebujesz szerokiej wiedzy o świecie lub nuansowanego osądu, którego nie da się obejść promtem
• Jesteś w fazie prototypowania i jeszcze nie określiłeś granic zadania

Zostaw mniejszy model, gdy:

• Zadanie jest dobrze zdefiniowane i powtarzalne
• Szybkość i koszt mają znaczenie w objętości, w której działasz
• Możesz zainwestować w inżynierię prompty lub dostosowanie
• Przepisy dotyczące rezydencji danych lub zgodności wykluczają API stron trzecich

Punkt nie polega na unikaniu potężnych modeli. Punkt polega na wyborze świadomym, z dowodami, zamiast domyślnego wyboru największej nazwy na liście liderów, bo to czuło się bezpiecznie.

Podsumowanie

Wybór modelu AI dla Twojej aplikacji nie powinien czuć się jak konkurs prestiżu. Najbardziej zdolny model na papierze nie zawsze jest odpowiednim modelem dla Twojego problemu, czy nawet zwykle.

Dopasuj model do zadania. Uruchom oceny na rzeczywistych danych. Uwzględnij opóźnienia, koszty, wymagania bezpieczeństwa i zdolność Twojego zespołu do inżynierii prompty lub dostosowania. Najlepsze decyzje dotyczące produktów AI opierają się na tych szczegółach, a nie na tym, jaka firma opublikowała najbardziej imponujące liczby w zeszłym kwartale.

Zespoły, które dostarczają wspaniałe produkty AI, niekoniecznie uruchamiają najpotężniejsze modele. Uruchamiają najbardziej odpowiednie.