Wybór odpowiedniego modelu AI: równowaga między kosztami a wydajnością

Pewne poczucie komfortu daje wybór najpotężniejszego modelu. Kiedy budujesz produkt wykorzystujący sztuczną inteligencję, wybór najpotężniejszego dostępnego modelu wydaje się odpowiedzialny, wręcz logiczny. GPT-4o. Claude Opus. Gemini Ultra. Są to imponujące technologie, a nikt nie został zwolniony z pracy za wybór najmądrzejszego narzędzia w pokoju.

Jest jednak pewne zastrzeżenie. Projekty puchną. Koszty rosną. Opóźnienia pojawiają się. I gdzieś wokół trzeciego miesiąca zespół zaczyna zadawać niewygodne pytania, dlaczego prosta funkcja autouzupełniania zużywa kredyty API jak startup z finansowaniem venture i bez konieczności rozliczania się z wydatków.

Oto rzecz: “najbardziej zdolny” i “najbardziej odpowiedni” to dwa bardzo różne standardy. Dostawcy usług rozwoju aplikacji AI wybierają modele na podstawie ocen, a nie pozycji w rankingach.

Większy nie oznacza automatycznie lepszego

Model frontier działa nadzwyczajnie dobrze w idealnych warunkach, ale jest drogi w eksploatacji, źle radzi sobie z nieidealnymi danymi wejściowymi i oferuje więcej możliwości, niż potrzeba do prostych zadań.

GPT-4o może pisać wiersze, rozumieć umowy prawne, debugować kod i wyjaśniać splątanie kwantowe dziesięcioletnim dzieciom, czasem w tej samej odpowiedzi. To naprawdę godne uwagi. Ale jeśli Twoja aplikacja podsumowuje zgłoszenia do obsługi klienta lub wyodrębnia dane ustrukturyzowane z faktur, płacisz za możliwości, które nie są używane.

Mniejsze, wyspecjalizowane modele radzą sobie z ukierunkowanymi zadaniami z imponującą dokładnością:

• GPT-4o mini obejmuje większość zadań językowych przy koszcie około 15-krotnie niższym niż GPT-4o
• Claude Haiku jest zbudowany z myślą o szybkości i wydajności przy dużych wolumenach ustrukturyzowanych zadań
• Mistral 7B i Llama 3.1 8B to opcje open-source, które działają szybko i dobrze nadają się do dostrajania

Różnica między nimi a modelami frontier znacznie się zmniejsza, gdy zadanie jest wąskie, a prompty są dobrze zaprojektowane.

Matematyka kosztów, o której nikt nie mówi na spotkaniach planistycznych

Ceny API modeli frontier za token mogą być od 10 do 30 razy wyższe niż ceny lżejszych odpowiedników. Ta luka brzmi abstrakcyjnie, dopóki nie uwzględni się jej w skali.

Załóżmy, że Twoja aplikacja wykonuje 500 000 połączeń API miesięcznie:

Ta sama funkcja, ale zupełnie inna marża.

Niektóre zespoły korzystają z hybrydowych architektur, kierując proste zadania klasyfikacji do lekkich modeli, rezerwując cięższe modele dla złożonych kroków generacji lub rozumowania. Firmy takie jak Martian i RouteLLM zbudowały narzędzia specjalnie do tego rodzaju routingu modeli. To nie jest efektowna praca inżynierska, ale to rodzaj rzeczy, który sprawia, że dyrektorzy finansowi stają się zauważalnie bardziej zrelaksowani.

Opóźnienia to problem doświadczenia użytkownika

Istnieje powód, dla którego istnieje fast food. Ludzie nie zawsze chcą pięciodaniowego posiłku. Czasem chcą odpowiedzi natychmiast.

Modele frontier są wolniejsze. Nie zawsze o wiele, ale wystarczająco, aby to miało znaczenie w aplikacjach w czasie rzeczywistym. Jeśli Twoi użytkownicy czekają na odpowiedzi AI w interfejsie konwersacyjnym, interfejsie czatu lub asystencie kodowania na żywo, opóźnienie odpowiedzi bezpośrednio wpływa na odbiór produktu. Model, który potrzebuje 4–6 sekund na odpowiedź, zaczyna sprawiać wrażenie zawodnego, nawet jeśli wynik jest technicznie lepszy.

Praktyczna zasada: Jeśli użytkownik widzi wskaźnik ładowania, każda dodatkowa sekunda zmniejsza zaufanie.

Haiku, Mistral i Llama 3.1 8B działają znacznie szybciej (czasem 3 do 5 razy szybciej) w podobnych warunkach obciążenia. Dla funkcji użytkowych, w których istotna jest postrzegana szybkość, to nie jest bagatelka. To decyzja dotycząca produktu.

Zmienna w postaci inżynierii promptów (która zmienia wszystko)

Oto coś, co jest pomijane w wątkach porównawczych modeli: dobrze zaprojektowany prompt w mniejszym modelu często bije niedbale napisany prompt w modelu frontier.

Jakość wyjścia jest produktem możliwości modelu I jakości promptu. Kiedy zespoły inwestują w inżynierię promptów (wyraźne instrukcje, strukturalne formaty wyjścia, kilka przykładów demonstracyjnych, dobrze zdefiniowane ograniczenia), mniejsze modele działają znacznie powyżej ich widocznego sufitu.

Kilka narzędzi, które warto znać:

• LangChain i DSPy do komponowania i optymalizacji potoków przetwarzania promptów
• Guidance do generowania z narzuconymi ograniczeniami i ustrukturyzowanych wyników
• PromptFoo do uruchamiania systematycznych ocen promptów w różnych modelach

Niektóre z najbardziej imponujących funkcji AI w produkcji dzisiaj działają na modelach, które nie awansowałyby do pierwszej piątki na żadnej liście możliwości. Po prostu działają na bardzo dobrych promptach.

Dostrajanie zmienia równanie

Porównanie między ogólnym modelem frontier a mniejszym modelem open-source wygląda zupełnie inaczej, gdy wejdzie w grę dostrajanie. Model Llama 3.1 8B dostrojony na Twoich danych z konkretnej dziedziny (Twoja terminologia, Twoje przypadki graniczne, preferowany format wyjścia) może przewyższyć GPT-4o w Twoim specyficznym zadaniu.

To nie jest hipotetyczne. Firmy w sektorach opieki zdrowotnej, prawniczym i e-commerce wielokrotnie to udowodniły.

Gdzie zacząć z dostrajaniem:

• Hugging Face do hostowania modeli open-source, zbiorów danych i infrastruktury szkoleniowej
• Together AI do szybkich i tanich uruchomień dostrajania na popularnych modelach open
• Replicate do wdrożenia niestandardowych modeli bez zarządzania własną infrastrukturą GPU

Dostrajanie wymaga początkowej inwestycji: doboru i przygotowania danych, czasu obliczeniowego i pracy ewaluacyjnej. Ale w przypadku dużych wolumenów zadań specyficznych dla danej dziedziny rachunek ekonomiczny często wypada znacznie korzystniej.

Bezpieczeństwo i rezydencja danych nie są sprawami pobocznymi

Niektóre aplikacje nie mogą wysyłać danych do API stron trzecich w ogóle. Rozważ:

• Platformy opieki zdrowotnej działające pod HIPAA
• Narzędzia finansowe obsługujące PII lub regulowane dane transakcyjne
• Oprogramowanie przedsiębiorstw z surowymi wymogami rezydencji danych

Te środowiska mają ograniczenia, których żaden interfejs API modelu frontier nie może obejść, niezależnie od możliwości. Modele na własnej infrastrukturze, czy to na miejscu, czy w chmurze prywatnej, są jedyną drogą do przodu. To oznacza modele open-source, takie jak Llama 3, Mistral lub Phi-3, działające na własnej infrastrukturze. Model frontier, którego nie można legalnie używać w produkcji, nie jest właściwym wyborem, punkt.

Krok oceny, który zespoły pomijają

Większość zespołów wybiera model, zakładając, że najdroższy model jest najlepszy, bez testowania. Powinny natomiast prowadzić ustrukturyzowane oceny na reprezentatywnych próbkach ich rzeczywistego przypadku użycia.

Oto proces, który działa:

1. Zbuduj zestaw oceny z 100 do 200 reprezentatywnych danych wejściowych z oczekiwanymi wyjściami
2. Uruchom je w dwóch lub trzech modelach kandydujących w realistycznych warunkach
3. Oceń według rzeczywistych kryteriów: dokładność, zgodność formatu, ton, opóźnienie, koszt na połączenie
4. Decyduj na podstawie danych, a nie instynktu lub pozycji w rankingach

Narzędzia takie jak Braintrust, PromptFoo i Weights & Biases Prompts umożliwiają tego rodzaju systematyczną ocenę bez potrzeby wykształcenia badawczego. To zajmuje kilka godzin. Korzyścią jest uniknięcie korzystania z niewłaściwego modelu przez sześć miesięcy.

Kiedy model frontier jest naprawdę właściwym wyborem

Trzeba przyznać: istnieją zadania, w których modele frontier naprawdę zarabiają na swoją cenę.

Użyj modelu frontier, gdy:

• Zadanie wymaga złożonego, wieloetapowego rozumowania bez wyraźnego szablonu
• Zmienność jakości wyników powoduje duże straty, a wolumen jest stosunkowo niski
• Potrzebujesz szerokiej wiedzy o świecie lub wyważonego osądu uwzględniającego niuanse, którego nie da się zastąpić odpowiednio dobranym promptem
• Jesteś w fazie prototypowania i jeszcze nie określiłeś granic zadania

Pozostań przy lżejszym modelu, gdy:

• Zadanie jest dobrze zdefiniowane i powtarzalne
• Szybkość i koszt mają znaczenie przy obsługiwanym przez Ciebie wolumenie
• Możesz zainwestować w inżynierię promptów lub dostrajanie
• Przepisy dotyczące rezydencji danych lub zgodności wykluczają API stron trzecich

Nie chodzi o unikanie potężnych modeli. Chodzi o świadomy wybór na podstawie dowodów, zamiast domyślnego sięgania po najbardziej znaną nazwę w rankingu tylko dlatego, że wydawało się to bezpieczne.

Podsumowanie

Wybór modelu AI dla Twojej aplikacji nie powinien przypominać konkursu prestiżu. Najbardziej zdolny model na papierze nie zawsze, a nawet zazwyczaj nie jest odpowiednim modelem dla Twojego problemu.

Dopasuj model do zadania. Uruchom oceny na rzeczywistych danych. Uwzględnij opóźnienia, koszty, wymagania bezpieczeństwa i możliwości Twojego zespołu w zakresie inżynierii promptów lub dostrajania. Najlepsze decyzje dotyczące produktów AI opierają się na tych szczegółach, a nie na tym, jaka firma opublikowała najbardziej imponujące liczby w zeszłym kwartale.

Zespoły, które dostarczają wspaniałe produkty AI, niekoniecznie uruchamiają najpotężniejsze modele. Uruchamiają najbardziej odpowiednie.