Together AI wprowadza ciągłą kompilację do wnioskowania w środowisku produkcyjnym

Together AI ogłosiło wnioskowanie polimorficzne 4 listopada 2026 r., przedstawiając Together Compiler jako pierwszą implementację tego rozwiązania. System oparty na agentach stale dostraja wnioskowanie do zmieniających się modeli, ruchu i sprzętu. Działa już przy wielu najważniejszych produkcyjnych obciążeniach związanych z wnioskowaniem w firmie oraz w przypadku niektórych popularnych bezserwerowych punktów końcowych.

Together AI informuje, że w testach obejmujących Kimi K3, GLM 5.3, MiniMax M3.1-Flash i DeepSeek v4.1-Flash kompilator w czasie krótszym niż 24 godziny osiągnął od 1,3 do 3 razy tyle tokenów na sekundę co wysoce zoptymalizowane rozwiązania bazowe typu open source. Wyniki te ukazują główną tezę ogłoszenia: optymalizacja może być ciągłym procesem poszukiwań dostosowanym do konkretnego wdrożenia, a nie jednorazowym etapem ręcznego dostrajania, którego rezultat pozostaje niezmienny od chwili uruchomienia.

Zmieniające się modele, ruch i sprzęt

Wnioskowanie polimorficzne to określenie, którego Together AI używa na oznaczenie infrastruktury obsługującej modele, dostosowującej się do szybszego tempa ich udostępniania, zróżnicowanych architektur, zmieniającego się charakteru ruchu i wymagań dotyczących poziomu usług, a także częstszych zmian sprzętu. Odmiennym podejściem jest konfiguracja statyczna, oparta na stałej konfiguracji silnika. Konfiguracja dostrojona do jednego środowiska niekoniecznie sprawdzi się w innym, zwłaszcza gdy zmieniają się zachowanie modelu i rozkład żądań.

Obserwacje firmy z produkcji dostarczają konkretnych przykładów. Together AI informuje, że podczas godzin pracy w jednym kraju prompty osiągały długość około 97 000 tokenów, podczas gdy gdzie indziej było to 70 000 tokenów. Firma podaje też, że w ciągu dwóch tygodni od udostępnienia jednego z modeli długość promptów wzrosła o 80%, gdy sposób korzystania z niego przesunął się w stronę obciążeń agentowych. Nagłe wzrosty ruchu u klientów mogą również podwoić długość promptów i obniżyć współczynnik trafień w pamięci podręcznej, zmieniając warunki, do których dostrojono istniejącą konfigurację.

Ogłoszenie stanowi też korektę wcześniejszego nacisku Together AI na megajądra, które łączą operacje w jednym jądrze. Po wdrożeniu wczesnych wersji do środowiska produkcyjnego firma uznała, że samo łączenie operacji nie jest uniwersalnym celem projektowym: architektury mieszanki ekspertów i dynamiczne obciążenia mogą wymagać odmiennych technik. Jądra opracowane z myślą o stałym lub losowym ruchu mogą być również niedostatecznie dostrojone do ruchu produkcyjnego, w którym routing zależny od danych wpływa na to, które optymalizacje przynoszą najlepsze rezultaty.

Jak działa ciągła kompilacja

Together Compiler przyjmuje jako dane wejściowe charakter ruchu, model i sprzęt, a następnie wykorzystuje agentów do generowania i mierzenia potencjalnych optymalizacji silnika wnioskowania. Trwale działający silnik ładuje model tylko raz i ponownie wczytuje w locie kolejne warianty przebiegu propagacji w przód, bez ponownego uruchamiania całego silnika. Agenci działający równolegle generują kandydatów i komunikują się za pośrednictwem tablicy wiadomości, dzięki czemu eksperymenty pozostają w kolejce, gdy inni agenci prowadzą rozumowanie lub korzystają z narzędzi.

Dwa poziomy pomiarów równoważą liczbę eksperymentów i realizm. Szybkie silniki ładują podzbiór warstw, co umożliwia szybką iterację i uzyskiwanie pomiarów o małej wariancji; wolniejsze silniki ładują więcej warstw, aby sprawdzić, czy kandydaci sprawdzają się w realistycznych rozkładach danych. Odrębny model kosztowy łączy specyfikacje sprzętu, mikrowzorce i zmierzone przebiegi propagacji w przód, aby zawęzić przestrzeń poszukiwań konfiguracji przetwarzania równoległego, zanim agenci poświęcą czas na optymalizację kandydatów.

W artykule technicznym podano, że zwycięscy kandydaci przechodzą testy weryfikacyjne pod kątem zanieczyszczenia pamięci podręcznej KV i jakości wyników, zanim będzie można udostępnić ich obsługę. Testy przeprowadza się po wyczerpaniu budżetu optymalizacyjnego, gdy końcowy kod źródłowy jest przygotowywany do integracji z silnikiem obsługującym modele.

Porównanie czasu uruchamiania przedstawione we wpisie ogłaszającym rozwiązanie podaje 467 sekund do rozpoczęcia obsługi w sekwencji dotychczasowej, w porównaniu z 9,0 sekundy w konfiguracji Together Compiler. Wartości te dotyczą uruchamiania silnika podczas optymalizacji, a nie opóźnienia pojedynczego żądania, i pomagają wyjaśnić, dlaczego ponowne wczytywanie w locie ma kluczowe znaczenie dla przepustowości eksperymentów systemu.

Zakres ewaluacji i dostęp dla klientów

W porównaniach silników wykorzystano wiodące otwarte konfiguracje dostępne 30 października 2026 r., a strategię przetwarzania równoległego w konfiguracji bazowej pozostawiono bez zmian, aby wyodrębnić wpływ optymalizacji agentowej. Trainium2 stanowił ujawniony wyjątek od standardowego obciążenia ewaluacyjnego: zastosowano na nim syntetyczny zbiór danych wieloturowych, ponieważ implementacja nie obsługiwała jeszcze wyższych poziomów współbieżności w ramach dostępnej pojemności pamięci HBM.

Together AI przypisuje uzyskane wyniki optymalizacji po części 252-krotnie większej przepustowości eksperymentów niż w przypadku bazowych systemów optymalizacji agentowej opartej na rekurencyjnym samodoskonaleniu.

Poza wnioskowaniem z użyciem modeli językowych w artykule opisano przyspieszenie od 1,5 do 6,4 raza w testowanych modelach pogodowych, biologicznych, szeregów czasowych oraz równań różniczkowych cząstkowych, przy zachowaniu wyników identycznych bit po bicie w opisanych ewaluacjach.

Klienci końcowi mogą poprosić o wcześniejszy dostęp w ramach ograniczonej bety. Together AI planuje umożliwić optymalizację dedykowanych punktów końcowych jednym kliknięciem. Plan badawczy firmy obejmuje dekodowanie spekulatywne dostosowujące się do domeny, żądania, tokena i natężenia ruchu, a także dynamiczny routing między węzłami roboczymi i konfiguracjami wdrożeń, przeznaczony dla zróżnicowanego ruchu bezserwerowego.

Premiera sprawia, że zasadą organizującą stos wnioskowania Together AI stają się pomiary dostosowane do konkretnego wdrożenia, a nie poszukiwanie uniwersalnie optymalnego jądra. Dla klientów najważniejsze jest teraz to, czy ograniczona beta pozwoli odtworzyć zgłaszane przyrosty wydajności na ich własnych modelach, przy ich ruchu i na ich sprzęcie, a zarazem przejść te same kontrole jakości — właśnie do radzenia sobie z takimi różnicami ma służyć Continuous Compilation.