Wywiady
Rahul Nambiar, współzałożyciel i dyrektor generalny Propensity Labs – cykl wywiadów

Kluczowe punktyDostosowanie promptów do tańszego modelu pozwoliło mu dorównać modelowi premium przy 7%…
Zobacz więcej
- Dostosowanie promptów do tańszego modelu pozwoliło mu dorównać modelowi premium przy 7% kosztu.
- Tańsze modele często zawodzą z powodu możliwych do naprawienia wzorców zachowań, a nie niewystarczających zdolności surowych.
- Zespoły powinny mierzyć koszt na pomyślnie ukończone zadanie, a nie tylko koszt na token.
Rahul Nambiar jest współzałożycielem i dyrektorem generalnym Propensity Labs. Wcześniej budował infrastrukturę na dużą skalę w AWS, a następnie przeszedł do Meta, gdzie kierował pracami nad inwentaryzacją danych użytkowników w skali eksabajtów z wykorzystaniem klasyfikacji uczenia maszynowego. Obecnie koncentruje się na analizie zachowania modeli AI oraz łączeniu kierowania zadań do modeli z dostosowywaniem instrukcji, aby zwiększyć opłacalność i niezawodność przepływów pracy z agentami.
Propensity Labs tworzy systemy, które pomagają zespołom wybierać modele AI i kierować do nich zadania odpowiednie do konkretnych obciążeń. Podejście firmy łączy ocenę zachowania modeli, automatyczne dostosowywanie promptów i kierowanie zadań między modelami, aby użytkownicy mogli lepiej wykorzystywać dostępne modele bez konieczności zdobywania specjalistycznej wiedzy o każdym z nich.
Twoja kariera prowadziła od Meta, gdzie kierowałeś pracami nad technologiami ochrony prywatności w ramach projektu inwentaryzacji danych w skali eksabajtów, przez AWS, aż do obecnej roli dyrektora generalnego Propensity Labs. Jak to zaplecze techniczne wpłynęło na Twoje spojrzenie na ograniczenia obecnych modeli AI oraz potencjał kierowania wyspecjalizowanymi instrukcjami?
Karierę zacząłem w AWS, a potem przeszedłem do Meta. Budując systemy na dużą skalę, nauczyłem się, że często można osiągnąć ogromną poprawę, rozumiejąc i optymalizując zachowanie ich podstawowych komponentów, zamiast traktować je jak wymienne czarne skrzynki. To samo dotyczy modeli AI. Odkryliśmy, że nawet bardzo zaawansowane modele mają swoiste cechy zachowania, które można zrozumieć i uwzględnić, często uzyskując zaskakująco duży wzrost wydajności i obniżenie kosztów.
W niedawnym eksperymencie pokazaliście, że mniejsze modele, do których kierowano zadania, osiągały lepsze wyniki niż modele premium, a ich koszt stanowił tylko ułamek kosztu tych drugich. Jakie są główne wyzwania inżynieryjne związane z wdrażaniem takiego kierowania zadań do modeli w środowiskach produkcyjnych w porównaniu z testem porównawczym?
Dostosowując prompty do Luny i jej słabych stron, udało nam się uzyskać wyniki dorównujące Solowi za 7% jego kosztu w złożonym, agentowym teście porównawczym Tau3 firmy Sierra. Kierowanie zadań do Luny z dostosowanymi promptami oraz do Sola pozwoliło nam dorównać wynikom Astry, ponosząc 16% jej kosztu.
Ważnym wnioskiem było dla nas to, że zarówno kierowanie zadań do modeli, jak i dostosowywanie promptów muszą być ściśle dopasowane do danego obciążenia. Testy porównawcze oferują dobrze zdefiniowane środowiska i systemy oceny, dzięki którym można sprawdzić, jak model radzi sobie z danym zadaniem, oraz ocenić jakość jego wyników. Pozwala to ustalić, jak dostosować prompty do modelu i kiedy kierować zadanie do konkretnego modelu.
Przepływy pracy w środowisku produkcyjnym nie są tak uporządkowane. Dostępne są ślady działania modeli podczas wykonywania zadań, ale nie ma niezawodnego sposobu, by stwierdzić, czy rzeczywiście im podołały ani jak powinien wyglądać dobry wynik. Nauczyliśmy się wykorzystywać istniejące dane o użyciu — zarówno ewaluacje, jak i ślady z produkcji — i na ich podstawie odtwarzać konfigurację ewaluacyjną, która pozwala testować różne modele i sposoby ich dostosowania w ramach tego samego obciążenia.
Ciekawe jest to, że kierowanie zadań do modeli i ich dostosowywanie trzeba rozpatrywać łącznie. Tańszy model może nie poradzić sobie z zadaniem przy użyciu obecnych promptów, ale wykonać je poprawnie po dostosowaniu promptów do jego zachowania. To zmienia wybór modelu, do którego należy skierować zadanie.
Wspominasz o dostosowywaniu instrukcji do konkretnych modeli. Jak rozróżniasz instrukcje uniwersalne od tych, które trzeba indywidualnie dopasować do mocnych i słabych stron danej architektury modelu?
Wiele instrukcji, które wydają się uniwersalne, trzeba dostosować do konkretnego modelu. Oto prosty przykład: halucynacje w odpowiedziach udzielanych w pojedynczej turze. Zbadaliśmy tu dwa różne modele: DeepSeek V4 Pro i GPT-6 Luna. Oba mają silną skłonność do zmyślania, gdy nie znają odpowiedzi. Jakiś element procesu ich trenowania sprawia, że bardzo niechętnie powstrzymują się od odpowiedzi i mówią „Nie wiem”. Ich zachowanie jest podobne, ale sposoby ograniczania tego problemu za pomocą promptów są zupełnie różne.
DeepSeek V4 Pro można skłonić do powstrzymywania się od odpowiedzi równie często jak modele Claude, jeśli zastosuje się wiele wariantów instrukcji „Możesz powiedzieć: Nie wiem”. Ta sama taktyka ma niewielki wpływ na Lunę. Luna najlepiej reaguje na przypisanie kosztu błędnej odpowiedzi. Instrukcja w rodzaju „Błędna odpowiedź oznacza -90 punktów, a poprawna daje tylko +10” sprawia, że model powstrzymuje się od odpowiedzi równie często jak jego większy brat, Sol. Zachowanie jest takie samo, ale sposoby skłonienia tych dwóch modeli do jego zmiany są zupełnie różne. Aby dostosować instrukcje do konkretnego modelu, trzeba dobrze zrozumieć zarówno sam model, jak i przepływ pracy, w którym jest wdrożony.
W miarę jak firmy przechodzą na przepływy pracy z agentami, jakie dowody wskazują na to, że kierowanie zadań do tańszych, wyspecjalizowanych modeli jest trwalszą strategią niż czekanie, aż jeden coraz bardziej zaawansowany model czołowy będzie w stanie obsłużyć wszystkie zadania?
Nowy model czołowy pojawia się mniej więcej co tydzień. Załóżmy, że wybierasz obecnie największy i najlepszy model do obsługi całego przepływu pracy. Za kilka miesięcy, a może nawet tygodni, prawdopodobnie pojawią się mniejsze modele, które będą w stanie obsłużyć dużą część, a być może nawet całość tego przepływu. Jednocześnie prawdopodobnie pojawią się też większe lub bardziej wyspecjalizowane modele, które będą działać w nim wydajniej. Nie zmieniając modelu ani nie kierując zadań do różnych modeli, tracisz zarówno na wydajności, jak i na kosztach.
Nadążanie za tym wszystkim jest jednak uciążliwe, a ludzie nie powinni musieć stawać się ekspertami od wszystkich dostępnych modeli. Właśnie w tym możemy pomóc: zadbać o to, by do danego zadania zawsze był wybierany najlepszy model w najniższej cenie, która zapewnia oczekiwaną wydajność. Czasami wystarczy wybrać najwydajniejszy dostępny model do części zadań, a innym razem — dostosować większość przepływu pracy tak, aby można ją było obsłużyć znacznie tańszymi modelami.
Jak dbacie o spójność danych i prywatność podczas zarządzania systemem, który kieruje zadania do różnych modeli, zwłaszcza gdy dotyczą one informacji wrażliwych?
Działamy jako warstwa pośrednicząca między użytkownikami a dostawcami modeli. Użytkownicy wybierają dostawców, z których chcą korzystać, i podają własne klucze API. Spośród modeli oferowanych przez tych dostawców wybieramy najlepszy model do obsługi całego przepływu pracy lub jego części, dostosowujemy przepływ pracy i przekazujemy go odpowiednim modelom. Korzystamy wyłącznie z testów ewaluacyjnych lub śladów, które klient zdecyduje się udostępnić; nie trenujemy na jego danych ani ich nie przechowujemy.
Wspólnie z Mana Azarm założył Pan Propensity Labs. Jak dzielicie się obowiązkami, łącząc badania nad zachowaniem modeli z praktycznym aspektem inżynierii systemów i budowania potoków agentowych?
Nasze umiejętności dobrze się uzupełniają. Mana, nasza główna naukowczyni, która jest również profesorką, skupia się bardziej na zagadnieniach związanych z zachowaniem modeli, a ja — na inżynierii systemów. A raczej tak chcielibyśmy podzielić się obowiązkami. Rzeczywistość jest bardziej skomplikowana i ostatecznie każde z nas zajmuje się tym, co w danej chwili stanowi największą przeszkodę.
Co stanowi najłatwiejszy sposób na rozpoczęcie testowania kierowania zapytań do różnych modeli i dostosowywania instrukcji w istniejących przepływach pracy przez dyrektorów technicznych, którzy obecnie dużo wydają na wywołania API modeli premium?
Porozmawiajmy! A mówiąc serio, po prostu spróbowałbym uruchomić najnowszy model mniejszego rozmiaru na konkretnym zadaniu i sprawdzić, z czym sobie poradzi. Podejrzewam, że wiele osób nadal korzysta z większych modeli poprzednich generacji i nie zdaje sobie sprawy, jak szybko modele się rozwijają ani z tego, że niedawno pojawiły się mniejsze i tańsze alternatywy, które mogą obsługiwać ich zadania.
Jakie są najczęstsze błędne przekonania programistów na temat możliwości tańszych modeli, gdy odpowiednio ograniczy się ich działanie lub pokieruje ich pracą?
Najczęściej zakłada się, że jeśli tańszy model sobie nie radzi, to po prostu nie ma wystarczających możliwości. Uważam, że warto dokładnie analizować, jak i w jakich sytuacjach tańszy model zawodzi w danym przepływie pracy. Część takich niepowodzeń wynika ze schematów, w które model ma tendencję popadać; rozpoznanie ich i skorygowanie może pomóc mu skutecznie realizować zadania. Inna część to zadania, których tańszy model nie jest w stanie poprawnie wykonać ze względu na ograniczone możliwości — w takich przypadkach potrzebny jest większy model.
Pańska praca dotyczy powiązań między prywatnością, skalą i kosztami. Jakie największe rozbieżności między oczekiwaniami firm a możliwościami obecnego ekosystemu narzędzi dostrzega Pan w perspektywie najbliższych 12–18 miesięcy rozwoju infrastruktury AI?
Rozmawiając z osobami wdrażającymi modele w środowisku produkcyjnym, często słyszę o FOMO, a do pewnego stopnia także o zmęczeniu koniecznością śledzenia nowych modeli i rosnących możliwości. Zazwyczaj z czasem technologie stają się łatwiejsze w obsłudze i wdrażaniu. W przypadku LLM-ów jest odwrotnie — wybór obejmuje mnóstwo modeli i ustawień, takich jak temperatura, intensywność wnioskowania czy buforowanie. Uważam, że warto uprościć i ukryć tę złożoność przed zespołami korzystającymi z modeli, aby mogły skupić się na tym, co chcą dzięki nim osiągnąć, a nie na tym, jak to zrobić.
Na jakich wskaźnikach zespoły techniczne powinny się skupić, rozpoczynając eksperymenty z kierowaniem zadań do różnych modeli, aby nie dążyć do oszczędności kosztem niezawodności?
Zacząłbym od wskaźników skutecznego wykonania zadań, liczby niepowodzeń, opóźnień oraz kosztu każdego pomyślnie ukończonego zadania. Sam koszt tokena nie jest szczególnie przydatny, jeśli tańszy model częściej zawodzi, dlatego należy uwzględnić całkowity koszt zadania — także ponowne próby oraz koszt wszystkich klasyfikatorów i modeli decyzyjnych wykorzystywanych do kierowania zadań.
Najtrudniej jest zmierzyć niezawodność. Zaobserwowaliśmy powtarzający się schemat: zespoły mają trudności z przenoszeniem agentów z jednego modelu na inny, przez kilka miesięcy intensywnie pracują nad testami ewaluacyjnymi, a następnie przekonują się, że zmiana modeli stała się znacznie łatwiejsza. Zdecydowanie zalecałbym jak najwcześniejsze inwestowanie w rzetelne testy ewaluacyjne dla przepływów pracy oraz ich aktualizowanie w miarę zmian w tych przepływach i sposobie, w jaki korzystają z nich użytkownicy.
Dziękuję za świetny wywiad. Czytelnicy, którzy chcą dowiedzieć się więcej o kierowaniu zadań do różnych modeli, dostosowywaniu instrukcji i metodach ewaluacji pozwalających tworzyć bardziej niezawodne i opłacalne przepływy pracy z AI, powinni odwiedzić Propensity Labs.












