Nikolaos Vasiloglou, VP of Research ML at RelationalAI – Wywiad z serii

Nikolaos Vasiloglou jest VP of Research ML at RelationalAI. Przez całą swoją karierę zajmował się budowaniem oprogramowania ML i kierowaniem projektami z dziedziny nauki o danych w branży detalicznej, reklamie internetowej i bezpieczeństwie. Jest członkiem społeczności ICLR/ICML/NeurIPS/UAI/MLconf/KGC/IEEE S&P, pełniąc funkcje autora, recenzenta i organizatora warsztatów oraz konferencji głównych. Nikolaos kieruje badaniami i inicjatywami strategicznymi na styku dużych modeli językowych i grafów wiedzy dla RelationalAI.

RelationalAI to przedsiębiorstwo AI, które buduje platformę inteligencji decyzyjnej zaprojektowanej, aby pomóc organizacjom wyjść poza analizę danych w kierunku zautomatyzowanego, wysokiej jakości podejmowania decyzji. Technologia ta integruje się bezpośrednio z środowiskami danych, takimi jak Snowflake, łącząc bazy danych relacyjne, grafy wiedzy i zaawansowane systemy wnioskowania, tworząc „model semantyczny” przedsiębiorstwa – co w zasadzie oznacza zakodowanie, w jaki sposób działa firma, jej relacje i logika. Pozwala to systemom AI (w tym agentom decyzyjnym, takim jak „Rel”) wnioskować nad złożonymi, połączonymi danymi i generować przewidywania i wskazówki, umożliwiając przedsiębiorstwom podejmowanie szybszych, bardziej świadomych decyzji bez przenoszenia danych poza bezpieczne środowiska chmury.

Miałeś rzadką ścieżkę kariery, obejmującą akademickie uczenie maszynowe, wdrożenia na dużą skalę w przemyśle i role kierownicze w firmach, takich jak Symantec, Aisera i teraz RelationalAI. Jak te doświadczenia ukształtowały twoją perspektywę na temat miejsca, w którym spotyka się badanie uczenia maszynowego z systemami świata rzeczywistego? 

Miałem szczęście, aby zaangażować się w różne dziedziny biznesowe, od handlu detalicznego i bezpieczeństwa, aż po reklamę internetową. To pomogło mi zrozumieć, jak uczenie maszynowe i AI pasuje jako wspólny mianownik. Wiedzieliśmy od wczesnych lat 2000, że oprogramowanie pochłania świat, dane pochłaniają inteligencję decyzyjną, ale niewiele firm, w tym Google (GOOGL ), uwierzyło, że zaawansowane algorytmy uczenia maszynowego ostatecznie pochłoną wszystko. W 2008 roku uczestnicy NeurIPS byli uważani za nerdów i marzycieli, którzy nie rozumieli świata rzeczywistego, tylko ludzi, którzy lubili bawić się zabawkami. Było to prawdą do pewnego punktu, ale wierzyłem, że jest to na trajektorii zmiany. W przeciwieństwie do innych, nie zrezygnowałem z aktywnego udziału w przejściu badań akademickich do przemysłu.

Twoja analiza NeurIPS 2025 wykorzystywała asystentów kodowania, takich jak Claude Code, OpenAI Codex i NotebookLM, do przetworzenia całej konferencji. Co najbardziej zaskoczyło cię, używając systemów AI do analizy badań AI? 

Było to niesamowicie łatwe do zbudowania oprogramowania do pobierania danych, odczytywania maszynowego i klasyfikowania ich w sekcje, a nawet podsumowywania i wyjaśniania w szczególnie intuicyjny sposób. Systemy GenAI są niesamowite w opowiadaniu historii, ale nie opowiadaniu historii. NotebookLM to królowa analizy dowolnej dziedziny i dostarczania niesamowitych wyników. Jednak nie masz kontroli nad historią, grafikami ani naciskiem. Nauczyłem się, że narzędzia nie są zbyt dobre w tworzeniu slajdów PowerPoint, więc musiałem się uciec do budowy HTML, a następnie konwertowania ich na pliki PDF. Największym wyzwaniem było tworzenie rysunków – generacja dyfuzyjna była po prostu zbyt wolna, niewiarygodna i droga, bez kontroli. Zaskakująco dobrze radzą sobie z tworzeniem SVG programowo z bibliotekami matplotlib, plotly i innymi bibliotekami Pythona. Ta technika skalowała, ale wymagała kilku przejść, aby naprawić błędy wizualizacji. Modele będą jeszcze lepsze w przyszłym roku.

Jeden z najmocniejszych tematów w twojej analizie to przejście od skalowania czasu treningu do obliczeń czasu inferencji. Dlaczego obliczenia czasu testowego stają się tak potężnym dźwignią poprawy wydajności modelu? 

Prawa skalowania są naszym kompasem. Zwiększanie rozmiaru modelu i danych treningowych osiągnęło swoją pojemność. Pierwsza generacja praw skalowania doprowadziła nas do GPT-4. Były to te, które pomogły OpenAI rozpocząć rewolucję GenAI. Wkrótce zrealizowaliśmy, że istnieje inna wymiar, który pozwala modelowi generować wiele tokenów przed dotarciem do odpowiedzi. Jest to inny sposób poprawy wydajności LLM. Rozmiar modelu i długość wnioskowania są często wyrażane jako tryby myślenia System 1 i System 2 (Daniel Kahneman). Ślady wnioskowania to kolejny sposób zwiększania pojemności modelu. Jeśli pomyślisz o tym, przełomy dokonane przez ludzi zaczynały się od instynktów (wysoki IQ), ale sukces zawsze wynikał z długiego i bolesnego wnioskowania. Widzimy ten wzorzec: mniejsze modele z długimi oknami myślowymi przewyższają modele, które są 100 razy większe. Tak więc myślenie ma większe znaczenie niż IQ w LLM.

Wskazujesz na przejście od modeli monolitycznych do systemów agenckich zdolnych do planowania, działania i weryfikacji swoich danych wyjściowych. Jak blisko jesteśmy do tego, aby AI agenckie stały się niezawodnym paradygmatem produkcji, a nie prototypem badawczym? 

Robimy duże postępy w tym kierunku. Największymi problemami są niezawodność i bezpieczeństwo, abyśmy mogli im ufać, aby były autonomiczne. Jeśli przyjrzysz się bliżej treści NeurIPS, zobaczysz systemy autonomiczne, które prowadzą badania, rozwiązują problemy matematyczne i rozwiązują problemy kodowania, ale nie widzisz agenckiego samochodu bez kierowcy, na przykład. Ostatnie doświadczenie z Moltbook (sieci społecznej dla agentów AI) podkreśliło problemy związane z autonomicznym AI agenckim. Jednak odkrywanie nowych leków i materiałów z AI agenckim jest ogromne, więc celebrujmy i zaindeksujmy to na razie.

Wydajność wydaje się być głównym motorem innowacji, z mniejszymi modelami osiągającymi konkurencyjną wydajność dzięki ulepszonym architekturą i inteligentniejszym strategiom inferencji. Czy wkraczamy w erę, w której przełomy w wydajności mają większe znaczenie niż surowy rozmiar modelu? 

Podczas gdy AI skaluje się do produkcji, inżynieria staje się bardziej istotna. Poleganie na modelach frontierowych jest po prostu niezrównoważone. Jest to wspaniałe na demonstracje, ale firmy stają twarzą w twarz z gorzką rzeczywistością, gdy widzą wysokie koszty dużych modeli. Po raz pierwszy mniejsze modele stały się o wiele bardziej opłacalnym rozwiązaniem. Istnieje cicha siła zmieniająca status quo branży. Do tej pory NVIDIA (NVDA ) miała monopol na GPU i utrzymywała wysokie ceny. AMD wkracza na rynek z wysokiej jakości układami, co zmusi ceny do spadku. Energia nadal stanowi problem, ale widzimy pewne ruchy na rynku. Ponieważ laboratoria frontierowe stały się bardziej kosztowne, rozwiązanie mniejszych modeli na wynajętych GPU stało się bardziej opłacalne.

Twoja prezentacja sugeruje, że pole przeszło od skalowania jednowymiarowego (parametrów) do wielowymiarowego, obejmującego parametry, dane, architekturę i inferencję. Jak powinni myśleć badacze i praktycy o tym nowym paradygmatcie skalowania? 

Dla większości profesjonalistów architektura i parametry są poza ich kontrolą. Producenci modeli, którzy mają niezbędny kapitał, będą napędzać innowacje. Długość inferencji tokenów będzie dedykowana przez wydatki kapitałowe ich organizacji. To, co pozostaje pod ich kontrolą, to dane. Zobaczymy więcej skupienia na tworzeniu, kuracji i debugowaniu danych (ślady wnioskowania większości czasu). To będzie celem codziennych operacji. Oczywiście będą musieli śledzić NeurIPS i inne duże konferencje, aby pozostać na bieżąco z trendami nowych architektur.

W twojej syntezie NeurIPS wskazujesz, że rosnąca część badań koncentruje się na odkryciach naukowych napędzanych przez AI, od biologii po modelowanie klimatu. Czy widzisz AI dla nauki jako następną główną granicę badań nad uczeniem maszynowym? 

Myślę, że wykracza to poza badania akademickie. Patrzymy na następną gorączkę złota. W 1849 roku gorączka złota w Kalifornii osiągnęła swój szczyt. Wszystko, co ludzie musieli zrobić, to nieustannie przecedzać wodę rzeczną, aby znaleźć złoto. Wiemy teraz, że wiele osób nie znalazło złota, ale to, co widzimy dzisiaj, jest bardzo realne. Mogę zobaczyć dużą falę startupów składających się z dwóch lub trzech osób, które wykorzystują modele językowe do znalezienia nowych materiałów, leków i składników produktów. Spalanie tokenów w najbardziej inteligentny sposób może przynieść duże zyski. Asystenci kodowania, tacy jak Claude Code, OpenAI Codex i Google Antigravity, mogą usunąć fosę dla firm SaaS, pozostawiając całe pokolenie bardzo zdolnych naukowców w poszukiwaniu naukowym. Jeśli pracujesz dla organizacji non-profit, takiej jak First Principles lub Bio[hub], istnieją możliwości znalezienia nowych praw fizyki i teorii lub innych wkładów w biologii. Jeśli chcesz generować przychody, będziesz pracować nad wynalezieniem nowych produktów opartych na nauce, takich jak farmaceutyki, materiały, baterie itp.

Twoja praca również podkreśla rosnącą lukę weryfikacyjną, gdzie modele osiągają silne wyniki benchmarkowe, ale zawodzą w prostych wariantach świata rzeczywistego. Co ta luka ujawnia o bieżących ograniczeniach dużych modeli językowych? 

Wyglądają na to, że mają niesamowitą pamięć i mogą generalizować dobrze. Benchmarki są dobrze na początku badań. Gdy tylko przekroczysz próg, uczysz się benchmarku, a nie problemu. Przez lata byliśmy bardzo dobrzy w resetowaniu benchmarków i robieniu ich jeszcze trudniejszych, aby pchnąć granice. Problem z benchmarkami polega na tym, że w pewnym momencie zaczynamy nadmiernie indeksować i ostatecznie oszukiwać. Cały trend tutaj polega na tym, aby uczynić konkurentów bardziej uczciwymi. Osobiście nie przykładam zbyt dużej wagi do benchmarków po kilku skokach. Możesz mieć dobry produkt, który nie jest nawet w pierwszej dziesiątce listy liderów. Zobaczyłem również wiele gorszych produktów, które są dobre w benchmarkach.

Twoja prezentacja sugeruje, że mniejsze modele językowe w połączeniu z skalowaniem inferencji i architekturą agencką mogą umożliwić potężne systemy AI, które działają poza centrami danych hyperskali. Czy ta decentralizacja może zmienić sposób, w jaki AI jest wdrożony w różnych branżach? 

Zobaczyliśmy duży nacisk na wdrożenie na krawędzi. Zobaczymy więcej inteligentnych urządzeń wokół nas. Microsoft (MSFT ) pracował przez lata nad 1bit LLM, który osiąga około 30-krotny kompresję, umożliwiając uruchomienie nawet modeli frontierowych na jednym chipie w przyszłości. Śledziliśmy tę pracę przez lata i postęp jest oszałamiający. Szczególnie w dziedzinie noszenia.

Coś, co zostało omówione na zeszłorocznej NeurIPS, to pomysł łączenia słabych modeli krawędzi z modelem frontierowym. Pozwala to na dostosowanie mocy inferencji w oparciu o Twoją przepustowość w ciągłym spektrum. Pierwszy warsztat Telco na NeurIPS ujawnił tendencję do umieszczania GPU na wieżach komórkowych, co jest interesujące, ponieważ wieża komórkowa nie jest ani centrum danych, ani urządzeniem krawędziowym. To wprowadza nową warstwę w hierarchii obliczeń.

Coś, co uciekło z LLM, to rozproszone szkolenie modelu (i nie mam na myśli Google szkolące Gemini w oddalonych centrach danych). Istnieje bardzo interesująca tendencja, która przychwytywa niezależne jednostki szkolące własne modele i użytkowników łączących je jak Lego, aby zbudować większe i bardziej potężne. To jest bardzo obiecująca architektura modułowa. To jest to, jak trenuje się duże modele. Różne zespoły budują specjalistyczne modele, a na końcu łączą je jak bloki Lego.

Po analizie tysięcy prac NeurIPS, gdzie, Twoim zdaniem, społeczność badawcza AI dokładnie przewiduje postęp, a gdzie może najbardziej przegapić najważniejsze nadchodzące zmiany? 

Społeczność badawcza nie robi przewidywań. Badacze mają swoje własne napędzające, ciekawość, finansowanie, przypadkowość i oczywiście instynkt. Mogą zawsze przegapić interesujące kierunki, ale na pewno ktoś je znajdzie i podejmie w pewnym momencie w przyszłości. To jest oczekiwane i zdrowe. Dyrektorzy, inwestorzy i inżynierowie są wymagani do identyfikowania pojawiających się trendów, aby mogli podejmować właściwe decyzje i podejmować najbardziej wykształcone zakłady. W moim 5-letnim oknie analizy były trendy, które zostały podjęte wcześnie, a inne sygnały zostały pominięte. Dla niektórych z nich jest jeszcze czas, aby pojechać falę alfa.

Rynki danych to coś, czego śledzę od lat, i wreszcie zrobili skok w tym roku. Brakującym składnikiem była atrybucja. Możemy teraz zidentyfikować dane treningowe, które przyczyniły się do konkursu LLM na żywo. To oznacza, że możesz zapłacić dywidendy. To była przegapiona okazja dla wydawców, którzy są w pozwach zbiorowych z modelem frontierowym. Niektórzy z nich musieli po prostu zrezygnować z umów licencyjnych, podczas gdy wierzę, że mają możliwość uzyskania bardziej zrównoważonych przychodów z modelu atrybucyjnego.

Rewolucja nadchodzi w robotyce. Światowe modele, które NVIDIA i inni ogłosili, wykonują bardzo dokładne i skalowalne symulacje fizyczne. Oczekuj, że AI będzie bardziej fizyczne w przyszłości.

Architektura transformatora ostatecznie połączyła się z modelami stanu przestrzennego, takimi jak RNN, mamba itp. i wyprodukowała niesamowite małe LLM. Teraz wiemy dokładne ograniczenia transformatora, które odgrywają dużą rolę w wydajności, ale nadal brakuje nam następnego kroku. To nastąpi, gdy transformator zostanie udowodniony jako niezawodny i dość wytrzymały. Nie wiemy, czy to będzie człowiek, czy transformator, który zaprojektuje nową architekturę LLM! Transformator zjednoczył wszystkie fragmentaryczne architektury w NLP (tak, nie zapomnij, że GenAI zaczął się od podstawowych zadań NLP, takich jak klasyfikacja encji). Działało to dla matematyki, w tym roku działało dla tabel, ale nie działało dla fizyki. Zliczyłem ponad 15 różnych architektur. Tak więc nowa architektura, która ujednolica fizykę, może być również tym, co zastąpi transformator w podróży AGI. To zadziałało dla tabel, ale nie działało dla fizyki. Ilość różnych architektur, które widziałem, jest ogromna. Nowa architektura, która ujednolica fizykę, może być również tym, co zastąpi transformator w podróży AGI.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić RelationalAI.