Николаос Василоглу, Вице-президент по исследованиям ML в RelationalAI – Интервью

Николаос Василоглу является Вице-президентом по исследованиям ML в RelationalAI. Он провел свою карьеру, строя программное обеспечение ML и руководя проектами по науке о данных в розничной торговле, онлайн-рекламе и безопасности. Он является членом сообщества ICLR/ICML/NeurIPS/UAI/MLconf/KGC/IEEE S&P, имея опыт работы в качестве автора, рецензента и организатора семинаров и основной конференции. Николаос возглавляет исследования и стратегические инициативы на пересечении больших языковых моделей и графов знаний для RelationalAI.

RelationalAI – это предприятие AI, которое строит платформу интеллекта решений, предназначенную для того, чтобы помочь организациям перейти от анализа данных к автоматизированному, высококачественному процессу принятия решений. Ее технология интегрируется напрямую с средами данных, такими как Snowflake, объединяя реляционные базы данных, графы знаний и передовые системы рассуждений для создания “семантической модели” бизнеса – по сути, кодирующей, как работает компания, ее отношения и логика. Это позволяет системам AI (включая агентов решений, таких как “Rel”) рассуждать о сложных, взаимосвязанных данных и генерировать прогностические и предписывающие идеи, позволяя предприятиям принимать более быстрые и обоснованные решения без перемещения данных вне безопасных облачных сред.

У вас была редкая карьерная траектория, охватывающая академические исследования по машинному обучению, крупномасштабные промышленные развертывания и руководящие роли в компаниях, таких как Symantec, Aisera и теперь RelationalAI. Как эти опыт сформировали ваше представление о том, где исследования по машинному обучению встречаются с реальными системами сегодня? 

Я был достаточно удачлив, чтобы взаимодействовать с различными бизнес-доменами, от розничной торговли и безопасности до онлайн-рекламы. Это помогло мне понять, как машинное обучение и AI выступают в качестве общего знаменателя. Мы знали с начала 2000-х годов, что программное обеспечение съедает весь мир, данные съедают интеллект решений, но мало компаний, включая Google (GOOGL ), верили, что продвинутые алгоритмы машинного обучения в конечном итоге съедят все. В 2008 году посетители NeurIPS считались нытиками и мечтателями, которые не понимали реальный мир, просто людьми, которые любят играть с игрушками. Это было верно до определенной точки, но я верил, что это было на траектории изменения. В отличие от других, я не отказался от активного участия в переходе академических исследований в промышленность.

Ваш анализ NeurIPS 2025 использовал помощников кодирования, такие как Claude Code, OpenAI Codex и NotebookLM, для обработки всей конференции. Что удивило вас больше всего об использовании систем AI для анализа исследований по AI? 

Было удивительно легко построить программное обеспечение для сбора данных, машинного чтения и категоризации их в разделы и даже суммирования и объяснения их в интуитивно понятной форме. Системы GenAI удивительны в рассказывании истории, но не в рассказывании истории. NotebookLM – королева анализа любого домена и доставки невероятных результатов. Однако у вас нет контроля над историей, графикой или акцентом. Я узнал, что инструменты не очень хороши в создании слайдов PowerPoint, поэтому мне пришлось прибегнуть к созданию HTML, а затем конвертировать их в PDF. Самым большим вызовом было создание фигур – генерация диффузии была просто слишком медленной, ненадежной и дорогой, без контроля. Удивительно, но модели довольно хороши в создании SVG программно с помощью matplotlib, plotly и других библиотек Python. Этот метод масштабируется, но он требует нескольких проходов для исправления ошибок визуализации. Модели будут еще лучше в следующем году.

Одной из самых сильных тем в вашем анализе является сдвиг от масштабирования во время обучения к вычислению во время вывода. Почему вычисление во время тестирования становится таким мощным рычагом для улучшения производительности модели? 

Законы масштабирования – наш компас. Увеличение размера модели и данных предобучения достигло своей емкости. Первое поколение законов масштабирования привело нас к GPT-4. Они были теми, кто помог OpenAI начать революцию GenAI. Мы вскоре поняли, что есть другой размер, который позволяет модели генерировать многие токены, прежде чем прийти к ответу. Это другой способ улучшить эффективность больших языковых моделей. Размер модели и длина рассуждения часто выражаются как режимы мышления System 1 и System 2 (Даниэль Канеман). Следы рассуждений – это другой способ увеличения емкости модели. Если вы подумаете об этом, прорывы от людей начались с инстинктов (высокий IQ), но успех всегда был обусловлен долгим и болезненным рассуждением. Мы видим эту закономерность: Меньшие модели с длинными окнами рассуждений превосходят модели, которые в 100 раз больше. Итак, рассуждение имеет больше значения, чем IQ в больших языковых моделях.

Вы подчеркиваете переход от монолитных моделей к агентным системам, способным планировать, действовать и проверять свои выходные данные. На сколько близко мы к тому, чтобы агентные AI стали надежной производственной парадигмой, а не исследовательской прототипом? 

Мы делаем большие шаги в этом направлении. Самыми большими проблемами являются надежность и безопасность, чтобы мы могли доверять им автономно. Если вы посмотрите внимательно на содержание NeurIPS, вы увидите автономные системы, которые проводят исследования, решают математические задачи и решают задачи кодирования, но вы не увидите агентную беспилотную машину, например. Последний опыт с Moltbook (социальная сеть для агентов AI) подчеркнул проблемы автономных агентных AI. Однако открытие новых лекарств и материалов с помощью агентных AI – это огромно, поэтому давайте будем праздновать и индексировать это на данный момент.

Эффективность, кажется, является основным драйвером инноваций, когда меньшие модели достигают конкурентной производительности за счет улучшений архитектуры и более умных стратегий вывода. Входим ли мы в эпоху, когда прорывы в эффективности имеют больше значения, чем сырой размер модели? 

Когда AI масштабируется в производство, инженерия становится более важной. Полагаться на модели фронтира просто неустойчиво. Это хорошо для демонстраций, но компании сталкиваются с горькой реальностью, когда видят высокую стоимость больших моделей. Впервые меньшие модели стали более жизнеспособным решением. Есть скрытая сила, меняющая статус-кво отрасли. До сих пор NVIDIA (NVDA ) имела монополию на GPU и держала цены высокими. AMD делает свой путь на рынке с высококачественными чипами, и это заставит цены упасть. Энергия продолжает быть проблемой, но мы видим некоторое движение на рынке. Когда лаборатории фронтира стали более дорогими, решение меньших моделей на арендованных GPU стало более жизнеспособным.

Ваше представление предполагает, что область перешла от одноосного масштабирования (параметров) к многомерному масштабированию, включающему параметры, данные, архитектуру и вывод. Как исследователи и практики должны думать об этой новой парадигме масштабирования? 

Для большинства профессионалов архитектура и параметры находятся за пределами их контроля. Производители моделей, имеющие необходимый капитал, будут стимулировать инновации. Длина вывода токена будет определяться капитальными затратами их организации. То, что остается под их контролем, – это данные. Мы увидим больше внимания к созданию, курированию и отладке данных (следов рассуждений большинства времени). Это будет фокусом повседневной деятельности. Конечно, им придется следить за NeurIPS и другими большими конференциями, чтобы оставаться в курсе тенденций новых архитектур.

В вашем синтезе NeurIPS вы указываете, что растущая доля исследований фокусируется на научных открытиях, обусловленных AI, от биологии до моделирования климата. Видите ли вы AI для науки как следующий большой рубеж для исследований по машинному обучению? 

Я думаю, что это выходит за рамки академических исследований. Мы смотрим на следующую золотую лихорадку. В 1849 году золотая лихорадка в Калифорнии достигла своего пика. Все, что людям нужно было делать, – это бесконечно фильтровать воду реки, чтобы найти золото. Мы знаем теперь, что многие не нашли золота, но то, что мы видим сегодня, очень реально. Я могу увидеть большую волну из двух- или трехчленных стартапов, использующих языковые модели для нахождения новых материалов, лекарств и компонентов продуктов. Сжигание токенов в наиболее умном способе может принести большие доходы. Помощники кодирования, такие как Claude Code, OpenAI Codex и Google Antigravity, могут удалить ров с компаний SaaS, оставив целое поколение очень способных компьютерных ученых в научном поиске. Если вы работаете в некоммерческой организации, такой как First Principles или Bio[hub], есть возможности найти новые физические законы и теории или другие вклады в биологию. Если вы хотите генерировать доходы, вы будете работать над изобретением новых продуктов на основе науки, таких как фармацевтика, материалы, батареи и т. д.

Ваша работа также подчеркивает растущий разрыв в верификации, когда модели достигают сильных баллов на бенчмарках, но терпят неудачу на простых вариациях реального мира. Что этот разрыв раскрывает о текущих ограничениях больших языковых моделей? 

Они, кажется, имеют удивительную память и могут обобщать хорошо. Бенчмарки хороши в начале исследований. Как только вы пересекаете порог, вы учитесь бенчмарку, а не проблеме. Мы были очень хорошими на протяжении многих лет, чтобы сбросить бенчмарки и сделать их еще более сложными, чтобы толкнуть пределы. Проблема с бенчмарками заключается в том, что в какой-то момент мы начинаем переиндексировать и в конечном итоге обманывать. Цель здесь – сделать конкурентов более честными. Я лично не обращаю слишком много внимания на бенчмарки после нескольких скачков. Вы можете иметь хороший продукт, который даже не входит в топ-10 лидеров. Я также видел многие неполноценные продукты, которые хороши на бенчмарках.

Ваше представление предполагает, что меньшие языковые модели, объединенные с масштабированием вывода и агентными архитектурами, могут позволить создать мощные системы AI, которые работают вне гипермасштабных центров обработки данных. Может ли эта децентрализация изменить, как AI развертывается в различных отраслях? 

Мы увидели большой акцент на развертывании на краю. Мы обязательно увидим более умные устройства вокруг нас. Microsoft (MSFT ) работала в течение многих лет над 1бит LLM, который достигает примерно 30-кратного сжатия, что позволяет ему работать даже на передовых моделях на одном чипе в будущем. Мы отслеживали эту работу в течение многих лет, и прогресс просто ошеломляющий. Особенно в области носимых устройств.

Что-то, что было покрыто на прошлогоднем NeurIPS, – это идея объединения слабых моделей на краю с передовыми. Это позволяет вам регулировать свою мощность вывода на основе вашей полосы пропускания в непрерывном спектре. Первый семинар Telco на NeurIPS раскрыл тенденцию к размещению GPU на башнях сотовой связи, что интересно, потому что башня сотовой связи не является ни центром обработки данных, ни устройством на краю. Это вводит новый слой в иерархии вычислений.

Еще одна вещь, которая вырвалась из LLM, – это распределенная тренировка моделей (и я не имею в виду тренировку Google Gemini в удаленных центрах обработки данных). Есть очень интересная тенденция, которая набирает обороты на независимых сущностях, тренирующих свои собственные модели, и пользователей, объединяющих их, как Лего, для построения более крупных и мощных. Это очень перспективная модульная архитектура. Это то, как тренируются большие модели. Разные команды строят специализированные модели, и в конце они подключают их, как Лего, к более крупным.

После анализа тысяч статей NeurIPS, где, по вашему мнению, сообщество исследований AI точно предсказывает прогресс, и где оно может пропустить наиболее важные предстоящие сдвиги? 

Сообщество исследований не делает прогнозов. Исследователи имеют свои собственные драйверы, любопытство, финансирование, серендипность и, конечно, интуицию. Они могут всегда пропустить интересные направления, но почти наверняка кто-то найдет их и подхватит их в будущем. Это ожидаемо и здорово. Руководители, инвесторы и инженеры должны выявлять возникающие тенденции, чтобы принимать правильные решения и делать наиболее образованные ставки. В моем 5-летнем окне анализа были тенденции, которые были подобраны рано, и другие сигналы были пропущены. Для некоторых из них все еще есть время, чтобы прокатиться на альфа-волне.

Рынки данных – это то, что я наблюдал в течение многих лет, и они только что сделали скачок в этом году. Отсутствующим компонентом была атрибуция. Мы теперь можем определить данные, которые способствовали LLM, на лету. Это означает, что вы можете платить дивиденды. Это была пропущенная возможность для издателей, которые находятся в судебных исках с передовыми моделями. Некоторые из них должны были просто капитулировать перед соглашениями о плоских лицензиях, хотя я считаю, что они имеют возможность получать более устойчивые доходы от модели атрибуции.

Революция идет в робототехнике. Модели мира, которые NVIDIA и другие объявили, делают очень точное и масштабируемое физическое моделирование. Итак, ожидайте, что AI будет более физическим в будущем.

Архитектура трансформера в конечном итоге объединилась с моделями состояния пространства, такими как RNN, mamba и т. д., и произвела удивительные маленькие LLM. Мы теперь знаем точные ограничения трансформера, которые играют значительную роль в производительности, но мы все еще пропускаем следующий шаг. Это придет, когда трансформер будет доказан как очень живучий и устойчивый. То, что мы не знаем, – это будет ли это человек или трансформер, проектирующий новую архитектуру LLM! Трансформер объединил все фрагментированные архитектуры в NLP (да, не забудьте, что GenAI началась с примитивных задач NLP, таких как классификация сущностей). Это сработало для математики, это сработало для таблиц в этом году, но это не сработало для физики. Я насчитал более 15 разных архитектур. Итак, новая архитектура, которая объединяет физику, также может быть той, которая заменит трансформер в пути к AGI.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить RelationalAI.