Николаос Василоглу, вице-президент по исследованиям в области машинного обучения в RelationalAI – серия интервью.

Николаос Василоглу является вице-президентом по исследованиям в области машинного обучения в компании RelationalAI. Всю свою карьеру он посвятил разработке программного обеспечения для машинного обучения и руководству проектами в области анализа данных в розничной торговле, онлайн-рекламе и безопасности. Он является членом ICLR/ICML/NeurIPS/UAI/MLconf/Николаос является участником сообщества KGC/IEEE S&P, выступал в качестве автора, рецензента и организатора семинаров и основной конференции. Он возглавляет исследования и стратегические инициативы на стыке больших языковых моделей и графов знаний для реляционного искусственного интеллекта.

Реляционный ИИ Это компания, специализирующаяся на корпоративном искусственном интеллекте и разрабатывающая платформу для принятия решений, призванную помочь организациям перейти от анализа данных к автоматизированному и высококачественному принятию решений. Ее технология напрямую интегрируется с такими средами данных, как Snowflake, объединяя реляционные базы данных, графы знаний и передовые системы логического мышления для создания «семантической модели» бизнеса — по сути, кодирующей то, как компания работает, ее взаимоотношения и логику. Это позволяет системам ИИ (включая агентов принятия решений, таких как «Rel») анализировать сложные, взаимосвязанные данные и генерировать прогнозные и предписывающие выводы, позволяя предприятиям принимать более быстрые и обоснованные решения, не перемещая свои данные за пределы защищенных облачных сред.

Ваш карьерный путь был довольно необычным: вы занимались машинным обучением в академической среде, участвовали в масштабных отраслевых проектах и ​​занимали руководящие должности в таких компаниях, как Symantec, Aisera, а теперь и RelationalAI. Как этот опыт повлиял на ваше понимание того, как исследования в области машинного обучения соотносятся с реальными системами сегодня? 

Мне посчастливилось поработать в различных сферах бизнеса, от розничной торговли и безопасности до онлайн-рекламы. Это помогло мне понять, как машинное обучение и ИИ могут стать общим знаменателем. С начала 2000-х мы знали, что программное обеспечение захватывает мир, данные поглощают интеллектуальные решения, однако немногие компании, включая Google, верили, что передовые алгоритмы машинного обучения в конечном итоге поглотят всё. В 2008 году участников NeurIPS считали занудами и мечтателями, не понимающими реального мира, просто людьми, которые любят возиться с игрушками. Это было правдой до определённой степени, но я верил, что ситуация меняется. В отличие от других, я не отказался от активного участия в переходе академических исследований в промышленность.

Ваш анализ НейрИПС 2025 Для обработки данных всей конференции мы использовали программы-помощники для программирования, такие как Claude Code, OpenAI Codex и NotebookLM. Что вас больше всего удивило в использовании систем искусственного интеллекта для анализа самих исследований в области ИИ? 

Удивительно легко было создать программное обеспечение для сбора данных, их машинного считывания, классификации по разделам и даже обобщения и объяснения в особенно интуитивно понятной форме. Системы GenAI потрясающе умеют рассказывать истории, но не рассказывают их полностью. NotebookLM — королева анализа любой области, обеспечивающая невероятные результаты. Однако вы не можете контролировать историю, графику или акцент. Я обнаружил, что инструменты не очень хорошо подходят для создания слайдов PowerPoint, поэтому мне пришлось прибегнуть к созданию HTML-файлов и их последующему преобразованию в PDF. Самой большой проблемой было создание графиков — генерация диффузии оказалась слишком медленной, ненадежной и дорогой, к тому же без контроля. Удивительно, но модели довольно хорошо создают SVG-изображения программным способом с помощью matplotlib, plotly и других библиотек Python. Этот метод масштабируем, но потребовалось несколько проходов для исправления ошибок визуализации. К следующему году модели станут еще лучше.

Одна из наиболее важных тем вашего анализа — это переход от масштабирования времени обучения к вычислениям во время вывода. Почему вычисления во время тестирования становятся таким мощным инструментом для повышения производительности модели? 

Законы масштабирования — наш компас. Увеличение размера модели и объема данных для предварительного обучения достигло своего предела. Первое поколение законов масштабирования привело нас к GPT-4. Именно они помогли OpenAI начать революцию GenAI. Вскоре мы поняли, что существует еще одно измерение, позволяющее модели генерировать множество токенов, прежде чем прийти к ответу. Это еще один способ повысить эффективность моделей с большим объемом данных. Размер модели и длина рассуждений часто выражаются как режимы мышления Системы 1 и Системы 2 (Даниэль Канеман). Траектории рассуждений — еще один способ увеличения возможностей модели. Если задуматься, прорывы в человеческой практике начинались с инстинктов (высокий IQ), но успех всегда был обусловлен долгим и мучительным процессом рассуждений. Мы видим такую ​​закономерность: меньшие модели с длинными окнами рассуждений превосходят модели, которые в 100 раз больше. Таким образом, мышление важнее IQ в моделях с большим объемом данных.

Вы подчеркиваете переход от монолитных моделей к агентным системам, способным планировать, действовать и проверять свои результаты. Насколько мы близки к тому, чтобы агентный ИИ стал надежной парадигмой производства, а не просто исследовательским прототипом? 

Мы делаем значительные шаги в этом направлении. Самые важные проблемы — это надежность и безопасность, чтобы мы могли доверять им как автономным системам. Если вы внимательно посмотрите на материалы NeurIPS, вы увидите автономные системы, которые проводят исследования, решают математические задачи и задачи программирования, но вы не увидите, например, беспилотный автомобиль, управляемый агентом. Последний опыт с Молтбук (Социальная сеть для агентов ИИ) выявила проблемы автономного агентного ИИ. Однако открытие новых лекарств и материалов с помощью агентного ИИ — это огромный шаг вперед, поэтому давайте пока отметим это событие и сосредоточимся на нем.

По всей видимости, эффективность является основным двигателем инноваций: модели меньшего размера достигают конкурентоспособных результатов за счет архитектурных улучшений и более эффективных стратегий вывода. Вступаем ли мы в эпоху, когда прорывы в области эффективности будут иметь большее значение, чем сам размер модели? 

По мере масштабирования ИИ до уровня производства, инженерные решения приобретают все большее значение. Опора на передовые модели просто нежизнеспособна. Это отлично подходит для демонстраций, но компании сталкиваются с горькой реальностью, когда видят высокую стоимость больших моделей. Впервые более компактные модели стали гораздо более жизнеспособным решением. Происходит некая тихая сила, меняющая статус-кво в отрасли. До сих пор NVIDIA обладала монополией на графические процессоры и поддерживала высокие цены. AMD пробивается на рынок с высококачественными чипами, и это приведет к снижению цен. Энергопотребление по-прежнему остается проблемой, но мы видим определенные изменения на рынке. Поскольку разработка передовых лабораторий стала дороже, решение с использованием более компактных моделей на арендованных графических процессорах становится более жизнеспособным.

В вашей презентации предполагается, что в данной области произошел переход от одноосевого масштабирования (параметров) к многомерному масштабированию, включающему параметры, данные, архитектуру и выводы. Как исследователям и практикам следует относиться к этой новой парадигме масштабирования? 

Для большинства профессионалов архитектура и параметры находятся вне их контроля. Инновации будут стимулировать производители моделей, обладающие необходимым капиталом. Длительность вывода токенов будет определяться капитальными затратами их организации. Под их контролем остаются данные. Мы увидим больше внимания к созданию, обработке и отладке данных (в основном, трассировок логического вывода). Это станет основным направлением повседневной работы. Конечно, им нужно будет следить за NeurIPS и другими крупными конференциями, чтобы быть в курсе тенденций новых архитектур.

В своем обзоре NeurIPS вы отмечаете, что все большая доля исследований сосредоточена на научных открытиях, совершаемых с помощью ИИ, от биологии до моделирования климата. Считаете ли вы ИИ для науки следующим важным рубежом в исследованиях в области машинного обучения? 

Я думаю, это выходит за рамки академических исследований. Мы наблюдаем следующую золотую лихорадку. В 1849 году золотая лихорадка в Калифорнии достигла своего пика. Все, что нужно было делать людям, — это бесконечно процеживать речную воду в поисках золота. Сейчас мы знаем, что многие не нашли золота, но то, что мы видим сегодня, — это очень реально. Я вижу большую волну стартапов из двух-трех человек, использующих языковые модели для поиска новых материалов, лекарств и компонентов продуктов. Разумное сжигание токенов может принести большую прибыль. Программные помощники, такие как Claude Code, OpenAI Codex и Google Antigravity, могут устранить барьер для SaaS-компаний, оставив целое поколение очень способных компьютерных специалистов в научных поисках. Если вы работаете в некоммерческой организации, такой как First Principles или Bio[hub], у вас есть возможности находить новые законы и теории физики или вносить другие вклады в биологию. Если вы хотите получать доход, вы будете работать над изобретением новых продуктов, основанных на науке, таких как фармацевтические препараты, материалы, батареи и т. д.

Ваша работа также указывает на растущий разрыв в проверке, когда модели показывают высокие результаты в контрольных тестах, но терпят неудачу в простых реальных ситуациях. Что этот разрыв говорит о существующих ограничениях больших языковых моделей? 

У них, похоже, потрясающая память, и они хорошо обобщают. Бенчмарки хороши на начальном этапе исследований. Как только вы преодолеваете определенный порог, вы изучаете бенчмарк, а не проблему. На протяжении многих лет мы очень хорошо сбрасывали бенчмарки и делали их еще сложнее, чтобы расширять границы возможного. Проблема с бенчмарками в том, что в какой-то момент мы начинаем завышать показатели и в конечном итоге жульничать. Вся тенденция здесь заключается в том, чтобы сделать конкурентов более честными. Лично я не обращаю особого внимания на бенчмарки после нескольких скачков. У вас может быть хороший продукт, который даже не входит в десятку лучших в рейтинге. Я также видел много посредственных продуктов, которые хорошо показывают себя в бенчмарках.

В презентации предполагается, что небольшие языковые модели в сочетании с масштабируемостью вывода и агентными архитектурами могут позволить создать мощные системы искусственного интеллекта, работающие за пределами гипермасштабных центров обработки данных. Может ли эта децентрализация изменить подход к развертыванию ИИ в различных отраслях? 

Мы видим большой акцент на развертывании на периферии сети. Несомненно, нас будут окружать более интеллектуальные устройства. Microsoft годами работает над 1-битным LLM, который обеспечивает примерно 30-кратное сжатие, что позволит в будущем запускать даже передовые модели на одном чипе. Мы следим за этой работой уже много лет, и прогресс впечатляет. Особенно в области носимых устройств.

На прошлогодней конференции NeurIPS обсуждалась идея объединения слабых моделей периферийных вычислений с моделями передовых вычислений. Это позволяет регулировать мощность вывода в зависимости от полосы пропускания в непрерывном спектре. Первый семинар для телекоммуникационных компаний на NeurIPS выявил тенденцию к размещению графических процессоров на вышках сотовой связи, что интересно, поскольку вышка сотовой связи не является ни центром обработки данных, ни периферийным устройством. Это вводит новый уровень в иерархию вычислительных ресурсов.

Ещё одна тенденция, которая ускользнула от внимания LLM, — это распределённое обучение моделей (и я не имею в виду обучение Gemini компанией Google в удалённых центрах обработки данных). Наблюдается очень интересная тенденция, когда независимые организации обучают свои собственные модели, а пользователи объединяют их, как конструктор Lego, для создания более крупных и мощных моделей. Это очень перспективная модульная архитектура. Именно так обучаются большие модели. Разные команды создают специализированные модели, и в конечном итоге они соединяют их вместе, как блоки Lego.

Проанализировав тысячи статей с конференции NeurIPS, как вы считаете, в каких областях сообщество исследователей в области ИИ точно прогнозирует прогресс, а в каких оно может упускать из виду наиболее важные грядущие изменения? 

Научное сообщество не делает прогнозов. У исследователей есть свои мотивы: любопытство, финансирование, случайность и, конечно же, интуиция. Они всегда могут упустить интересные направления, но почти наверняка кто-то найдет их и подхватит в какой-то момент в будущем. Это ожидаемо и полезно. Руководители, инвесторы и инженеры должны выявлять зарождающиеся тенденции, чтобы принимать правильные решения и делать наиболее обоснованные ставки. В течение моего пятилетнего аналитического периода некоторые тенденции были обнаружены на ранней стадии, а другие сигналы были упущены. Для некоторых из них еще есть время, чтобы воспользоваться альфа-ритмом.

Я наблюдаю за рынками данных уже много лет, и в этом году они совершили настоящий прорыв. Недостающим компонентом стала атрибуция. Теперь мы можем мгновенно определять, какие обучающие данные использовались в конкурсе LLM. Это означает, что можно выплачивать дивиденды. Это упущенная возможность для издателей, против которых поданы коллективные иски из-за их передовых моделей. Некоторым из них пришлось просто смириться с фиксированными лицензионными соглашениями, в то время как, я считаю, у них есть возможность получать более стабильный доход от модели атрибуции.

В робототехнике назревает революция. Представленные NVIDIA и другими компаниями модели мира обеспечивают очень точное и масштабируемое моделирование физических процессов. Поэтому следует ожидать, что в будущем искусственный интеллект будет всё больше ориентироваться на физические процессы.

Архитектура трансформера в конечном итоге объединилась с моделями пространства состояний, такими как RNN, Mamba и т. д., и создала удивительные небольшие LLM. Теперь мы знаем точные ограничения трансформера, которые играют важную роль в производительности, но нам все еще не хватает следующего шага. Он наступит, когда трансформер докажет свою надежность и устойчивость. Чего мы не знаем, так это того, кто будет разрабатывать новую архитектуру LLM — человек или трансформер! Трансформер объединил все разрозненные архитектуры в NLP (да, не забывайте, что GenAI начинал с элементарных задач NLP, таких как классификация сущностей). Он работал для математики, в этом году он работал для таблиц, но не работал для физики. Я насчитал более 15 различных архитектур. Таким образом, новая архитектура, которая объединит физику, может также заменить трансформер на пути к AGI.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Реляционный ИИ.