Інтерв’ю
Миколаос Васілоглу, Віце-президент досліджень ML у RelationalAI – Серія інтерв’ю
Миколаос Васілоглу є Віце-президентом досліджень ML у RelationalAI. Він провів свою кар’єру, будуючи програмне забезпечення ML та очолюючи проекти з науки про дані в роздрібній торгівлі, онлайн-рекламі та безпеці. Він є членом спільноти ICLR/ICML/NeurIPS/UAI/MLconf/
RelationalAI є підприємством з розробки штучного інтелекту, яке створює платформу для прийняття рішень, призначену для допомоги організаціям перейти від аналізу даних до автоматизованого прийняття високоякісних рішень. Її технологія інтегрується безпосередньо з середовищами даних, такими як Snowflake, поєднуючи реляційні бази даних, графи знань та системи розширення для створення “семантичної моделі” бізнесу – по суті, кодування того, як працює компанія, її відносини та логіка. Це дозволяє системам штучного інтелекту (включаючи агентів рішень, таких як “Rel”) розсуджувати складні, взаємопов’язані дані та генерувати передбачувальні та прескриптивні висновки, дозволяючи підприємствам приймати швидші та більш обґрунтовані рішення без виведення даних з безпечних хмарних середовищ.
У вас була рідкісна кар’єрна траєкторія, що охоплює академічний машинний навчання, великомасштабні промислові розгортання та керівні посади в компаніях, таких як Symantec, Aisera та тепер RelationalAI. Як ці досвіди сформували вашу точку зору на те, де дослідження машинного навчання зустрічаються з реальними системами сьогодні?
Мені пощастило займатися різними бізнес-доменами, від роздрібної торгівлі та безпеки до онлайн-реклами. Це допомогло мені зрозуміти, як машинне навчання та штучний інтелект виступають як спільний знаменник. Ми знали з початку 2000-х років, що програмне забезпечення поглинає світ, дані поглинають інтелект рішень, проте небагато компаній, включаючи Google, вважали, що просунуті алгоритми машинного навчання врешті-решт поглинуть все. У 2008 році учасники NeurIPS вважалися нердами та мрійниками, які не розуміли реального світу, просто люди, які люблять експериментувати з іграшками. Це було правдою до певної точки, проте я вважав, що це знаходиться на траєкторії зміни. На відміну від інших, я не відмовився від активної участі в переході академічних досліджень в промисловість.
Ваш аналіз NeurIPS 2025 використовував кодові помічники, такі як Claude Code, OpenAI Codex та NotebookLM, для обробки всієї конференції. Що вас найбільше здивувало про використання систем штучного інтелекту для аналізу досліджень штучного інтелекту самі по собі?
Це було досить легко побудувати програмне забезпечення для збору даних, машинного читання їх та категоризації їх у розділи та навіть підсумкування та пояснення їх досить інтуїтивним способом. Системи генерації штучного інтелекту чудові у розповіді історії, проте не у розповіді історії. NotebookLM є королевою аналізу будь-якої області та надання неймовірних результатів. Проте у вас немає контролю над історією, графікою чи акцентом. Я дізнався, що інструменти не дуже хороші у створенні слайдів PowerPoint, тому мені довелося вдатися до створення HTML, а потім конвертувати їх у PDF. Найбільшим викликом було створення фігур – генерація дифузії була просто надто повільною, ненадійною та дорогою, без контролю. Дивно, проте моделі досить хороші у створенні SVG програмно за допомогою бібліотек, таких як matplotlib, plotly та інших бібліотек Python. Цей метод масштабувався, проте це вимагало декількох проходів для виправлення помилок візуалізації. Моделі будуть ще кращими наступного року.
Одна з найсильніших тем у вашому аналізі – зміна від масштабування під час навчання до обчислення під час висновку. Чому обчислення під час висновку стає таким потужним засобом для покращення продуктивності моделі?
Закони масштабування є нашим компасом. Збільшення розміру моделі та даних для попереднього навчання досягло своєї межі. Перше покоління законів масштабування привело нас до GPT-4. Вони були тими, хто допоміг OpenAI розпочати революцію генерації штучного інтелекту. Ми скоро зрозуміли, що існує інший вимір, який дозволяє моделі генерувати багато токенів до того, як надійти до відповіді. Це інший спосіб покращення ефективності великих мовних моделей. Розмір моделі та тривалість висновку часто виражаються як режими мислення System 1 та System 2 (Деніел Канеман). Сліди висновку – це інший спосіб збільшення місткості моделі. Якщо ви подумаєте про це, прориви від людей розпочалися з інстинктів (високий IQ), проте успіх завжди був результатом довгих та болісних висновків. Ми бачимо певний шаблон: менші моделі з довгими вікнами висновку перевершують моделі, які в 100 разів більші. Тому висновок важливіший, ніж IQ у великих мовних моделях.
Ви підкреслюєте перехід від монолітних моделей до агентських систем, здатних планувати, діяти та перевіряти свої висновки. Як близькі ми до того, щоб агентський штучний інтелект став надійною парадигмою виробництва, а не дослідницьким прототипом?
Ми робимо великі кроки в цьому напрямку. Найбільші проблеми – це надійність та безпека, щоб ми могли довіряти їм автономію. Якщо ви придивитесь ближче до змісту NeurIPS, ви побачите автономні системи, які проводять дослідження, розв’язують математичні задачі та кодування, проте ви не побачите агентську безпілотну машину, наприклад. Останній досвід з Moltbook (соціальна мережа для агентів штучного інтелекту) підкреслив питання автономного агентського штучного інтелекту. Проте відкриття нових ліків та матеріалів за допомогою агентського штучного інтелекту – це величезна справа, тому давайте відсвяткуємо та індексуємо це наразі.
Ефективність, здається, є великим драйвером інновацій, оскільки менші моделі досягають конкурентоспроможної продуктивності завдяки покращенню архітектури та розумнішим стратегіям висновку. Чи входимо ми в епоху, коли прориви в ефективності мають більше значення, ніж суровий розмір моделі?
Когда штучний інтелект масштабується у виробництво, інженерія стає більш важливою. Покладатися на моделі фронтиру просто неустійне. Це добре для демонстрацій, проте компанії стикаються з гіркою реальністю, коли бачать високу вартість великих моделей. Для першого разу менші моделі стали більш життєздатним рішенням. Є потужна сила, яка змінює статус-кво галузі. До цього часу NVIDIA мала монополію на GPU та утримувала високі ціни. AMD робить свій шлях на ринку з високоякісними чіпами, що змушуватиме ціни падати. Енергія продовжує бути проблемою, проте ми бачимо певний рух на ринку. Коли лабораторії фронтиру стали більш дорогими, рішення менших моделей на орендованих GPU стало більш життєздатним.
Ваша презентація припускає, що галузь перейшла від одновимірного масштабування (параметрів) до багатовимірного масштабування, що включає параметри, дані, архітектуру та висновок. Як дослідники та практики повинні думати про цю нову парадигму масштабування?
Для більшості фахівців архітектура та параметри виходять за межі їхнього контролю. Виробники моделей, які мають необхідний капітал, будуть стимулювати інновації. Довжина висновку токенів буде визначена капіталовкладеннями їхньої організації. Що залишається під їхнім контролем, це дані. Ми побачимо більшу увагу на створенні, кураторстві та налагодженні даних (сліди висновку більшості часу). Це буде фокусом щоденної діяльності. Натурально, їм потрібно буде слідкувати за NeurIPS та іншими великими конференціями, щоб залишатися в курсі тенденцій нових архітектур.
У вашому синтезі NeurIPS ви вказуєте, що зростаюча частина досліджень зосереджена на наукових відкриттях, що діапазонуються від біології до кліматичного моделювання. Чи бачите ви штучний інтелект для науки як наступний великий фронт досліджень машинного навчання?
Я вважаю, що це виходить за межі академічних досліджень. Ми дивимося на наступну золоту лихоманку. У 1849 році золота лихоманка в Каліфорнії досягла свого піку. Все, що люди мали зробити, – це безперервно проціджувати річкову воду, щоб знайти золото. Ми знаємо тепер, що багато людей не знайшли золота, проте те, що ми бачимо сьогодні, дуже реальне. Я бачу велику хвилю двох- чи триосібних стартапів, які використовують мовні моделі для пошуку нових матеріалів, ліків та компонентів продукції. Спалення токенів найрозумнішим способом може принести великі доходи. Кодові помічники, такі як Claude Code, OpenAI Codex та Google Antigravity, можуть видалити ров, щоб компанії SaaS залишили цілу генерацію дуже здатних комп’ютерних вчених у науковому пошуку. Якщо ви працюєте в некомерційній організації, такій як First Principles або Bio[hub], є можливості для відкриття нових фізичних законів та теорій або інших внесків у біології. Якщо ви хочете генерувати доходи, ви будете працювати над винаходом нових продуктів на основі науки, таких як фармацевтика, матеріали, батареї тощо.
Ваша робота також підкреслює зростаючий розрив у верифікації, де моделі досягають сильних оцінок бенчмарків, проте не проходять прості варіації реального світу. Що цей розрив відкриває про поточні обмеження великих мовних моделей?
Вони здаються мати неймовірну пам’ять та можуть узагальнювати добре. Бенчмарки хороші на початку досліджень. Як тільки ви перетинаєте певний поріг, ви вчите бенчмарк, а не проблему. Ми були дуже хорошими за роки, щоб скинути бенчмарки та зробити їх ще складнішими, щоб подолати межі. Проблема з бенчмарками полягає в тому, що в певний момент ми починаємо надмірно індексувати та врешті-решт шахраюємо. Цій тенденції тут полягає в тому, щоб зробити конкурентів більш чесними. Я особисто не приділяю багато уваги бенчмаркам після декількох стрибків. Ви можете мати хороший продукт, який навіть не входить до першої десятки таблиці лідерів. Я також бачив багато продуктів, які не дуже хороші, проте добре проходять бенчмарки.
Ваша презентація припускає, що менші мовні моделі, поєднані з масштабуванням висновку та агентськими архітектурами, можуть дозволити потужні системи штучного інтелекту, які працюють поза центрами даних гіпермасштабу. Чи може ця децентралізація змінити спосіб розгортання штучного інтелекту в галузях?
Ми бачили великий акцент на розгортанні на краю. Ми побачимо розумніші пристрої навколо нас, безумовно. Microsoft працює протягом років над 1-бітовими великими мовними моделями, які досягають близько 30-кратного стиснення, що дозволяє їм працювати навіть на передових моделях на одному чіпі в майбутньому. Ми відстежували цю роботу протягом років, і прогрес просто вражаючий. Особливо у сфері носимих пристроїв.
Щось, що було розглянуто на минулорічній NeurIPS, – це ідея поєднання слабких моделей краю з передовими. Це дозволяє вам регулювати вашу потужність висновку на основі вашої смуги пропускання у безперервному спектрі. Перший телекомунікаційний семінар на NeurIPS показав тенденцію до розміщення GPU на вишках зв’язку, що цікаво, оскільки вишка зв’язку не є ні центром даних, ні пристроєм краю. Це вводить новий шар ієрархії обчислень.
Щось інше, що вирвалося з великих мовних моделей, – це розподілене навчання моделей (і я не маю на увазі навчання Gemini Google в віддалених центрах даних). Є дуже цікава тенденція, яка спіймала незалежні сутності, які навчають свої власні моделі, та користувачі, які поєднують їх, як Лего, щоб будувати більші та потужніші. Це дуже перспективна модульна архітектура. Це те, як навчаються великі моделі. Різні команди будують спеціалізовані моделі, а в кінцевому підсумку вони підключають їх, як Лего-блоки.
Після аналізу тисяч робіт NeurIPS, де, на вашу думку, спільнота досліджень штучного інтелекту точно передбачає прогрес, і де вона може пропустити найважливіші майбутні зміни?
Спільнота досліджень не робить передбачень. Дослідники мають свої власні драйвери, цікавість, фінансування, щасливість та, звичайно, інтуїцію. Вони можуть завжди пропустити цікаві напрямки, проте майже напевно хтось знайде це та підхопить це в якийсь момент у майбутньому. Це очікується та здорово. Виконавці, інвестори та інженери зобов’язані ідентифікувати майбутні тенденції, щоб вони могли приймати правильні рішення та робити найбільш освічені ставки. У моєму 5-річному вікні аналізу були тенденції, які були підхоплені рано, та інші сигнали були пропущені. Для деяких з них ще є час, щоб скористатися альфа-хвилею.
Ринки даних – це те, що я спостерігав протягом років, і вони тільки що зробили стрибок цього року. Відсутній компонент був атрибуцією. Ми тепер можемо ідентифікувати навчальні дані, які внесли свій внесок у змагання великих мовних моделей на льоту. Це означає, що ви можете платити дивіденди. Це була пропущена можливість для видавців, які перебувають у позовах з моделями фронтиру. Деякі з них мали просто капітулювати перед угодами про ліцензування, тоді як я вважаю, що вони мають можливість отримувати більш стійкі доходи від моделі атрибуції.
Є революція, яка наближається у робототехніці. Моделі світу, які оголосили NVIDIA та інші, роблять дуже точне та масштабоване фізичне моделювання. Тому очікуйте, що штучний інтелект буде більш фізичним у майбутньому.
Архітектура трансформера врешті-решт злилася з моделями стану простору, такими як RNN, mamba тощо, і виробила неймовірні маленькі великі мовні моделі. Ми тепер знаємо точні обмеження трансформера, які відіграють велику роль у продуктивності, проте ми все ще пропускаємо наступний крок. Це прийде, коли трансформер буде доведений до того, що він дуже витривалий. Що ми не знаємо, це чи буде це людина чи трансформер проектувати нову архітектуру великої мовної моделі! Трансформер об’єднав усі фрагментовані архітектури в NLP (так, не забудьте, що генерація штучного інтелекту розпочалася з первинних завдань NLP, таких як класифікація сутностей). Воно спрацювало для математики, цього року воно спрацювало для таблиць, проте воно не спрацювало для фізики. Я підрахував понад 15 різних архітектур. Тому нова архітектура, яка об’єднує фізику, також може бути тією, яка замінить трансформер у шляху до штучного інтелекту загального призначення.
Дякую за велике інтерв’ю, читачі, які бажають дізнатися більше, повинні відвідати RelationalAI.
