Зузанна Стаміровська, співзасновниця та генеральний директор Pathway – Серія інтерв’ю

Зузанна Стаміровська, співзасновниця та генеральний директор Pathway, раніше працювала над проектами, пов’язаними з емерджентними явищами та великомасштабною еволюцією мереж. Її проекти були визнані Національною академією наук США, і вона має ступінь доктора філософії з комплексних систем. Зузанна, разом з технічним директором Яном Хоровським і науковим директором Адріаном Косовським, очолює команду, яка вже створила відкриті інструменти штучного інтелекту з більш ніж 62 000 зірками на GitHub.

Pathway переосмислює, як моделі штучного інтелекту думають, спрямовуючись на створення систем, які працюють безперервно та адаптивно, а не в пакетному режимі. За лаштунками її інструментів та архітектури моделі можуть обробляти, навчатися та еволюціонувати в реальному часі. Компанія привернула увагу таких відомих осіб, як Лукаш Кайзер (співавтор трансформерів) та відомі венчурні фірми.

Що мотивувало вас запустити Pathway, і як ваш досвід у сфері комплексних систем, теорії ігор та емерджентних явищ сформував бачення компанії та технічний напрям?

Ми хотіли створити штучний інтелект, який думає та адаптується як люди. Ми зрозуміли, що це означає створення систем, які здатні навчатися безперервно на основі даних з довкілля, покращуючи свої знання з досвідом, іноді “виправляючи” свої попередні погляди на світ. Насправді ми отримали досить велику увагу на тему “відучування машин”. Окрім моделей, такі системи потребували цілого шару інженерії, щоб захопити дані в джерелі та негайно подати їх у динамічні системи.

Працюючи над емерджентністю у складних мережах, я розробила ряд гіпотез, які ми згодом застосували безпосередньо або майже безпосередньо в BDH. Цікаво, що я зробила кілька ставок з моїми колегами (Адріаном, науковим директором, і Яном, технічним директором) і виграла кілька пляшок дуже хорошого коньяку. По-перше, ми вважали, що природний інтелект є результатом емерджентної структури та дії нейронів у мозку (це очевидно, жодної ставки тут немає). По-друге, з моїх попередніх досліджень я знала, що функція формує мережу (виграла цю ставку). У попередніх роботах я відкрила це для торгівлі, а нейробіологи вивчали це для нервів та відчуттів у мишей тощо. По-третє, було те, що ця форма мережевої структури повинна слідувати певним дуже місцевим правилам, безпосередньо пов’язаним з так званим “сусідством” кожного місця мережі (в цьому випадку вузол є нейроном) (виграла цю ставку). Інші частини прийшли з моїх знань про системи взаємодії частинок – подумайте, наприклад, про магнетизм – де частинки регулюють свої спини до зовнішнього поля та створюють певний вид “спонтанного порядку”. Це була така математика, яку я використовувала, працюючи над теорією ігор на графах. Об’єднавши все це, з першого дня існування компанії ми мали сильну переконаність, що розрідженість (графоподібні структури) буде ключовим каменем у розвитку штучного інтелекту.

Врахування часу було критично важливим і досить характерним для моєї освіти, оскільки емерджентність зазвичай відбувається з часом.

Коли ви запустили компанію у 2020 році, які були ваші перші гіпотези про те, що майбутні системи штучного інтелекту повинні робити інакше, і як ці погляди еволюціонували?

У нас була сильна переконаність з самого початку, що штучний інтелект повинен бути живим, адаптивним та інтегрованим у великомасштабні процеси. Він повинен навчатися безпосередньо з джерела, з найсвіжішими можливими даними.

По-перше, ми робили це для більш класичних підходів до машинного навчання, і на цьому шляху будували шари інженерії, які дозволяють таким системам легко розгортатися у реальному світі. Тепер ми привели цей підхід до глибокого навчання.

Ми знали, що елементи часу та структури (мереж) будуть ключовими для розвитку штучного інтелекту до рівня загального інтелекту. У нас це написано в деяких наших засновницьких документах з 2020 року.

Можете розповісти про архітектуру “пост-трансформер” яку ви вводите та як вона відрізняється від поточних трансформер-орієнтованих систем?

Наша нова архітектура, яку називають Baby Dragon Hatchling (BDH), формально пов’язує, як трансформери обробляють інформацію, з тим, як виникає висновок у мозку.
BDH поводиться як фізична система: мозкоподібна модель обчислення, у якій нейрони роблять спільну спробу відкрити наступний, найбільш актуальний факт. Контекстний висновок не обмежується інженерними обмеженнями, такими як фіксована довжина контексту трансформера, а скоріше масштабується з кількістю нейронів моделі.

Поміщуючи все це в більш технічні терміни, на відміну від трансформера, у BDH у нас є лінійна увага, розріджені вектори ключа-запиту та немає обмежень на розмір вікна контексту.

Цей підхід відкриває двері до систем, які вчаться під час виконання, підтримують довгі ланцюги висновків та адаптуються безперервно у контексті.

Ключовою особливістю системи є локальність: важливі дані розташовані просто поруч з місцями, де вони обробляються. Це мінімізує комунікацію та усуває найбільш болючий з усіх瓶шець для моделей висновку під час висновку: пропускну здатність пам’яті-ядра.

Як ваш підхід черпає натхнення з людського висновку, особливо у забезпеченні адаптивності та безперервного навчання без повторної обробки?

BDH наближає штучний інтелект до природного інтелекту.

Ця архітектура черпає натхнення з того, як працюють нейрони та синапси у мозку. Вона створює масштабовану містку між трансформерами та мозком, відображаючи біологічні механізми уваги на обчислювальне поняття уваги у машинному навчанні, створивши масштабовану містку між трансформерами та мозком.

BDH наближає увагу до параметрів моделі, представляючи їх як два віддзеркалення тих самих динамічних процесів мозку, з увагою, яка змінюється з швидкою швидкістю, коли стають відомі нові факти під час висновку, та параметрами моделі, які змінюються повільніше, коли система змінює свої довгострокові звички. Це ближче до того, як ми вважаємо, що висновок працює у мозку.

Ми бачимо BDH як етап на шляху до розробки систем штучного інтелекту, які висновують під час виконання завдання, покращуються з досвідом та адаптуються без повторної обробки – властивості, які ми асоціюємо з людським висновком.

Однією з проблем у сфері штучного інтелекту є балансування стабільності та адаптивності – як ви забезпечуєте, щоб системи могли навчатися в реальному часі без втрати попередніх знань?

BDH спирається на свою безмасштабну структуру та локалізовані стани нейронів, щоб підтримувати висновок на довгих часових горизонтах, балансуючи стабільність та здатність інтегрувати нові знання та спостереження. Цей природний баланс легко витягнути та слідкувати за ним протягом усього життя моделі.

З BDH ми ставимо висновок у центр інтелекту. З поточною роботою ми робимо прогрес щодо гіпотези про роль знань у великих мовних моделях: це не так багато про те, що “правдиве”, а про те, що “корисне” у даному контексті для прогресу у даному ланцюзі висновку. Наприклад, якщо знання контекстуалізовані, то немає протиріччя між тим, що наш світ слідує законам природи, та тим, що ми знаємо народну казку, яка допускає існування фей та магії. Так само немає протиріччя для моделі, яка розглядає кілька різних гіпотез прогнозування з більш чи менш оптимістичними припущеннями в одному ланцюзі думок.

Моделі, засновані на BDH, набувають нових фактів під час свого життя у контекстуалізованому вигляді. Вони можуть самокоригуватися через це. Надавши легкі для слідування статистику активності нейронів та детальний контроль над передачею знань з контексту у параметри моделі, архітектура допомагає знизити ризик “застаріліх” контекстів, які можуть виникнути в невідповідний момент.

Які інженерні компроміси існують при будівництві живої системи обробки даних, яка може підтримувати ці можливості у масштабі?

Корпоративна пропозиція Pathway спирається на найшвидшу систему обробки даних на ринку. Ця система підтримує нашу здатність обробляти реальні входи та реагувати на нову інформацію з низькою затримкою. З поточним проривом BDH ми забезпечуємо, що ця адаптивність у реальному часі поширюється якнайдалше на фундаментальні моделі штучного інтелекту, які використовуються у розгортаннях. Наша головна мета для великомасштабних розгортань – рухатися від статичної оптимізації до будівництва інфраструктури, яка може обробляти довгостроковий висновок.

Які найбільш переконливі випадки використання, які真正 вимагають цього наступного етапу штучного інтелекту, і де поточні трансформер-орієнтовані системи не дотягують?

Багато інновацій розширили функціональність генеративного штучного інтелекту, щоб адаптуватися швидко до нової інформації та глибоко залежати від “часу на завдання”. Однак нічого ще не змогло замінити найм дуже талановитої людини.

Дуже швидка і проста відповідь полягає в тому, що ми говоримо про будь-яке завдання, яке зараз вимагає більше 2 годин і 17 хвилин послідовної роботи експерта-людини. Це поточний ліміт GPT5 згідно з METER.

У нас були великі розмови з партнерами-дизайнерами у корпоративному секторі, які вимагають глибокої персоналізації, моделей, які вчаться на роботі з рідкісними даними, та безпеки розгортання.

BDH робить відносно простим для підприємства впоратися з дуже складними процесами, такими як:

• Закриття кварталу для публічної компанії
• Динамічна генерація наступних найкращих курсів дій у високих ставках середовищах дуже актуальна як у продажах, так і в обороні.
• Управління інвестиціями

НАТО вже використовує технологію Pathway для обробки живих військових та соціальних даних, що дозволяє планувати системи, які адаптуються, коли ситуації змінюються. La Poste використовує живий штучний інтелект Pathway для динамічного управління своїми операціями в реальному часі. Індустрії, такі як фінанси та охорона здоров’я, де дані рідкісні або чутливі, можуть виграти від моделей, які вимагають менше даних, але забезпечують глибші знання та більш надійні судження.

Можете поділитися прикладами того, як організації, такі як НАТО, La Poste чи Formula 1, застосували вашу технологію та який вплив вона мала?

НАТО, La Poste та команди Formula 1 вже є ранніми приймачами технології Pathway.

Pathway пропонує НАТО міцну та інноваційну технологію обробки даних, щоб розблокувати нові можливості для критичного використання у масштабі. З нашим функціональним демонстратором, інструментом підтримки навчання (REST), ми створили основу для подальшого розвитку рішень, підтримуваних штучним інтелектом, для НАТО. Використовуючи Pathway для підключення відкритих даних, ми прискорили освідомлення ситуації та підняли його до необхідного рівня, який НАТО потребував для успішної роботи у 2020-х роках.

La Poste використовує Pathway для поліпшення процесів, пов’язаних з їхніми транспортними одиницями. З допомогою фреймворку Pathway La Poste автоматично передбачає свої операції в реальному часі та генерує живий якісний аналіз своїх транспортних операцій. З Pathway компанія змогла динамічно оптимізувати свою логістику, зменшуючи часи очікування, часи обробки / часи виконання, та підвищуючи надійність. Крім того, вони досягли значних знижок операційних витрат (зниження ТСО на 50% у деяких випадках).

Команда Formula 1 використовує Pathway для адаптації стратегії під високим тиском у реальному часі. Компанія хотіла створити платформу для користувачів, щоб вони могли створювати користувальницькі функції (UDF) самостійно та забезпечувати різні бізнес-потреби – від електронних спортивних симуляцій до автомобільних перегонів. Фреймворк живих даних Pathway дозволяє виконувати складні перетворення даних у команді Formula 1 з найнижчою затримкою (90 разів швидші швидкості обробки, ніж раніше).

Які найбільші перешкоди для розгортання адаптивних систем у галузях, таких як охорона здоров’я чи оборона, і як ви їх подолаєте?

За своєю конструкцією, поточні великі мови моделі генерують контент, який є “новим” без справжньої оцінки – назовімо це “ген” у генеративному штучному інтелекті. Багато високорегульованих галузей потребують керування за定义, і неохоче розгортають бізнес-процеси, підтримувані штучним інтелектом, без повторюваності, довіри та спостережуваності. Іронічно, щоб розгорнути штучний інтелект, ці підприємства часто “упрощують” функціональність та вводять додаткову складність, щоб забезпечити відповідність нормативним вимогам.

За своєю конструкцією BDH дозволяє підприємству спостерігати та адаптуватися до того, що відбувається всередині моделі. Ця спостережуваність на довгих часових інтервалах “висновку” дає підприємству довіру, щоб впоратися з довшими, більш складними бізнес-процесами. BDH за конструкцією є спостережуваним та оснащеним часовою віссю для бізнес-процесів. Не потрібно ідеальних, величезних наборів даних для навчання, немає потреби в дуже довгих вікнах контексту або логіці для спостережуваності.

Які етичні розгляди чи заходи безпеки є життєво важливими, коли системи штучного інтелекту починають навчатися та адаптуватися в реальному часі?

Системи, які вчаться з досвідом, фактично мають кращі шанси бути безпечними, ніж поточні трансформер-орієнтовані. Одним з цих елементів є те, що з безперервним навчанням вони мають можливість самокоригуватися та оновлювати свої попередні уявлення, якщо вони були неправильними.

Щоб забезпечити безпеку таких систем, їм потрібно отримувати зворотній зв’язок у часі. Це означає, що нам потрібно продовжувати годувати їх свіжими даними та потенційно забезпечувати зворотні зв’язки, щоб вони могли зрозуміти наслідки своєї роботи. Це близьке до підкріпленого навчання.

По-друге, модель, заснована на BDH, пропонує інтерпретацію, яка робить її легшою для розуміння, як вона працює, надаючи людям кращий контроль над ними.

Що потрібно, щоб “пост-трансформер” парадигма стала загальноприйнятою у спільноті штучного інтелекту?

Модель на ринку, яка надзвичайно корисна та має значно нижчі витрати на висновок, будучи швидшою. Ми вважаємо, що існує можливість для ринку досягти, особливо у корпоративному секторі.

Дякуємо за велике інтерв’ю, читачам, які хочуть дізнатися більше, слід відвідати Pathway.