Зузанна Стамировска, сооснователь и генеральный директор Pathway – Интервью

Зузанна Стамировска, сооснователь и генеральный директор Pathway, является исследователем, ставшим создателем, который ранее работал над эмерджентными явлениями и эволюцией крупномасштабных сетей. Ее проекты были признаны Национальной академией наук США, и она имеет степень PhD в области сложных систем. Зузанна, вместе с техническим директором Яном Хоровским и коммерческим директором Адрианом Косовским, руководит командой, которая уже построила открытые инструменты ИИ с более чем 62 000 звездами на GitHub.

Pathway переосмысливает, как модели ИИ думают, стремясь создать системы, которые работают непрерывно и адаптивно, а не в пакетах. За кулисами, их инструменты и архитектура позволяют моделям обрабатывать,学习 и эволюционировать в реальном времени. Компания привлекла поддержку таких известных личностей, как Лукаш Кайзер (соавтор трансформеров) и известные венчурные фирмы.

Что мотивировало вас запустить Pathway, и как ваш опыт в области сложных систем, теории игр и эмерджентных явлений повлиял на видение и техническое направление компании?

Мы хотели создать ИИ, который думает и адаптируется как люди. Мы поняли, что это означает создание систем ИИ (моделей глубокого обучения или трубопроводов машинного обучения, построенных из большего количества кирпичей), которые способны学习 непрерывно на основе данных из окружающей среды, улучшаться с опытом и иногда “исправлять” свои предыдущие представления о мире. Мы даже получили некоторое освещение на тему “машины забывания”. Кроме моделей, такие системы нуждались в целом слое инженерии, чтобы захватить данные у источника и сразу же подать их в динамические системы.

Работая над эмерджентностью в сложных сетях, я разработала ряд гипотез, которые мы в конечном итоге применили直接 или почти直接 в BDH. Смешно, что я сделала несколько ставок с моими коллегами (Адрианом, коммерческим директором, и Яном, техническим директором) и выиграла несколько бутылок очень хорошего коньяка. Во-первых, мы считали, что естественный интеллект является результатом эмерджентной структуры и действия нейронов в мозге (это очевидно, нет ставки). Во-вторых, из моих предыдущих исследований я знала, что, в целом, функция формирует сеть (выиграла эту ставку). В прошлых работах я открыла это для торговли, и нейробиологи изучали это для нервов и чувств у мышей и т. д. В-третьих, было то, что эта формирование структуры сети должно следовать некоторым очень локальным правилам, напрямую связанным с так называемым “соседством” каждого местоположения сети (в данном случае узел является нейроном) (выиграла эту ставку). Другие части пришли из моих знаний систем взаимодействия частиц – подумайте, например, о магнетизме – где частицы регулируют свои спины в соответствии с внешним полем и создают некоторого рода “спонтанный порядок”. Это была та математика, которую я использовала, работая над теорией игр на графах. Объединив все это, с первого дня существования компании у нас было сильное убеждение, что разреженность (графоподобные структуры) будет ключевым камнем на пути к развитию ИИ.

Учет понятия времени был критически важен и также довольно характерен для моего прошлого, поскольку эмерджентность обычно происходит во времени.

Когда вы запустили компанию в 2020 году, какие были ваши первоначальные гипотезы о том, что будущие системы ИИ должны делать по-другому, и как эти взгляды эволюционировали?

У нас было сильное убеждение с самого начала, что ИИ должен быть живым, адаптивным и интегрированным в крупномасштабные процессы. Он должен учиться напрямую из источника, с самыми сырыми данными, возможными.

Сначала мы сделали это для более классических подходов к машинному обучению, и по пути построили слои инженерии, которые позволяют таким системам легко развертываться в реальном мире. Теперь мы привели этот подход к глубокому обучению.

Мы знали, что элементы времени и структуры (сетей) будут ключевыми для развития в сторону ИИ. У нас это написано в некоторых наших основополагающих документах с 2020 года.

Можете ли вы рассказать нам о новой архитектуре, которую вы вводите, и как она отличается от текущих систем, основанных на трансформерах?

Наша новая архитектура, называемая Baby Dragon Hatchling (BDH),正式но связывает, как трансформеры обрабатывают информацию с тем, как возникает рассуждение в мозге.
BDH ведет себя как физическая система: мозгоподобная модель вычислений, в которой нейроны совместно работают, чтобы открыть следующий, наиболее актуальный факт. Контекстуальное рассуждение не ограничено инженерными ограничениями, такими как фиксированная длина контекста трансформера, а скорее масштабируется с количеством нейронов модели.

Поместив все это в более технические термины, в отличие от трансформера, в BDH у нас есть линейное внимание, разреженные ключевые запросы и нет ограничений на размер окна контекста.

Этот подход открывает двери к системам, которые учатся во время выполнения, поддерживают длинные цепочки рассуждений и адаптируются непрерывно в контексте.

Ключевая особенность системы – локальность: важные данные расположены прямо рядом с местами, где они обрабатываются. Это минимизирует связь и устраняет наиболее болезненные из всех узких мест для моделей рассуждений во время вывода: пропускную способность памяти-ядра.

Как ваш подход черпает вдохновение из человеческого рассуждения, особенно в обеспечении адаптивности и непрерывного обучения без переобучения?

BDH приближает естественный интеллект и естественный интеллект.

Эта архитектура вдохновлена тем, как работают нейроны и синапсы в мозге. Она сопоставляет биологические механизмы внимания с вычислительным понятием внимания в машинном обучении, создавая масштабируемый мост между трансформерами и мозгом.

BDH приближает внимание к параметрам модели, представляя их как два отражения одной и той же мозгоподобной системы динамики, с вниманием, меняющимся с быстрой скоростью, когда новые факты становятся известны во время рассуждения, и параметрами модели, меняющимися более медленно, когда система меняет свои долгосрочные привычки. Это ближе к тому, как мы считаем, что работает рассуждение в мозге.

Мы рассматриваем BDH как веху на пути к разработке систем ИИ, которые рассуждают в середине задачи, улучшаются с опытом и адаптируются без переобучения – свойства, которые мы ассоциируем с человеческим рассуждением.

Одной из проблем в ИИ является баланс между стабильностью и адаптивностью – как вы обеспечиваете, чтобы системы могли учиться в реальном времени без потери предыдущих знаний?

BDH полагается на свою безмасштабную структуру и локализованные состояния нейронов, чтобы поддерживать рассуждение в течение длительных периодов времени, балансируя стабильность и способность интегрировать новые знания и наблюдения. Этот естественный баланс здоровья легко извлечь и отслеживать на протяжении всей жизни модели.

С BDH мы ставим рассуждение в качестве основы интеллекта. С текущей работой мы делаем прогресс в гипотезе о роли знаний в больших языковых моделях: это не так много о том, что “верно”, а о том, что “полезно” в данном контексте, чтобы продвинуться в данной цепи рассуждений. Например, если знания контекстуализированы, внезапно нет противоречия между нашим миром, следующим законам природы, и тем фактом, что мы знаем народную сказку, которая допускает существование фей и магии. Аналогично, нет противоречия для модели, учитывающей несколько различных гипотез прогнозирования, с более и менее оптимистичными предположениями, в одной цепи мысли.

Модели, основанные на BDH, приобретают новые факты во время своей жизни в контекстуализированной форме. Они могут самоисправляться из-за этого. Предоставляя легко следить за статистикой активности нейронов и гранулярный контроль над передачей знаний из контекста в параметры модели, архитектура помогает сдержать риск “устаревших” контекстов, появляющихся в неподходящий момент.

Каковы инженерные компромиссы при построении живого движка обработки данных, который может поддерживать эти возможности в масштабе?

Предложение Pathway для предприятий опирается на самый быстрый движок обработки данных на рынке. Этот движок обеспечивает нашу способность обрабатывать входные данные в реальном времени и реагировать на новые сведения с низкой задержкой. С текущим прорывом BDH мы гарантируем, что эта адаптивность в реальном времени распространяется как можно дальше на фундаментальные модели ИИ, используемые в развертываниях. Наша основная цель для крупномасштабных развертываний – переход от статической оптимизации к построению инфраструктуры, которая может справиться с рассуждениями на длинном горизонте.

Каковы наиболее убедительные случаи использования, которые действительно требуют этой следующей стадии ИИ, и где текущие системы, основанные на трансформерах, не справляются?

Многие инновации расширили функциональность генеративного ИИ, чтобы быстро адаптироваться к новой информации и сильно полагаться на “время на задаче”, но пока ничего не смогло заменить найм очень талантливого человека.

Очень быстрый и простой ответ заключается в том, что мы говорим о любой задаче, которая в настоящее время требует более 2 часов и 17 минут когерентной работы эксперта-человека. Это текущий предел GPT5 согласно METER.

У нас были отличные обсуждения с партнерами по дизайну в предприятии, которые требуют глубокой персонализации, моделей, которые учатся на работе с редкими данными, и безопасности развертывания.

BDH делает относительно простым для предприятия решить очень сложные процессы, такие как:

• Закрытие квартала для публичной компании
• Динамическая генерация следующих лучших курсов действий в высокорисковых средах очень актуальна как в продажах, так и в обороне.
• Управление инвестициями

НАТО уже использует технологию Pathway для обработки живых военных и социальных данных, что позволяет планировать системы, которые адаптируются по мере развития ситуации. La Poste использует Live AI от Pathway для динамического управления своими операциями в реальном времени. Отрасли, такие как финансы и здравоохранение, где данные редки или чувствительны, могут извлечь выгоду из моделей, которые требуют меньше данных, но обеспечивают более глубокие идеи и более надежные суждения.

Можете ли вы поделиться примерами того, как организации, такие как НАТО, La Poste или Formula 1, применили вашу технологию и какой эффект она оказала?

НАТО, La Poste и команды Formula 1 уже являются ранними пользователями технологии Pathway.

Pathway предлагает НАТО прочную и инновационную технологию обработки данных, чтобы открыть новые возможности для критического использования в масштабе. С нашим функциональным демонстратором, инструментом усиления симуляции (REST), мы разработали основу для дальнейшего развития решений ИИ, поддерживаемых НАТО. Используя Pathway для подключения открытых данных, мы ускорили осведомленность о ситуации и привели ее к необходимому уровню, который НАТО требовал для успешной работы в 2020-х годах.

La Poste использует Pathway для улучшения процессов, связанных с их транспортными единицами. С помощью каркаса Pathway La Poste предвидит свои операции автоматически в реальном времени и генерирует живой качественный анализ своих транспортных операций. С Pathway компания смогла динамически оптимизировать свою логистику, сократив время доставки, время обработки / сроки, и увеличивая надежность. Кроме того, они достигли значительного сокращения операционных затрат (сокращение ТCO на 50% в некоторых случаях).

Команда Formula 1 использует Pathway для адаптации стратегии в условиях высокого давления и реального времени. Компания хотела получить платформу для создания пользовательских функций (UDF) независимо и для удовлетворения различных бизнес-потребностей, от электронных видов спорта / сим-рейсинга до машин и автогонок на формулу. Каркас живых данных Pathway обеспечивает передовые преобразования данных на команде Formula 1 с самой низкой задержкой (в 90 раз быстрее, чем раньше).

Каковы наиболее большие препятствия на пути к развертыванию адаптивных систем в отраслях, таких как здравоохранение или оборона, и как вы их решаете?

По конструкции, текущие модели ИИ генерируют контент, который является “новым”, без реального суждения – назовем это “ген” в генеративном ИИ. Многие высокорегулируемые отрасли нуждаются в управлении по определению и неохотно развертывают бизнес-процессы, управляемые ИИ, без повторяемости, доверия и наблюдаемости. Иронично, что для развертывания ИИ эти предприятия часто “упрощают” функциональность и вводят дополнительную сложность, чтобы обеспечить соблюдение правил.

По конструкции, BDH позволяет предприятию наблюдать и адаптироваться к тому, что происходит внутри модели. Эта наблюдаемость в течение длительных периодов “рассуждений” дает предприятию доверие, чтобы решить более сложные бизнес-процессы. BDH по конструкции является как наблюдаемым, так и осведомленным о бизнес-процессах во времени. Нет необходимости в идеальных, огромных наборах данных для обучения, нет необходимости в очень длинных контекстных окнах или в склеивающей логике для наблюдаемости.

Какие этические соображения или меры безопасности необходимы, когда системы ИИ начинают учиться и адаптироваться в реальном времени?

Системы, которые учатся с опытом, на самом деле имеют лучшие шансы быть безопасными, чем текущие, основанные на трансформерах. Одним из элементов этого является тот факт, что с непрерывным обучением они имеют шанс самоисправиться и обновить свои предубеждения, если они были неправильными.

Чтобы обеспечить безопасность таких систем, им необходимо получать обратную связь во времени. Что означает, что нам нужно продолжать кормить их свежими данными и потенциально обеспечить обратные связи, чтобы они понимали последствия своего функционирования. Это близко к обучению с подкреплением.

Во-вторых, модель, основанная на BDH, предлагает интерпретируемость, которая делает ее более понятной, давая людям лучший контроль над ними.

Что потребуется, чтобы “пост-трансформерная” парадигма стала мейнстримом по всей ИИ-сообществу?

Модель на рынке, которая чрезвычайно полезна и имеет значительно более низкие затраты на вывод, будучи быстрее. Мы считаем, что есть рыночная победа, которую можно достичь, особенно в предприятии.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Pathway.