Pathway привлекает новые инвестиции при оценке в $500 млн для масштабирования пост-трансформерного ИИ

Компания по исследованию ИИ Pathway привлекла дополнительные инвестиции при оценке в $500 млн, увеличив общий объем финансирования до $30 млн, когда она готовится к масштабированию нового поколения моделей, построенных на основе своей пост-трансформерной архитектуры.

Инвестиции включают участие Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital и WS Investment Co., инвестиционного подразделения Wilson Sonsini, а также главного ученого ИИ Databricks Джонатана Франкла. Pathway заявила, что большая часть новых инвестиций будет направлена на расширение вычислительных мощностей, включая системы NVIDIA GB300.

Инвестиции совпали с новыми результатами модели рассуждения BDH-CQ от Pathway, что дает финансированию более конкретный технический фон, чем просто обещание построить более крупные основные модели. Pathway заявляет, что ее 150-миллионный параметров модель показала результат 29,5% на публичном наборе оценки ARC-AGI-1 при расчетной стоимости вывода в размере примерно $0,0007 за задачу.

Финансирование поступает, когда Pathway делает ставку против брутфорс-масштабирования

Большая часть текущей гонки фронт-моделей сосредоточена на масштабе: более крупные кластеры, больше данных для обучения, больше параметров и увеличение количества вычислительных операций во время тестирования. Pathway выбирает другой подход, утверждая, что некоторые ограничения стоимости и памяти в отрасли являются архитектурными, а не проблемами, которые можно решить, добавляя больше вычислительных мощностей.

Эта тезис находится в центре ее архитектуры BDH, или Dragon Hatchling. Pathway описывает BDH как пост-трансформерный дизайн, предназначенный для объединения рассуждений, памяти и адаптации внутри самой модели, а не для полагания в основном на расширяющееся окно контекста или внешние системы памяти.

Архитектура опирается на идеи, включая постоянное состояние, скудную активность, локальные взаимодействия и непрерывную корректировку. Pathway описывает дизайн как биологически вдохновленный, а не попытку напрямую воспроизвести, как работает мозг.

Новое финансирование дает компании дополнительные ресурсы для проверки того, сохраняются ли эти характеристики, когда модели BDH становятся значительно крупнее.

Pathway также добавляет Адама Курзрока в качестве главного офицера по продукту. Курзрок ранее служил менеджером по продукту группы Gemini в Google DeepMind и будет руководить направлением продукта по упаковке, оценке и развертыванию моделей на основе BDH.

Компания также формализует консультативную группу, в которую входят соавтор Трансформера Лукаш Кайзер, Франкл, профессор Нью-Йоркского университета Мартин Фарач-Колтон и экономист Жак Аттали.

Что делает BDH-CQ другим

BDH-CQ является расширением более широкой архитектуры BDH, разработанной вокруг обучения в контексте и рекуррентного латентного рассуждения.

Вместо того, чтобы требовать от модели выражения большей части своих промежуточных рассуждений как сгенерированного текста, BDH-CQ выполняет итеративные вычисления внутри непрерывного латентного рабочего пространства. Примеры, предоставленные во время вывода, обновляют рекуррентное состояние памяти, после чего система работает над новой проблемой内部, прежде чем расшифровать свой ответ. Параметры модели остаются фиксированными в течение этого процесса.

Это имеет значение, потому что рассуждения на основе токенов могут стать дорогими, когда следы рассуждений удлиняются. В обычных подходах цепочки рассуждений промежуточные шаги генерируются последовательно, а затем подают обратно в более поздние этапы процесса рассуждения.

BDH-CQ предназначен для того, чтобы сохранять больше этих вычислений внутри своего внутреннего состояния, а не непрерывно переводить промежуточные вычислительные шаги в язык.

Различие не означает, что языковые рассуждения изначально устарели. Скорее, Pathway проверяет, могут ли некоторые рабочие нагрузки рассуждений быть обработаны более эффективно без необходимости каждому промежуточному вычислительному шагу быть сериализированным как текст.

Результаты ARC-AGI ставят эффективность затрат в центр

Самый заметный результат, сопровождающий финансирование, исходит от ARC-AGI-1, эталонного теста, предназначенного для проверки того, могут ли системы ИИ выводить преобразования из небольшого количества примеров и применять эти правила к незнакомым входам.

Модель BDH-CQ с 150 миллионами параметров от Pathway показала результат 29,5% на публичном наборе оценки ARC-AGI-1.

Техническая оценка оценивает, что каждая задача требует примерно 0,85 секунд времени GPU H200, что соответствует рассчитанной стоимости примерно $0,00070 за задачу при условии стоимости H200 в $3 за час GPU.

Pathway утверждает, что это ставит BDH-CQ за пределами ранее сообщенной границы Парето стоимости и точности для ARC-AGI-1.

Важность заключается не в том, что 150-миллионный параметров система теперь имеет самый высокий абсолютный балл ARC. Некоторые более крупные системы рассуждений показывают более высокие результаты. Вместо этого Pathway фокусируется на том, сколько производительности рассуждений может обеспечить модель за каждый доллар, потраченный на вывод.

Это может стать все более важным, когда предприятия перемещают ИИ от случайных взаимодействий чат-ботов к агентам и другим системам, которые могут выполнять большое количество операций рассуждения непрерывно.

Технические результаты также показывают, где BDH-CQ испытывает трудности

Более широкая оценка представляет более нюансированную картину, чем заголовочный бенчмарк.

На ConceptARC, который разделяет проблемы рассуждений на разные концептуальные категории, производительность BDH-CQ варьировалась значительно. Она показала особенно хорошие результаты на нескольких задачах, связанных с расширением границ и различением заполненных и незаполненных областей, в то время как области, связанные с копированием и упорядочением, оказались более сложными.

Контролируемые эксперименты дали аналогичный шаблон.

Пропагация границ и копирование оставались точными, когда эти операции были расширены в пределах проверяемых диапазонов. Производительность ухудшалась более значительно, когда последовательности упорядочения становились длиннее. Вложенные реляционные проблемы также становились более сложными, когда требуемая глубина вложения увеличивалась.

Исследователи также обнаружили, что предоставление демонстраций, более близких к сложности целевой проблемы, может существенно улучшить производительность в некоторых случаях, что предполагает, что часть ограничения заключается в том, насколько далеко система может экстраполировать из примеров, которые она получает.

Эти слабости имеют значение, потому что ARC-AGI остается специализированным визуальным бенчмарком рассуждений. Сильная эффективность затрат на ARC не демонстрирует, что та же архитектура может превосходить общие языковые модели в производственных рабочих нагрузках.

Вместо этого результаты предоставляют доказательства более узкой, но потенциально значимой идеи: сложные возможности рассуждений могут не всегда требовать огромных количеств параметров или длинных последовательностей сгенерированных токенов рассуждений.

Pathway также строит инфраструктуру для реального времени ИИ

Работа Pathway предшествует ее толчку в пост-трансформерные модели. Вместе с BDH компания разрабатывает фреймворк обработки данных, предназначенный для потоковых данных, реального времени, приложений крупномасштабных языковых моделей и генерации, дополненной извлечением.

Платформа предназначена для помощи системам ИИ работать с информацией, которая меняется непрерывно, а не полагаться исключительно на статические наборы данных или периодически перестраиваемые индексы.

Этот фон инфраструктуры тесно соответствует более широкому направлению исследований Pathway. Существующая технология компании фокусируется на поддержании синхронизации приложений ИИ с меняющимися внешними данными, в то время как BDH исследует, могут ли постоянная память и адаптация все больше становиться свойствами архитектуры модели.

Это может иметь значение для агентов ИИ и других долгоживущих систем, которые должны сохранять состояние, реагируя на новую информацию в течение длительного времени.

Что дальше для Pathway

Pathway намерена использовать новые инвестиции для увеличения емкости модели и обучения более широких возможностей систем на основе BDH.

Дорожная карта компании включает математические рассуждения, ARC-AGI-2 и ARC-AGI-3, а также разработку крупномасштабной языковой модели, включающей латентное рассуждение.

Компания заявляет, что ранние эксперименты предобучения на масштабах от 1 миллиарда до 600 миллиардов параметров показали поведение, подобное Трансформеру, сохраняя при этом характеристики, связанные с латентным подходом к рассуждениям BDH.

Это остается ранним указанием, а не доказательством того, что преимущества архитектуры сохранятся в крупномасштабных общих моделях.

Pathway в конечном итоге нацеливается на области, такие как финансовые услуги, здравоохранение и технологии, где постоянная память, меняющаяся информация и затраты на вывод могут стать особенно важными, когда системы ИИ переходят к более длительным рабочим процессам.

На данный момент оценка в $500 млн представляет собой значительную ставку на альтернативу доминирующей стратегии масштабирования отрасли. Более важный тест будет проведен, когда Pathway переместит BDH за пределы относительно ограниченных бенчмарков рассуждений и продемонстрирует, сохраняются ли ее архитектурные преимущества в языке, математике, агентах и реальных приложениях.