Pathway отримує нове фінансування у розмірі 500 млн доларів для масштабування пост-трансформерного ІІ

Дослідницька компанія з розвитку штучного інтелекту Pathway отримала додаткове фінансування у розмірі 500 млн доларів, збільшивши загальне фінансування на етапі сіяння до 30 млн доларів, готуючись до масштабування нового покоління моделей, побудованих на основі своєї пост-трансформерної архітектури.

Фінансування включає участь від Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital та WS Investment Co., інвестиційного підрозділу Wilson Sonsini, поряд з головним науковим співробітником Databricks Джонатаном Франкле. Pathway заявила, що більша частина нових коштів буде спрямована на розширення обчислювальних можливостей, включаючи системи NVIDIA GB300.

Інвестиції супроводжуються новими результатами для моделі прийняття рішень BDH-CQ компанії Pathway, надавши фінансуванню більш конкретний технічний фон, ніж просто обіцянка побудови більших фундаментальних моделей. Pathway заявляє, що її модель з 150 млн параметрів набрала 29,5% на публічному оцінюванні ARC-AGI-1 при розрахунковій вартості висновку лише $0,0007 за завдання.

Фінансування надходить, коли Pathway робить ставку проти масштабування за допомогою грубої сили

Більша частина поточного перехідного моделювання зосереджена на масштабі: більших кластерах, більше тренувальних даних, більше параметрів та збільшенні обчислювальних можливостей під час тестування. Pathway обирає інший підхід, стверджуючи, що деякі обмеження галузі щодо витрат і пам’яті є архітектурними, а не проблемами, які можна вирішити шляхом додавання обчислювальних можливостей.

Ця теза знаходиться в центрі її архітектури BDH, або Dragon Hatchling. Pathway описує BDH як пост-трансформерний дизайн, призначений для поєднання прийняття рішень, пам’яті та адаптації всередині самої моделі, а не для сприйняття контекстного вікна чи зовнішніх систем пам’яті.

Архітектура спирається на ідеї, такі як постійний стан, розріджена активність, локальні взаємодії та постійна корекція. Pathway описує дизайн як біологічно обґрунтований, а не спробу безпосередньо відтворити, як працює мозок.

Нове фінансування надає компанії додаткові ресурси для перевірки того, чи ці характеристики продовжують зберігатися, коли моделі BDH стають суттєво більші.

Pathway також призначає Адама Курзрока на посаду головного офіцера з продукції. Курзрок раніше обіймав посаду менеджера групи продукції для Gemini у Google DeepMind і очолить напрямок продукції щодо пакування, оцінки та розгортання моделей на основі BDH.

Компанія також формалізує консультативну групу, до складу якої входять співавтор трансформера Лукаш Кайзер, Франкле, професор Нью-Йоркського університету Мартін Фарач-Колтон та економіст Жак Аттали.

Що відрізняє BDH-CQ

BDH-CQ є розширенням архітектури BDH, розробленої навколо контекстного навчання та рекурентного латентного прийняття рішень.

Натомість модель BDH-CQ виконує ітеративні обчислення всередині безперервного латентного робочого простору. Приклади, надані під час висновку, оновлюють рекурентний стан пам’яті, після чого система обробляє нову проблему внутрішньо, перш ніж розшифрувати свій відповідь. Параметри моделі залишаються фіксованими під час цього процесу.

Це має значення, оскільки токенне прийняття рішень може стати дорогим, коли сліди прийняття рішень подовжуються. У традиційних підходах ланцюга думок проміжні кроки генеруються послідовно, а потім повертаються на пізніші етапи процесу прийняття рішень.

BDH-CQ розроблений для того, щоб тримати більше обчислень всередині свого внутрішнього стану, а не постійно перекладати проміжні обчислення прийняття рішень на мову.

Відмінність не означає, що мовне прийняття рішень застаріло. Pathway перевіряє, чи можна обробляти деякі завдання прийняття рішень ефективніше без вимоги перекладу кожного проміжного обчислювального кроку в текст.

Результати ARC-AGI ставлять ефективність витрат у центр

Найбільш помітний результат, що супроводжує фінансування, надходить від ARC-AGI-1, бенчмарка, розробленого для перевірки того, чи можуть системи штучного інтелекту вивести перетворення з малих прикладів та застосувати ці правила до невидимих входів.

Модель BDH-CQ компанії Pathway з 150 млн параметрів набрала 29,5% на публічному оцінюванні ARC-AGI-1.

Технічна оцінка оцінює, що кожне завдання потребувало приблизно 0,85 секунд часу процесора NVIDIA H200, що відповідає розрахунковій вартості приблизно $0,00070 за завдання, якщо припустити вартість H200 у $3 за годину процесора.

Pathway стверджує, що це перевищує попередньо зареєстрований парето-фронтір витрат проти точності для ARC-AGI-1.

Важливість полягає не в тому, що 150-мільйонна модель тепер має найвищий абсолютний бал ARC. Деякі більші системи прийняття рішень набирають вищі бали. Pathway зосереджується на тому, яку продуктивність прийняття рішень може забезпечити модель за кожен долар витрат на висновок.

Це може стати дедалі важливішим, оскільки підприємства переходять штучний інтелект від рідких взаємодій з чат-ботами до агентів та інших систем, які можуть виконувати велику кількість операцій прийняття рішень безперервно.

Технічні результати також показують, де BDH-CQ бореться

Більш широке оцінювання представляє більш нюансовану картину, ніж заголовний бенчмарк.

На ConceptARC, який розділяє завдання прийняття рішень на різні концептуальні категорії, продуктивність BDH-CQ значно варіювалася. Вона показала особливо хороші результати на кількох завданнях, пов’язаних з розширенням меж та розрізненням заповнених і незаповнених регіонів, тоді як завдання, пов’язані з копіюванням та впорядкуванням, виявилися більш складними.

Контрольовані експерименти дали схожий результат.

Пропагація меж та копіювання залишилися точними, коли ці операції розширювалися в межах тестових діапазонів. Продуктивність погіршувалася значно, коли послідовності впорядкування ставали довшими. Вкладені реляційні завдання також ставали більш складними, коли глибина вкладення збільшувалася.

Дослідники також виявили, що надання демонстрацій, ближчих до складності цільової проблеми, може суттєво покращити продуктивність у деяких випадках, що свідчить про те, що частина обмеження стосується того, наскільки далеко система може екстраполювати з отриманих прикладів.

Ці слабкості мають значення, оскільки ARC-AGI залишається спеціалізованим візуальним бенчмарком прийняття рішень. Сильна ефективність витрат на ARC не демонструє, що сама архітектура може перевершити загальні мовні моделі у виробничих завданнях.

Натомість результати свідчать про вужчу, але потенційно суттєву ідею: розвинені можливості прийняття рішень можуть не завжди потребувати величезної кількості параметрів або довгих послідовностей згенерованих токенів прийняття рішень.

Pathway також будує інфраструктуру для штучного інтелекту в реальному часі

Робота Pathway передує її пошукам пост-трансформерних моделей. Паралельно з BDH компанія розробляє фреймворк обробки даних, призначений для потокових даних, аналітики в реальному часі, застосунків великомасштабних мовних моделей та генерації з підтримкою пошукових систем.

Платформа розроблена для того, щоб допомогти системам штучного інтелекту працювати з інформацією, яка змінюється безперервно, а не покладатися виключно на статичні набори даних або періодично оновлювані індекси.

Ця інфраструктурна робота тісно пов’язана з загальним напрямом дослідження компанії. Її наявна технологія зосереджена на підтриманні синхронізації застосунків штучного інтелекту з змінюваними зовнішніми даними, тоді як BDH досліджує, чи можуть постійна пам’ять та адаптація ставати все більш властивостями самої архітектури моделі.

Це може мати значення для агентів штучного інтелекту та інших довгоживучих систем, які потребують збереження стану під час реакції на нову інформацію протягом тривалого періоду.

Що далі для Pathway

Pathway планує використовувати нові кошти для збільшення обчислювальних можливостей моделей та навчання більш універсальних систем на основі BDH.

Її дорожня карта включає математичне прийняття рішень, ARC-AGI-2 та ARC-AGI-3, а також розробку великомасштабної мовної моделі з латентним прийняттям рішень.

Компанія заявляє, що перші експерименти з попереднім навчанням на масштабах від 1 млрд до 600 млрд параметрів показали поведінку, подібну до трансформера, зберігаючи при цьому характеристики, пов’язані з підходом латентного прийняття рішень BDH.

Це залишається раннім свідченням, а не доказом того, що переваги архітектури збережуться у великомасштабних загальних моделях.

Pathway націлена на галузі, такі як фінансові послуги, охорона здоров’я та технології, де постійна пам’ять, зміна інформації та витрати на висновок можуть стати особливо важливими, коли системи штучного інтелекту переходять до триваліших робочих процесів.

Наразі оцінка у 500 млн доларів представляє суттєву ставку на альтернативу домінантній стратегії масштабування галузі. Більш важливим тестом буде те, як Pathway перемістить BDH за межі відносно обмежених завдань прийняття рішень та продемонструє, чи переваги архітектури збережуться у мові, математиці, агентах та реальних застосуваннях.