Роб Мей, CEO та співзасновник NeuroMetric – Інтерв’ю серії

Роб Мей, генеральний директор та співзасновник NeuroMetric, — досвідчений підприємець та інвестор із довгою історією роботи в сферах хмарних обчислень, стартапів у галузі ШІ та венчурного капіталу. Наразі він очолює Neurometric AI, а також обіймає посаду керуючого директора в HalfCourt Ventures, де проінвестував понад 100 технологічних компаній. Поряд з операційною та інвестиційною діяльністю він співзаснував спільноту AI Innovators Community, а раніше створював та продавав такі компанії, як Backupify, що свідчить про глибокий досвід у кількох технологічних циклах. Він також широко відомий своєю довготривалою розсилкою Investing in AI, яку він почав вести понад десятиліття тому для аналізу нових тенденцій у ШІ, інвестиційних стратегій та ринкових змін, і яка з тих пір перетворилася на платформу для глибшого розуміння стрімко розвивається ландшафту ШІ.

NeuroMetric AI зосереджена на вирішенні однієї з найважливіших проблем сучасного штучного інтелекту: вартості та ефективності інференсу в масштабі. Платформа динамічно оцінює робочі навантаження ШІ та застосовує стратегії оптимізації — такі як поєднання менших, спеціалізованих моделей з передовими техніками обчислень під час тестування — для покращення продуктивності при різкому зниженні витрат, що дозволяє підприємствам досягати кращої ROI від впровадження ШІ. Оркеструючи навантаження та адаптуючи використання моделей під конкретні завдання, Neurometric прагне зробити системи ШІ значно швидшими та доступнішими, позиціонуючи себе на перетині інфраструктури ШІ, ефективності та масштабованості в реальному світі, коли організації переходять від експериментів до промислового використання.

Ви заснували та очолили кілька компаній у сфері ШІ, проінвестували понад 100 стартапів через HalfCourt Ventures, а раніше створили та продали Backupify. Як цей досвід сформував вашу точку зору на те, де сьогодні створюється стійка цінність у ШІ?

Я вважаю, що більшість інвесторів та підприємців переслідують короткострокові конкурентні переваги — речі, які сьогодні виглядають як очевидні прогалини на ринку, але прогалини, які швидко закриються існуючими компаніями. ШІ збирається перетворити ведення бізнесу на серію ймовірнісних рішень. Компанії, в які варто інвестувати або які варто будувати, — це ті, що мають найкращі загальні оцінки цих ймовірностей. Іноді це походитиме від вертикальної інтеграції, а іноді від горизонтального масштабу — це залежить від ринку.

У вашій розсилці Investing in AI ви стверджували, що моделі стають все більш взаємозамінними, а справжня захищеність переміщується на системний рівень. Як на практиці виглядає справжня «системна конкурентна перевага»?

Справжня системна конкурентна перевага має три властивості: вона посилюється з використанням, вона специфічна для клієнта, і її не можна відтворити, просто замінивши модель на кращу.

Захищеність полягає в тому, що я називаю «Системою Контексту» — інтегрована архітектура, яка пов’язує базові моделі з усім, що робить компанію унікальною: її даними, робочими процесами, галузевими знаннями, історією прийняття рішень. Система захоплює сигнал з кожної взаємодії — які моделі успішні для яких завдань, де важлива затримка, які виникають специфічні для підприємства шаблони — і використовує це для самовдосконалення.

Ключове розуміння полягає в тому, що це створює мультиплікативний маховик, а не адитивний. Ви не просто накопичуєте журнал минулих рішень для пошуку. Ви генеруєте навчальний сигнал, який створює спеціалізовані моделі, що покращують маршрутизацію, яка, у свою чергу, захоплює більш цінні дані. Конкурентна перевага розширюється з кожним інференсом.

На практиці системна конкурентна перевага виглядає як глибока інтеграція в робочий процес, де витрати на перехід стосуються не API — вони стосуються переписування бізнес-логіки. Вона виглядає як власний контекст, який жоден конкурент не може відтворити, оскільки він був згенерований протягом місяців промислового використання всередині конкретного підприємства. І вона виглядає як цикл безперервної спеціалізації, де система стає значно кращою для цього клієнта способами, які постачальник універсальних моделей ніколи не зможе запропонувати.

Ера моделей дала нам сирову потужність. Системна ера — це коли ця потужність перетворюється на реальну цінність.

Як підприємствам слід думати про побудову багатомодельної стратегії, включаючи логіку маршрутизації, шляхи ескалації та безперервну оцінку, замість того щоб покладатися на єдину передову модель?

Перше, що підприємствам потрібно усвідомити, це те, що стратегія «просто використовуй найкращу модель» є програшною в масштабі. Це еквівалент пропускання кожного запиту через вашого найстаршого інженера. Це дорого, повільно і — парадоксально — часто не дає найкращих результатів.

Це стосується того, що я називаю Нерівним Фронтиром Інференсу: продуктивність моделі залежить від конкретного завдання та непередбачувана. Передові моделі постійно програють меншим, спеціалізованим моделям у конкретних завданнях. Ми бачили, як складні багатомодельні системи досягали 72,7% точності в завданнях CRM, де передові моделі набирали 58%. Поверхня продуктивності не корелює акуратно з кількістю параметрів. Тож справжнє питання не «яка модель найкраща?» — а «яка модель найкраща для цього конкретного підзавдання?».

Ця переформулювання є основою справжньої багатомодельної стратегії. Ось як я порадив би підприємствам думати про це на трьох рівнях.

Логіка маршрутизації починається з картографування вашого ландшафту інференсу. Каталогізуйте кожну точку у вашій системі, де відбувається виклик LLM, і для кожної документуйте тип завдання, складність введення/виведення, вимоги до затримки, поріг точності та обсяг викликів. Це дає вам теплову карту. Ви швидко виявите, що більша частина вашого обсягу — це високочастотна робота з вузькою сферою застосування — класифікація, вилучення сутностей, маршрутизація намірів, генерація шаблонів — де донавчена менша модель відповідає або перевершує передову модель за частку вартості. Залиште свої дорогі передові виклики для завдань, які дійсно вимагають складних міркувань. Агент, який робить 50 викликів на завдання, не потребує GPT-4 для всіх 50.

Шляхи ескалації стосуються побудови інтелектуальних резервних варіантів, а не просто перемикання при збої. Система повинна розпізнавати, коли менша модель повертає результати з низькою впевненістю, та ескалювати до більш потужної моделі — або до зовсім іншої комбінації моделі та стратегії. Ось де стають в пригоді стратегії обчислень під час тестування. Іноді правильна відповідь — не більша модель, а та сама модель з ланцюжком міркувань, променевим пошуком або вибіркою best-of-N. Оптимальна конфігурація змінюється не лише залежно від моделі, але й від алгоритму мислення, який ви з нею поєднуєте.

Безперервна оцінка — це частина, яку більшість підприємств повністю упускає, і саме тут виникає справжня захищеність. Вибір моделі — це не одноразове рішення, це проблема безперервної оптимізації. Нові моделі постійно випускаються, ваші сценарії використання розвиваються, а продуктивність погіршується способами, які не виявляються. Ви не дізнаєтеся, що ваш чат-бот служби підтримки дав на 40% гіршу відповідь, тому що ви використали неправильну модель для цього типу запиту — ви просто побачите відтік клієнтів через три місяці. Вам потрібна інфраструктура, яка безперервно вимірює, що насправді працює в комбінаціях модель-завдання, та коригує маршрутизацію на основі реальних даних про продуктивність, а не бенчмарків.

Причина, чому більшість компаній не здійснили цей перехід, полягає в тому, що нікого не звільнять за вибір передової моделі — це «нікого не звільнять за покупку IBM» у світі ШІ. Екосистема постачальників просуває передові моделі, тому що саме там маржа. А інфраструктура оркестрації, необхідна для фактичного запуску багатомодельної архітектури — логіка маршрутизації, механізми резервування, управління моделями, спостережність — просто не існує в більшості компаній. Вони застрягли в локальному оптимумі, де витрати на перехід та невизначеність багатомодельного підходу здаються вищими, ніж постійні перевитрати на передовий інференс.

Які найбільші помилки ви бачите, коли компанії переходять від пілотних проектів ШІ до промислових систем?

Вони припускають, що їх вибір може бути статичним і довготривалим. Насправді кожен рівень технологічного стеку для ШІ змінюється дуже швидко. Компаніям потрібно приймати рішення, які забезпечують варіативність та гнучкість.

У яких типах робочих процесів ви бачили, як менші, спеціалізовані на завданнях моделі перевершують великі передові моделі, і чому це має стратегічне значення?

Ми бачили це майже в кожному звичайному щоденному робочому завданні — таких речах, як базовий бухгалтерський облік, підсумовування тексту, вилучення сутностей з різних документів. Ми досліджували SLM для сотень робочих завдань, і вони майже завжди виграють, якщо проблема структурована правильно.

Ви писали про зниження граничних витрат на впровадження ШІ у нові сценарії використання. Як це змінює довгострокову економіку впровадження ШІ для підприємств?

Наратив про бульбашку припускає, що доходи від ШІ вимагають пропорційних інвестицій у НДДР для нових моделей. Це не так. Моделі побудовані. Інфраструктура існує. Кожен додатковий сценарій використання — це промпт, підключення даних, можливо, легке донавчання — а не ще один тренувальний запуск за 100 мільйонів доларів. Крива граничних витрат знижується в міру дозрівання платформи.

Це протилежність залізниць або телекомунікацій, де кожна нова миля колії була дорогою. У ШІ побудова двигуна була дорогою. Підключення речей до двигуна дешеве і стає дешевшим — витрати на інференс знизилися приблизно в 1000 разів за два роки. Питання для підприємств не