Роб Мей, CEO і співзасновник NeuroMetric – Серія інтерв’ю

Роб Мей, CEO і співзасновник NeuroMetric, – досвідчений підприємець та інвестор з довгою історією в галузі хмарних обчислень, стартапів штучного інтелекту та风险ового капіталу, який зараз очолює Neurometric AI і одночасно обіймає посаду керуючого директора в HalfCourt Ventures, де він підтримав понад 100 технологічних компаній. Разом з оперативними та інвестиційними ролями він співзаснував спільноту інноваторів штучного інтелекту та раніше створив і продав компанії, такі як Backupify, що свідчить про глибокий досвід у декількох технологічних циклах. Він також широко відомий своєю довгою Інвестиційною новинкою штучного інтелекту, яку він почав писати понад десяти років тому, щоб аналізувати нові тенденції штучного інтелекту, інвестиційні стратегії та зміни на ринку, і яка з тих пір еволюціонувала у платформу для глибших прозрінь у швидко змінюваному ландшафті штучного інтелекту.

NeuroMetric AI зосереджена на вирішенні однієї з найбільш критичних проблем у штучному інтелекті сьогодні: вартість і ефективність висновків у масштабі. Платформа динамічно оцінює навантаження штучного інтелекту та застосовує стратегії оптимізації – такі як поєднання менших, спеціалізованих моделей з передовими техніками обчислення в час тестування – для покращення продуктивності, одночасно суттєво знижуючи витрати, що дозволяє підприємствам досягати кращого повернення інвестицій від розгортання штучного інтелекту. Організовуючи навантаження та адаптуючи використання моделей до конкретних завдань, Neurometric спрямована на те, щоб зробити системи штучного інтелекту значно швидшими та більш доступними, позиціонуючи себе на перетині інфраструктури штучного інтелекту, ефективності та реальної масштабованості, коли організації переходять від експериментів до виробництва.

Ви заснували та очолили кілька компаній штучного інтелекту, інвестували в понад 100 стартапів через HalfCourt Ventures, і раніше створили та продали Backupify. Як ці досвіди сформували вашу перспективу щодо того, де створюється тривала цінність у штучному інтелекті сьогодні?

Я думаю, що більшість інвесторів і підприємців переслідують короткострокові бар’єри – речі, які виглядають як очевидні пробіли на ринку сьогодні, але пробіли, які швидко закриються існуючими компаніями. Штучний інтелект зробить ведення бізнесу схожим на серію ймовірнісних рішень. Компанії, в які варто інвестувати або створювати, – це ті, які мають найкращі загальні оцінки цих ймовірностей. Іноді це буде результатом вертикальної інтеграції, а іноді – горизонтальної масштабованості – все залежить від ринку.

У своїй Інвестиційній новинці штучного інтелекту ви стверджували, що моделі стають все більш взаємозамінними, і що справжня обороноздатність переміщується на рівень систем. Як виглядає справжній “системний бар’єр” на практиці?

Справжній системний бар’єр має три властивості: він зростає з використанням, він специфічний для клієнта, і його не можна відтворити, замінивши краще модель.

Обороноздатність існує в тому, що я називаю “Системою контексту” – інтегрованою архітектурою, яка з’єднує базові моделі з усім, що робить компанію унікальною: її даними, робочими процесами, галузевими знаннями, історією прийняття рішень. Система захоплює сигнал від кожної взаємодії – які моделі успішно виконують завдання, де важлива затримка, які підприємства-специфічні закономірності виникають – і повертає цей сигнал назад для покращення себе.

Ключовий висновок полягає в тому, що це створює мультиплікативний ефект, а не адитивний. Ви не просто накопичуєте пошуковий журнал минулих рішень. Ви генеруєте навчальний сигнал, який створює спеціалізовані моделі, які покращують маршрутизацію, що захоплює більш цінні дані. Бар’єр розширюється з кожним висновком.

На практиці системний бар’єр виглядає як глибока інтеграція робочих процесів, де витрати на перемикання не пов’язані з API – вони пов’язані з переписуванням бізнес-логіки. Він виглядає як власний контекст, який жоден конкурент не може відтворити, оскільки він був згенерований через місяці виробництва всередині конкретної організації. І він виглядає як безперервний спеціалізаційний цикл, де система стає суттєво кращою для цього клієнта способами, яких жоден постачальник загальної моделі ніколи не досягне.

Ера моделей дала нам сурову можливість. Ера систем – це місце, де ця можливість стає реальною цінністю.

Як підприємства повинні думати про будівництво багатомодельної стратегії, включаючи логіку маршрутизації, шляхи ескалації та безперервну оцінку, замість того, щоб покладатися на одну передову модель?

Перше, що підприємства повинні внутрішньо засвоїти, – це те, що “просто використовувати найкращу модель” – це програшна стратегія у масштабі. Це еквівалентно проходженню кожного запиту через вашого найбільш досвідченого інженера. Це дорого, це повільно, і – парадоксально – це часто не дає найкращих результатів.

Це стосується того, що я називаю “Нерівною гранню висновків”: продуктивність моделі залежить від завдання і непередбачувана. Передові моделі програють меншим, спеціалізованим моделям на конкретних завданнях весь час. Ми бачили композитні багатомодельні системи, які досягли 72,7% точності на завданнях CRM, де передові моделі набрали 58%. Поверхня продуктивності не корелює чітко з кількістю параметрів. Тому справжнє питання не “яка модель найкраща?” – а “яка модель найкраща для цього конкретного підзавдання?”

Ця переорієнтація є основою справжньої багатомодельної стратегії. ось, як би я сказав підприємствам подумати про це у трьох шарах.

Логіка маршрутизації починається з мапування вашого ландшафту висновків. Каталогуйте кожну точку в вашій системі, де викликається LLM, і для кожної з них задокументуйте тип завдання, складність вхідних/вихідних даних, вимоги до затримки, поріг точності та обсяг викликів. Це дає вам теплу карту. Ви швидко виявите, що більшість вашого обсягу – це високочастотна, вузька робота – класифікація, видобуток сутностей, маршрутизація намірів, генерація шаблонів – де тонко налаштована менша модель відповідає або перевершує передову модель за частину витрат. Збережіть свої дорогі передові виклики для завдань, які真正 вимагають складного висновку. Агент, який робить 50 викликів на завдання, не потребує GPT-4 для всіх 50.

Шляхи ескалації полягають у будівництві інтелектуальних запасних копій, а не просто копій. Система повинна розпізнавати, коли менша модель повертає результати низької впевненості, і ескаліувати до більш здатної моделі – або до іншої комбінації моделі-стратегії зовсім. Це місце, де вступають стратегії обчислень у час тестування. Іноді правильна відповідь не полягає в кращій моделі – це та сама модель з ланцюговим висновком, пошуковим промінням або вибіркою найкращих з N. Оптимальна конфігурація змінюється не тільки за моделлю, але й за алгоритмом мислення, який ви поєднуєте з нею.

Безперервна оцінка – це частина, яку більшість підприємств повністю пропускають, і це місце, де真正 виникає обороноздатність. Вибір моделі не є одноразовим рішенням – це безперервна задача оптимізації. Нові моделі виходять постійно, ваші випадки використання еволюціонують, а продуктивність погіршується способами, які тихо відмовляються. Ви не будете знаєте, що ваш бот з клієнтською службою дав 40% гіршу відповідь, оскільки ви використали неправильну модель для цього типу запиту – ви просто побачите відмову через три місяці. Вам потрібно інфраструктура, яка безперервно вимірює, що真正 працює через комбінації моделі-завдання, і регулює маршрутизацію на основі реальних даних про продуктивність, а не бенчмарків.

Причина, через яку більшість компаній не зробили цього переходу, полягає в тому, що ніхто не звільняється за вибір передової моделі – це “ніхто не звільняється за покупку IBM” штучного інтелекту. Вендорська екосистема спонукає до передових моделей, оскільки там є маржі. А інфраструктура оркестрації, необхідна для真正 виконання багатомодельної архітектури – логіка маршрутизації, механізми відступу, управління моделями, спостережуваність – просто не існує у більшості компаній. Вони застряли в локальному оптимальному стані, де витрати на перемикання та невизначеність багатомодельної здаються вищими, ніж безперервні надвитрати на висновок передових моделей.

Які найбільші помилки ви бачите у компаній, коли вони переходять від пілотних проектів до систем виробництва?

Вони припускають, що їхні вибори можуть бути статичними та довгостроковими. На практиці кожний шар технологічного стеку для штучного інтелекту змінюється швидко. Компанії повинні приймати рішення, які забезпечують варіативність та гнучкість.

У яких типах робочих процесів ви бачили менші, завдання-специфічні моделі, які перевершують великі передові моделі, і чому це має стратегічне значення?

Ми бачили це майже у кожному звичайному робочому завданні – таких як базовий бухгалтерський облік, підсумовування тексту, видобуток сутностей з різних документів. Ми дослідили менші моделі для сотень робочих завдань, і вони майже завжди перемагають, якщо проблема структурована правильно.

Ви написали про зниження маржі витрат на розгортання штучного інтелекту в нові випадки використання. Як це зміщення змінює довгострокову економіку прийняття штучного інтелекту підприємствами?

Наратив бульбашки припускає, що доходи від штучного інтелекту вимагають пропорційних інвестицій у дослідження та розвиток нових моделей. Це не так. Моделі побудовані. Інфраструктура існує. Кожен додатковий випадок використання – це запрошення, з’єднання даних, можливо, легке тонке налаштування – не ще один 100-мільйонний навчальний запуск. Крива маржі витрат згинається вниз, коли платформа дозріває.

Це є протилежним залізницям або телекомунікаціям, де кожна нова миля треку була дорогою. У штучному інтелекті будівництво двигуна було дорогим. З’єднання речей до двигуна дешеве, і стає ще дешевшим – витрати на висновок зменшилися приблизно в 1000 разів за два роки. Питання для підприємств не полягає в тому, чи окупляється штучний інтелект. Це питання про те, скільки випадків використання можна накласти на ту саму інфраструктуру, перш ніж крива доходів перевершить криву витрат.

Які сигнали повинні використовувати технічні команди, щоб визначити, коли слід перемикатися між моделями, тонко налаштовувати або будувати спеціалізовані маленькі моделі завдань?

Сигнали не обов’язково технічні. Вони більш продуктивні або економічно обумовлені. Наприклад, перемикання моделі або тонке налаштування моделі або будівництво спеціальної маленької моделі завдання можуть працювати. Рішення залежить від того, чи оптимізуєте ви для затримки або витрат, як часто виконується завдання, і скільки часу займає будівництво та розгортання кожного рішення.

Як ви проектуєте захисні засоби, моніторинг та управління у спосіб, який масштабується з використанням, а не стає瓶нем?

Помилка, яку більшість підприємств робить, полягає в тому, що вони вважають управління перевіркою – ручний шар огляду, прикріплений зверху робочих процесів штучного інтелекту. Це не масштабується. Це стає瓶нем миттєво, коли використання збільшується.

Управління повинно бути вбудоване в сам шар оркестрації. Коли ваша інфраструктура маршрутизації вже оцінює кожен висновок – яку модель, яке завдання, який рівень впевненості – додавання захисних засобів є маржинальною вартістю, а не новою системою. Той самий шар, який вирішує, яку модель обробляти запит, може забезпечити політику: фільтрація PII до виклику, перевірка виходу після, аудитні сліди захоплені автоматично, розподіл витрат за департаментом.

Ключовий висновок полягає в тому, що підприємства не провалюються всередині систем штучного інтелекту. Вони провалюються між ними – у передачах, ескалаціях та винятках. Управління, яке масштабується, виглядає як контрольний шар, який робить кожну дію штучного інтелекту безпечною, аудитованою та повторюваною як побічний продукт виконання, а не перешкодою для нього.

Ви порівнювали сучасний ландшафт штучного інтелекту з переходом від мейнфреймів до ПК. Що це децентралізація означає для стартапів, які будують у рівні систем?

Ми зараз перебуваємо у фазі мейнфреймів штучного інтелекту. Великі, централізовані передові моделі від OpenAI, Anthropic та Google (GOOGL ) були необхідні для того, щоб сконцентрувати зусилля та продемонструвати, що може зробити штучний інтелект. Ця фаза спрацювала. Можливості добре зрозумілі. Але як і обчислення не залишилися централізованими, штучний інтелект теж не залишиться. Ми вступаємо в епоху ПК – децентралізовану екосистему, де менші, спеціалізовані моделі працюють ближче до роботи.

Дані про витрати вже відображають це. Інвестиції підприємств у штучний інтелект тепер майже порівну розділені між інфраструктурою та застосуваннями, а частка застосунків зростає швидше. Розширення відбувається боком – через HR, юридичний, маркетинг, операції, фінанси – а не вертикально у більші моделі.

Для стартапів, які будують у рівні систем, це покоління можливостей. У централізованому світі постачальник моделі захоплює більшу частину цінності. У децентралізованому світі цінність міграє до компаній, які розв’язують оркестрацію, маршрутизацію, оцінку та спеціалізацію – операційні виклики розгортання гетерогенної екосистеми моделей у масштабі.

Мій прогноз полягає в тому, що приблизно 25% висновків штучного інтелекту будуть вимагати передових моделей. Ці компанії будуть добре – це пара трильйонів доларів у TAM. Але 75% будуть працювати на відкритих та малих спеціалізованих моделях завдань. Ми тренували модель з 4 мільярдами параметрів, яка перевершила передові моделі на конкретному завданні CRM, і це так дешево, що майже безкоштовно. Це майбутнє – і йому потрібен зовсім новий шар систем для управління ним.

Аналогія тримається весь час: виробники мейнфреймів були добре, але справжнє створення багатства відбулося в екосистемі ПК. Те саме буде і в штучному інтелекті.

Оглядаючи вперед через п’ять років, ви вважаєте, що постачальники передових моделей захоплять більшу частину цінності, чи більшість економічного впливу прийде з оркестрації, оптимізації та застосованих систем, побудованих довкола них?

Я думаю, що ринок висновків штучного інтелекту буде одним з найбільших ринків в історії світу. Це означає, що лабораторії передових моделей будуть робити неймовірно добре, і все одно будуть масові можливості для компаній, які будують довкола них. Коли у вас є ринки трilionів доларів, розв’язання малих країв випадків у цих ринках може перетворитися на компанії вартістю мільярдів доларів.

Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати NeuroMetric AI, або вони повинні підписатися на Інвестиційну новинку штучного інтелекту.