Роб Мэй, генеральный директор и сооснователь NeuroMetric – Интервью

Роб Мэй, генеральный директор и сооснователь NeuroMetric, – опытный предприниматель и инвестор с долгой историей, охватывающей облачные вычисления, стартапы в области ИИ и венчурный капитал, в настоящее время руководящий Neurometric AI, а также являющийся управляющим директором в HalfCourt Ventures, где он поддержал более 100 технологических компаний. Помимо операционных и инвестиционных ролей, он стал сооснователем сообщества AI Innovators и ранее создал и вышел из компаний, таких как Backupify, что отражает глубокий опыт в нескольких технологических циклах. Он также широко известен своей долгосрочной рассылкой Investing in AI, которую он начал писать более десяти лет назад, чтобы анализировать появляющиеся тенденции ИИ, стратегии инвестирования и сдвиги рынка, и которая с тех пор эволюционировала в платформу для более глубокого понимания быстро меняющегося ландшафта ИИ.

NeuroMetric AI фокусируется на решении одной из наиболее критических проблем в области искусственного интеллекта сегодня: стоимость и эффективность вывода в масштабе. Платформа динамически оценивает рабочие нагрузки ИИ и применяет стратегии оптимизации – такие как объединение меньших, специализированных моделей с передовыми вычислительными техниками во время тестирования – для улучшения производительности, одновременно значительно снижая затраты, что позволяет предприятиям достигать лучшей отдачи от вложений в развертывание ИИ. Организуя рабочие нагрузки и адаптируя использование моделей к конкретным задачам, Neurometric стремится сделать системы ИИ значительно быстрее и более доступными, позиционируя себя на пересечении инфраструктуры ИИ, эффективности и реальной масштабируемости, когда организации переходят от экспериментов к производству.

Вы основали и возглавили несколько компаний в области ИИ, инвестировали в более 100 стартапов через HalfCourt Ventures и ранее создали и вышли из Backupify. Как эти опыт повлияли на ваше понимание того, где создается прочная ценность в ИИ сегодня?

Я думаю, что большинство инвесторов и предпринимателей преследуют краткосрочные барьеры – вещи, которые выглядят как очевидные пробелы на рынке сегодня, но пробелы, которые быстро закроются существующими компаниями. ИИ сделает управление бизнесом похожим на серию вероятностных решений. Компании, в которые стоит инвестировать или создавать, – это те, у которых есть лучшие общие оценки этих вероятностей. Иногда это будет достигнуто за счет вертикальной интеграции, а иногда – за счет горизонтальной масштабируемости – это зависит от рынка.

В вашей рассылке Investing in AI вы утверждали, что модели становятся все более взаимозаменяемыми и что настоящая оборонительная стратегия смещается на уровень систем. Что такое настоящий “системный барьер” на практике?

Настоящий системный барьер имеет три свойства: он нарастает с использованием, он специфичен для клиента и его нельзя воспроизвести, заменив на лучшую модель.

Оборонительная стратегия живет в том, что я называю “Системой контекста” – интегрированной архитектурой, которая соединяет базовые модели с всем, что делает компанию уникальной: ее данными, рабочими процессами, знаниями в области, историей принятия решений. Система захватывает сигнал от каждого взаимодействия – какие модели успешны в каких задачах, где имеет значение задержка, какие предприятия-специфические закономерности возникают – и подает этот сигнал обратно в систему для ее улучшения.

Ключевое понимание заключается в том, что это создает мультипликативный эффект, а не аддитивный. Вы не просто накапливаете поисковый журнал прошлых решений. Вы генерируете обучающий сигнал, который производит специализированные модели, которые улучшают маршрутизацию, что захватывает более ценные данные. Барьер расширяется с каждым выводом.

На практике системный барьер выглядит как глубокая интеграция рабочих процессов, где затраты на переключение не связаны с API – они связаны с переписыванием бизнес-логики. Он выглядит как проприетарный контекст, который ни один конкурент не может воспроизвести, потому что он был сгенерирован через месяцы производственного использования внутри конкретной компании. И он выглядит как непрерывный цикл специализации, где система становится значительно лучше для этого клиента способами, которые общий поставщик моделей никогда не сможет.

Эра моделей дала нам сывую возможность. Эра систем – это где эта возможность становится реальной ценностью.

Как предприятиям следует думать о построении многомодельной стратегии, включая логику маршрутизации, пути эскалации и непрерывную оценку, вместо того, чтобы полагаться на одну передовую модель?

Первое, что предприятиям нужно осознать, – это то, что “просто использовать лучшую модель” – это проигрышная стратегия в масштабе. Это эквивалентно тому, чтобы запускать каждый запрос через вашего самого опытного инженера. Это дорого, это медленно, и – парадоксально – это часто не дает лучших результатов.

Это связано с тем, что я называю “зазубренным фронтом вывода”: производительность модели специфична для задачи и непредсказуема. Передовые модели проигрывают меньшим, специализированным моделям на конкретных задачах все время. Мы видели, как составные многомодельные системы достигают 72,7% точности на задачах CRM, где передовые модели набрали 58%. Поверхность производительности не коррелирует гладко с количеством параметров. Итак, настоящий вопрос не “какая модель лучше?” – это “какая модель лучше для этой конкретной подзадачи?”

Такой переосмысление является основой настоящей многомодельной стратегии. Вот, как я бы посоветовал предприятиям думать об этом в трех слоях.

Логика маршрутизации начинается с картографирования вашего ландшафта вывода. Каталог каждого пункта в вашей системе, где происходит вызов LLM, и для каждого из них документируйте тип задачи, сложность входа/выхода, требования к задержке, порог точности и объем вызовов. Это дает вам тепловую карту. Вы быстро обнаружите, что большинство вашего объема – это высокочастотная, узкоспецифическая работа – классификация, извлечение сущностей, маршрутизация намерений, генерация шаблонов – где тонкая настройка меньшей модели соответствует или превосходит передовую модель при доле затрат.

Пути эскалации связаны с построением интеллектуальных отступлений, а не просто отступлений. Система должна распознавать, когда меньшая модель возвращает результаты с низкой уверенностью, и эскалировать до более способной модели – или к другому сочетанию модели-стратегии совсем. Это то место, где входят стратегии тестового вычисления. Иногда правильный ответ не является более крупной моделью – это та же модель с цепочкой мыслей, поиском лучшего варианта или выбором лучшего из N образцов.

Непрерывная оценка – это часть, которую большинство предприятий полностью упускают из виду, и это то место, где появляется настоящая оборонительная стратегия. Выбор модели не является одноразовым решением – это непрерывная задача оптимизации. Новые модели выпускаются постоянно, ваши случаи использования эволюционируют, а производительность ухудшается способами, которые неудачно завершаются. Вы не узнаете, что ваш сервис поддержки клиентов дал на 40% худший ответ, потому что вы использовали неправильную модель для этого типа запроса – вы просто увидите отток через три месяца. Вам нужна инфраструктура, которая непрерывно измеряет, что действительно работает через комбинации модели-задачи, и корректирует маршрутизацию на основе реальных данных производительности, а не бенчмарков.

Причина, по которой большинство компаний не сделали этот сдвиг, заключается в том, что никто не увольняется за выбор передовой модели – это “никто не увольняется за покупку IBM” в ИИ. Экосистема поставщиков толкает передовые модели, потому что там есть маржи. А инфраструктура оркестровки, необходимая для фактического запуска многомодельной архитектуры – логика маршрутизации, механизмы отступления, управление моделями, наблюдаемость – просто не существует у большинства компаний. Они застряли в локальном оптимуме, где затраты на переключение и неопределенность многомодельной стратегии кажутся выше, чем постоянные излишние расходы на вывод передовой модели.

Какие самые большие ошибки вы видите, когда компании переходят от пилотных проектов ИИ к системам, готовым к производству?

Они предполагают, что их выбор может быть статичным и долгосрочным. На самом деле каждый слой технологического стека для ИИ меняется быстро. Компании должны принимать решения, которые обеспечивают вариантность и гибкость.

В каких типах рабочих процессов вы видели, что меньшие, специфические модели превосходят крупные передовые модели, и почему это важно стратегически?

Мы видели это почти в каждой обычной повседневной задаче – вещах, таких как базовый бухгалтерский учет, суммирование текста, извлечение сущностей из различных документов. Мы исследовали меньшие модели для сотен рабочих задач, и они почти всегда выигрывают, если проблема структурирована правильно.

Вы написали о снижении предельных затрат на развертывание ИИ в новые случаи использования. Как это меняет долгосрочную экономику принятия ИИ для предприятий?

Нарратив пузыря предполагает, что доход от ИИ требует пропорциональных инвестиций в новые модели. Это не так. Модели построены. Инфраструктура существует. Каждый дополнительный случай использования – это запрос, соединение с данными, может быть, некоторая легкая настройка – не еще один запуск обучения за 100 миллионов долларов. Кривая предельных затрат падает, когда платформа созревает.

Это противоположно железным дорогам или телекоммуникациям, где каждый новый километр пути был дорогим. В ИИ построение двигателя было дорогим. Соединение вещей с двигателем дешево, и становится еще дешевле – затраты на вывод уменьшились примерно в 1000 раз за два года. Вопрос для предприятий не в том, оправдывает ли ИИ затраты. Это вопрос о том, сколько случаев использования можно сложить на той же инфраструктуре, прежде чем кривая дохода перегрузит кривую затрат.

Какие сигналы технические команды должны использовать, чтобы определить, когда переключаться на другие модели, тонко настраивать или строить специализированные небольшие модели для задач?

Сигналы не обязательно технические. Они более связаны с производительностью или экономически обусловлены. Например, переключение модели или тонкая настройка модели или построение пользовательской модели могут все работать. Решение зависит от того, оптимизируете ли вы для задержки или затрат, как часто выполняется задача и сколько времени занимает построение и развертывание каждого решения.

Как вы проектируете ограничители, мониторинг и управление, чтобы они действительно масштабировались с использованием, а не становились узким местом?

Ошибка, которую большинство предприятий совершают, заключается в том, что они рассматривают управление как контрольный пункт – ручной слой обзора, прикрепленный к верхней части рабочих процессов ИИ. Это не масштабируется. Это становится узким местом в момент, когда увеличивается использование.

Управление должно быть встроено в слой оркестровки сам по себе. Когда ваша инфраструктура маршрутизации уже оценивает каждый вызов вывода – какая модель, какая задача, какой уровень уверенности – добавление ограничителей является маргинальной стоимостью, а не новой системой. Та же самая инфраструктура, которая решает, какая модель обрабатывает запрос, может обеспечить соблюдение политики: фильтрация PII до вызова, проверка выхода после, аудиторские следы, захваченные автоматически, распределение затрат по отделам.

Ключевое понимание заключается в том, что предприятия не терпят неудач внутри систем ИИ. Они терпят неудачи между ними – в передачах, эскалациях и исключениях. Управление, которое масштабируется, выглядит как контрольный план, который делает каждое действие ИИ безопасным, аудиторным и повторяемым в качестве побочного продукта выполнения, а не препятствия для него.

Вы сравнивали сегодняшний ландшафт ИИ с переходом от мейнфреймов к ПК. Что это децентрализация означает для стартапов, строящих в уровне систем?

Мы сейчас находимся в фазе мейнфреймов ИИ. Крупные, централизованные передовые модели от OpenAI, Anthropic и Google (GOOGL ) были необходимы для концентрации усилий и демонстрации того, что может сделать ИИ. Эта фаза сработала. Возможности хорошо поняты. Но как и вычисления не остались централизованными, ИИ тоже не останется. Мы вступаем в эру ПК – децентрализованную экосистему, где меньшие, специализированные модели запускаются ближе к работе.

Данные о расходах уже отражают это. Инвестиции предприятий в ИИ сейчас практически поровну разделены между инфраструктурой и приложениями, и доля приложений растет быстрее. Расширение происходит по горизонтали – через HR, юридические, маркетинг, операции, финансы – а не вертикально в более крупные модели.

Для стартапов, строящих в уровне систем, это возможность поколения. В централизованном мире поставщик модели захватывает большую часть ценности. В децентрализованном мире ценность мигрирует к компаниям, решающим проблемы оркестровки, маршрутизации, оценки и специализации – операционные проблемы развертывания гетерогенной экосистемы моделей в масштабе.

Мой прогноз заключается в том, что примерно 25% вывода ИИ будут требовать передовых моделей. Эти компании будут в порядке – это пара триллионов долларов в TAM. Но 75% будут работать на открытых и небольших специализированных моделях для задач. Мы обучили модель с 4 миллиардами параметров, которая превзошла передовые модели на конкретной задаче CRM, и она так дешева в эксплуатации, что практически бесплатна. Это будущее – и для этого нужен совершенно новый уровень систем.

Аналогия сохраняется на протяжении всего процесса: производители мейнфреймов были в порядке, но настоящее создание богатства произошло в экосистеме ПК. То же самое будет верно и в ИИ.

Оглядываясь вперед на пять лет, считаете ли вы, что поставщики передовых моделей захватят большую часть ценности, или большинство экономического воздействия придет от оркестровки, оптимизации и примененных систем, построенных вокруг них?

Я думаю, что рынок вывода ИИ будет одним из крупнейших рынков в истории мира. Это означает, что лаборатории передовых моделей будут делать невероятно хорошо, и все равно будут огромные возможности для компаний, строящих вокруг них. Когда у вас есть рынки, оцениваемые в триллионы долларов, решение небольших краевых случаев на этих рынках может превратиться в компании, оцениваемые в миллиарды долларов.

Благодарим за отличное интервью, читатели, которые хотят узнать больше, могут посетить NeuroMetric AI, или они могут подписаться на рассылку Investing in AI.