Интервью

Рахул Намбиар, сооснователь и генеральный директор Propensity Labs — серия интервью

Antoine Tardif
Добавьте Unite.AI в избранные источники в Google
Rahul Nambiar smiling in a green shirt against an outdoor urban background.
Ключевые моментыАдаптация промптов к более дешёвой модели позволила ей сравняться с премиальной моделью…
Показать больше
  • Адаптация промптов к более дешёвой модели позволила ей сравняться с премиальной моделью при 7% затрат.
  • Более дешёвые модели часто терпят неудачу из-за исправимых поведенческих шаблонов, а не из-за недостаточных базовых возможностей.
  • Командам следует измерять стоимость одной успешно выполненной задачи, а не только стоимость за токен.

Рахул Намбиар — сооснователь и генеральный директор Propensity Labs. До перехода в Meta он занимался созданием крупномасштабной инфраструктуры в AWS, где руководил работой над инвентаризацией пользовательских данных эксабайтного масштаба с применением классификации на основе машинного обучения. Сейчас его работа сосредоточена на изучении поведения моделей ИИ и сочетании маршрутизации моделей с адаптацией инструкций, чтобы повысить экономичность и надежность агентных рабочих процессов.

Propensity Labs разрабатывает системы, которые помогают командам выбирать модели ИИ и направлять их на выполнение конкретных задач. Компания сочетает оценку поведения моделей, автоматическую адаптацию промптов и маршрутизацию между моделями, стремясь помочь пользователям эффективнее использовать доступные модели без необходимости становиться экспертом в каждой из них.

Ваша карьера привела вас из Meta, где вы руководили разработкой технологий защиты конфиденциальности в рамках проекта по инвентаризации данных эксабайтного масштаба, в AWS, а теперь — на должность генерального директора Propensity Labs. Как этот технический опыт повлиял на ваше представление об ограничениях современных моделей ИИ и потенциале специализированной маршрутизации инструкций?

На самом деле я начал работать в AWS, а затем перешел в Meta. Работая над крупномасштабными системами, я понял, что часто можно добиться существенного роста эффективности, если разобраться в поведении базовых компонентов и оптимизировать его, а не считать их взаимозаменяемыми черными ящиками. То же относится и к моделям ИИ. Мы обнаружили, что даже у очень мощных моделей есть особенности поведения, которые можно понять и учесть; нередко это дает неожиданно значительный прирост производительности и снижение затрат.

В недавнем эксперименте вы показали, что маршрутизируемые модели меньшего размера превзошли премиальные модели при значительно меньших затратах. Какие основные инженерные трудности возникают при внедрении такой маршрутизации моделей в производственной среде по сравнению с тестированием на бенчмарке?

Адаптировав промпты к Luna и ее слабым сторонам, мы добились от нее результатов на уровне Sol, потратив 7% от его стоимости, в сложном агентном бенчмарке Tau3 от Sierra. Маршрутизация между Luna с адаптацией и Sol позволила нам достичь уровня Astra, потратив 16% от ее стоимости.

Мы поняли, что и маршрутизация, и адаптация промптов должны быть тесно привязаны к конкретной задаче. Бенчмарки предлагают четко организованные среды и средства оценки, с помощью которых можно изучить, как модель справляется с той или иной задачей, и оценить качество ее работы. Это помогает понять, как адаптировать промпты под модель и в каких случаях направлять задачу той или иной модели.

В производственных рабочих процессах все устроено не так четко. У вас есть записи о выполнении задач моделями, но нет надежного способа определить, действительно ли они справились и каким должен быть хороший результат. Мы научились брать имеющиеся данные об использовании — результаты оценок или записи из производственной среды — и на их основе воссоздавать условия оценки, позволяющие тестировать разные модели и варианты адаптации на одних и тех же задачах.

Важно, что маршрутизацию и адаптацию нужно рассматривать вместе. Более дешевая модель может не справиться с задачей при использовании имеющихся промптов, но успешно выполнить ее после адаптации промптов с учетом особенностей ее поведения. Это меняет сам выбор модели, которой следует поручить задачу.

Вы упоминаете адаптацию инструкций под конкретные модели. Как вы определяете, какие инструкции универсальны, а какие необходимо специально адаптировать с учетом сильных и слабых сторон конкретной архитектуры модели?

Многие инструкции, которые кажутся универсальными, нужно адаптировать под конкретную модель. Вот простой пример — галлюцинации в ответах на запросы, требующие одного хода. Мы изучили две модели: DeepSeek V4 Pro и GPT-6 Luna. Обе склонны выдумывать ответы, если не знают правильного. Из-за особенностей обучения они очень неохотно воздерживаются от ответа и говорят: «Я не знаю». Это сходство в поведении, но способы справиться с ним с помощью промптов сильно различаются.

DeepSeek V4 Pro можно побудить воздерживаться от ответа так же часто, как модели Claude, если добавить множество вариантов фразы «Ничего страшного, если вы скажете: „Я не знаю“». На Luna этот прием почти не действует. Лучше всего Luna реагирует, если назначить штраф за ошибку. Например, фраза «За неверный ответ вы получаете −90 баллов, а за верный — только +10» побуждает ее воздерживаться от ответа так же часто, как ее старшего собрата Sol. Поведение у моделей одинаковое, но способы побудить их отказаться от него совершенно разные. Чтобы адаптировать инструкции под конкретную модель, нужно глубоко понимать и саму модель, и рабочий процесс, в котором она используется.

По мере того как компании переходят к агентным рабочим процессам, какие данные свидетельствуют о том, что маршрутизация между более дешевыми специализированными моделями — более долгосрочная стратегия, чем ожидание единственной все более мощной передовой модели, которая сможет справляться со всем?

Новая передовая модель появляется примерно раз в неделю. Допустим, сейчас вы выбираете для всего рабочего процесса самую большую и мощную модель. Через пару месяцев, а возможно, и недель, скорее всего, появятся более компактные модели, которые смогут выполнять значительную часть ваших задач, а то и все. В то же время могут появиться и более крупные или специализированные модели, которые будут лучше справляться именно с вашим рабочим процессом. Не переключаясь между моделями и не маршрутизируя задачи, вы упускаете возможности повысить производительность и сократить затраты.

Но следить за всеми этими изменениями непросто, и людям не должно приходиться становиться экспертами во всех существующих моделях. Мы считаем, что можем помочь: обеспечить вам модель, которая лучше всего подходит для вашей задачи и обеспечивает нужный уровень производительности при минимальных затратах. Иногда для отдельных частей задачи достаточно выбрать самую мощную из доступных моделей, а в других случаях можно адаптировать большую часть задачи так, чтобы с ней справлялись гораздо более дешёвые модели.

Как вы обеспечиваете согласованность и конфиденциальность данных при работе системы, которая распределяет задачи между несколькими моделями, особенно если эти задачи затрагивают конфиденциальную информацию?

Мы выступаем посредником между пользователями и поставщиками моделей. Пользователи сами выбирают поставщиков и указывают собственные ключи API. Мы подбираем у этих поставщиков оптимальную модель для всей задачи или её части, адаптируем задачу и передаём её подходящим моделям. Мы используем только те результаты оценивания или трассировки, которыми клиент решил поделиться, и не обучаем модели на его данных и не храним их.

Вы вместе с Mana Azarm основали Propensity Labs. Как вы распределяете обязанности между исследовательской работой над поведением моделей и практической инженерией систем, необходимой для создания таких агентных конвейеров?

Наши навыки хорошо дополняют друг друга. Mana, наш главный научный сотрудник и одновременно профессор, в основном занимается поведением моделей, а я сосредоточен на системной инженерии. Вернее, именно так мы хотели бы распределить работу. На деле всё сложнее, и в итоге каждый из нас берётся за то, что в данный момент сильнее всего тормозит работу.

Что могут в первую очередь попробовать технические директора, которые сейчас тратят много средств на API-вызовы премиальных моделей, чтобы протестировать маршрутизацию моделей и адаптацию инструкций в существующих рабочих процессах?

Приходите поговорить с нами! А если серьёзно, я бы просто попробовал запустить на конкретной задаче небольшую модель последнего поколения и посмотреть, с чем она справится. Думаю, многие по-прежнему используют крупные модели предыдущих поколений и из-за стремительного совершенствования моделей ещё не поняли, что недавно появились более компактные и дешёвые альтернативы, способные справляться с их задачами.

В чём чаще всего ошибаются разработчики, оценивая возможности более дешёвых моделей при условии, что их работу правильно ограничивают или направляют?

Самое распространённое заблуждение — считать, что если более дешёвая модель не справилась, значит, ей просто не хватает возможностей. Я считаю полезным подробно разбирать, как именно и на каких этапах такая модель ошибается в ваших рабочих процессах. Часть ошибок связана с типичными шаблонами поведения модели: если распознать их и помочь модели от них отойти, она, возможно, сможет успешно выполнить задачу. Другие ошибки возникают в задачах, для которых более дешёвой модели попросту не хватает базовых возможностей; здесь уже нужна более мощная модель.

Ваша работа связана с вопросами конфиденциальности, масштабирования и затрат. Если говорить о развитии инфраструктуры ИИ в ближайшие 12–18 месяцев, в чём, по-вашему, будет самый заметный разрыв между потребностями компаний и возможностями нынешней экосистемы инструментов?

Общаясь со специалистами, которые внедряют модели в производственные процессы, я часто замечаю у них страх упустить что-то важное (FOMO) и, в какой-то степени, усталость от необходимости следить за новыми моделями и ростом их возможностей. Большинство технологий со временем становится проще использовать и внедрять. С большими языковыми моделями всё наоборот: выбирать приходится из множества моделей и настроек — температуры, интенсивности рассуждений, кэширования. Я думаю, командам, работающим с моделями, очень полезно упростить их использование и скрыть от них лишние технические подробности, чтобы они могли сосредоточиться на том, чего хотят добиться с помощью моделей, а не на том, как этого добиться.

На какие показатели техническим командам стоит обращать внимание в первую очередь, начиная экспериментировать с маршрутизацией между несколькими моделями, чтобы не гнаться за экономией в ущерб надёжности?

Я бы начал с доли успешно выполненных задач, частоты ошибок, задержки и стоимости каждой успешно выполненной задачи. Сама по себе стоимость токена мало о чём говорит, если более дешёвая модель чаще ошибается. Поэтому нужно учитывать полную стоимость задачи, включая повторные попытки и вызовы любых классификаторов или моделей принятия решений, которые используются для маршрутизации.

Сложнее всего измерить надёжность. Мы часто видели, как командам было трудно переносить агентов с одной модели на другую: они несколько месяцев целиком посвящали оцениванию, а затем обнаруживали, что переключать модели стало гораздо проще. Я настоятельно рекомендую как можно раньше создать надёжную систему оценивания для ваших рабочих процессов и регулярно обновлять её по мере изменения процессов и способов их использования клиентами.

Спасибо за интересное интервью! Читателям, которые хотят подробнее узнать о маршрутизации моделей, адаптации инструкций и методах оценивания, помогающих сделать рабочие процессы с ИИ надёжнее и экономичнее, рекомендуем посетить Propensity Labs.

Антуан — дальновидный лидер и партнёр-основатель Unite.AI, движимый неизменной страстью к формированию и продвижению будущего ИИ и робототехники. Как предприниматель, основавший несколько компаний, он верит, что ИИ изменит общество столь же радикально, как электричество, и часто с воодушевлением говорит о потенциале прорывных технологий и общего искусственного интеллекта (AGI).

Как футуролог, он стремится исследовать, как эти инновации будут формировать наш мир. Кроме того, он основатель Securities.io — платформы, посвящённой инвестициям в передовые технологии, которые переопределяют будущее и преобразуют целые отрасли.