Інтерв’ю

Рахул Намбіар, співзасновник і генеральний директор Propensity Labs — інтерв’ю

Antoine Tardif
Додайте Unite.AI до бажаних джерел у Google
Rahul Nambiar smiling in a green shirt against an outdoor urban background.
Ключові моментиАдаптація підказок до дешевшої моделі дозволила їй зрівнятися з преміальною моделлю за…
Показати більше
  • Адаптація підказок до дешевшої моделі дозволила їй зрівнятися з преміальною моделлю за 7% вартості.
  • Дешевші моделі часто зазнають невдачі через виправні поведінкові шаблони, а не через недостатню базову здатність.
  • Командам слід вимірювати вартість на одну успішно виконану задачу, а не лише вартість за токен.

Рахул Намбіар — співзасновник і генеральний директор Propensity Labs. Раніше він створював масштабну інфраструктуру в AWS, а потім перейшов до Meta, де керував роботою над інвентаризацією користувацьких даних екзабайтного масштабу із застосуванням класифікації на основі машинного навчання. Тепер його робота зосереджена на вивченні поведінки моделей штучного інтелекту та поєднанні маршрутизації між моделями з адаптацією інструкцій, щоб підвищити економічність і надійність агентних робочих процесів.

Propensity Labs розробляє системи, які допомагають командам обирати моделі штучного інтелекту та спрямовувати їх на виконання конкретних робочих завдань. Їхній підхід поєднує оцінювання поведінки моделей, автоматизовану адаптацію промптів і маршрутизацію між моделями, щоб користувачі могли отримати більше від доступних моделей, не стаючи експертами з кожної з них.

Ваша кар’єра привела вас із Meta, де ви керували розробкою технологій захисту приватності в межах проєкту з інвентаризації даних екзабайтного масштабу, до AWS, а тепер — на посаду генерального директора Propensity Labs. Як цей технічний досвід сформував ваш погляд на обмеження сучасних моделей штучного інтелекту та потенціал спеціалізованої маршрутизації інструкцій?

Насправді я починав в AWS, а потім перейшов до Meta. Створюючи масштабні системи, я зрозумів, що часто можна досягти значного прогресу, якщо розуміти й оптимізувати поведінку базових компонентів, а не вважати їх взаємозамінними «чорними скриньками». Те саме стосується моделей штучного інтелекту. Ми з’ясували, що навіть дуже потужні моделі мають особливості поведінки, які можна зрозуміти й обійти, часто отримавши несподівано значне підвищення продуктивності та зниження витрат.

У нещодавньому експерименті ви показали, що маршрутизовані моделі меншого розміру перевершили преміальні моделі, коштуючи лише частину їхньої ціни. Які основні інженерні труднощі виникають під час упровадження такої маршрутизації моделей у виробничих середовищах порівняно з тестуванням на бенчмарку?

Адаптувавши промпти до Luna та її слабких місць, ми змогли досягти від неї результатів на рівні Sol, витративши лише 7% від його вартості на складному агентному бенчмарку Tau3 від Sierra. Маршрутизація між Luna з адаптацією та Sol дала змогу зрівнятися з результатами Astra, витративши 16% від її вартості.

Одним із важливих висновків для нас стало те, що і маршрутизацію, і адаптацію промптів потрібно дуже точно налаштовувати під конкретне робоче навантаження. Бенчмарки мають чітко визначені середовища й системи оцінювання, які дають змогу дослідити, як модель виконує те чи інше завдання, і оцінити її результат. Це допомагає зрозуміти, як адаптувати промпти до моделі та коли спрямовувати завдання до тієї чи іншої моделі.

Виробничі робочі процеси не мають такого чіткого формату. У вас є журнали виконання завдань моделями, але немає надійного способу визначити, чи справді вони впоралися і яким має бути належний результат. Ми навчилися брати наявні дані про використання — результати оцінювань або журнали виробничих процесів — і відтворювати за ними середовище оцінювання, у якому можна тестувати різні моделі й варіанти адаптації на тому самому робочому навантаженні.

Цікаво, що маршрутизацію й адаптацію потрібно розглядати разом. Дешевша модель може не впоратися із завданням із вашими наявними промптами, але виконати його після адаптації промптів до особливостей її поведінки. Це змінює вибір моделі, до якої варто спрямовувати завдання від самого початку.

Ви згадали про адаптацію інструкцій до конкретних моделей. Як ви визначаєте, які інструкції є універсальними, а які потрібно спеціально налаштовувати відповідно до сильних і слабких сторін архітектури конкретної моделі?

Багато інструкцій, які здаються універсальними, потрібно адаптувати до конкретної моделі. Ось простий приклад — галюцинації у відповідях в межах одного ходу. Ми дослідили дві різні моделі — DeepSeek V4 Pro і GPT-6 Luna. Обидві дуже схильні вигадувати відповіді, коли не знають правильної. Якісь особливості їхнього навчання змушують їх неохоче утримуватися від відповіді й казати: «Я не знаю». Поведінка в них подібна, але способи зменшити її за допомогою промптів суттєво різняться.

DeepSeek V4 Pro можна навчити утримуватися від відповіді так само часто, як моделі Claude, якщо додати багато варіантів фрази «Нічого страшного, якщо ви скажете, що не знаєте». На Luna такий прийом майже не впливає. Найкраще Luna реагує на штраф за неправильну відповідь. Наприклад, фраза на кшталт «За неправильну відповідь нараховується -90 балів, а за правильну — лише +10» спонукає її утримуватися від відповіді так само часто, як її більший «родич» Sol. Поведінка однакова, але важелі впливу, які допомагають відучити від неї ці дві моделі, дуже різні. Щоб адаптувати інструкції до конкретної моделі, потрібно глибоко розуміти і саму модель, і робочий процес, у якому її застосовують.

У міру того як компанії переходять до агентних робочих процесів, які докази свідчать на вашу думку про те, що маршрутизація між дешевшими спеціалізованими моделями — стійкіша стратегія, ніж очікування на одну дедалі потужнішу передову модель, яка зможе виконувати всі завдання?

Нова передова модель з’являється приблизно щотижня. Припустімо, зараз ви обираєте для всього робочого процесу найбільшу й найкращу модель. За кілька місяців або навіть тижнів, імовірно, з’являться менші моделі, здатні виконувати значну частину або й усі завдання вашого робочого процесу. Водночас, імовірно, з’являться й більші або спеціалізованіші моделі, які краще працюватимуть у вашому робочому процесі. Якщо не переходити на інші моделі й не маршрутизувати завдання між ними, ви втрачаєте можливості підвищити продуктивність і знизити витрати.

Стежити за всім цим непросто, та й людям не доводиться ставати експертами з усіх різних моделей. Ми вважаємо, що можемо допомогти: подбати про те, щоб для ваших завдань завжди була найкраща модель за найнижчою ціною за бажаного рівня продуктивності. Іноді достатньо вибрати найпотужнішу доступну модель для окремих частин робочого процесу, а іноді — адаптувати більшу його частину так, щоб із нею могли впоратися значно дешевші моделі.

Як ви забезпечуєте узгодженість даних і конфіденційність, керуючи системою, яка розподіляє завдання між кількома моделями, особливо коли ці завдання стосуються чутливої інформації?

Ми працюємо як проміжний рівень між користувачами та постачальниками моделей. Користувачі самі вибирають постачальників, послугами яких хочуть користуватися, і надають власні API-ключі. Ми вибираємо серед моделей цих постачальників найкращу для всього робочого процесу користувача або його частини, адаптуємо робочий процес і спрямовуємо його до відповідних моделей. Ми використовуємо лише ті результати оцінювання або трасування, якими клієнт погоджується поділитися, і не навчаємо моделі на його даних та не зберігаємо їх.

Ви разом із Mana Azarm заснували Propensity Labs. Як ви розподіляєте увагу між дослідницькою складовою, пов’язаною з поведінкою моделей, і практичною інженерією систем для створення агентних конвеєрів?

Наші навички добре доповнюють одна одну. Mana, наша головна науковиця й професорка, більше зосереджується на поведінці моделей, а я — на інженерії систем. Точніше, саме так ми хотіли б розподіляти роботу. Насправді все складніше, і зрештою кожен із нас береться за те, що саме в цей момент найбільше гальмує роботу.

Що можуть зробити технічні директори (CTO), які зараз витрачають значні кошти на преміальні виклики до API моделей, щоб без зайвих зусиль випробувати маршрутизацію між моделями й адаптацію інструкцій у наявних робочих процесах?

Приходьте поговорити з нами! А якщо серйозно, я б просто спробував запустити найновішу модель меншого розміру на конкретному робочому процесі й подивився, із чим вона впорається. Гадаю, багато хто досі покладається на більші моделі попередніх поколінь і через стрімке вдосконалення моделей ще не зрозумів, що нещодавно з’явилися менші й дешевші альтернативи, здатні впоратися з їхніми завданнями.

Які найпоширеніші хибні уявлення мають розробники про можливості дешевших моделей за умови належного обмеження чи спрямування?

Найпоширеніше хибне уявлення — що якщо дешевша модель не справляється, то їй просто бракує можливостей. На мою думку, корисно докладно проаналізувати, як саме й на яких етапах дешевша модель помиляється у ваших робочих процесах. Частина помилок виникає через шаблони поведінки, до яких модель схильна вдаватися; якщо їх виявити й відвести модель від них, вона, можливо, зможе успішно виконати завдання у вашому робочому процесі. Інша частина помилок пов’язана із завданнями, для правильного виконання яких дешевшій моделі просто бракує базових можливостей, тож тут потрібна потужніша модель.

Ваша робота охоплює перетин питань конфіденційності, масштабування й вартості. Який найбільший розрив між потребами бізнесу та можливостями наявних інструментів ви бачите в розвитку інфраструктури штучного інтелекту протягом наступних 12–18 місяців?

Спілкуючись із фахівцями, які впроваджують моделі у виробниче середовище, я часто помічаю страх пропустити щось важливе (FOMO) і, певною мірою, втому від необхідності стежити за новими моделями та зростанням їхніх можливостей. Більшість технологій із часом стає простішою у використанні та впровадженні. А робота з великими мовними моделями, навпаки, ускладнилася: на вибір є безліч моделей і налаштувань (температура, рівень зусиль під час міркування, кешування). Гадаю, командам, які працюють із моделями, дуже важливо спростити й абстрагувати ці налаштування, щоб вони могли зосередитися на тому, чого хочуть досягти за допомогою моделей, а не на тому, як саме цього досягти.

На яких показниках технічній команді варто зосередитися, починаючи експериментувати з маршрутизацією між кількома моделями, щоб не гнатися лише за економією коштів на шкоду надійності?

Я б почав із частки успішно виконаних завдань, частоти помилок, затримки та вартості одного успішно виконаного завдання. Сама по собі вартість токена не надто інформативна, якщо дешевша модель частіше помиляється. Тому потрібно враховувати повну вартість виконання завдання — зокрема повторні спроби, а також роботу будь-яких класифікаторів чи моделей ухвалення рішень, які використовуються для маршрутизації.

Найскладніше — виміряти надійність. Ми часто бачимо, як команди, яким складно перенести своїх агентів з однієї моделі на іншу, на кілька місяців цілковито зосереджуються на оцінюванні, а потім виявляють, що перемикати моделі стало значно простіше. Я наполегливо раджу якомога раніше інвестувати в якісне оцінювання робочих процесів і регулярно його оновлювати, адже змінюються і самі процеси, і способи, у які ними користуються ваші користувачі.

Дякую за чудове інтерв’ю. Читачам, які хочуть дізнатися більше про маршрутизацію між моделями, адаптацію інструкцій і методи оцінювання, що допомагають зробити робочі процеси зі штучним інтелектом надійнішими й економічно ефективнішими, варто відвідати Propensity Labs.

Антуан — далекоглядний лідер і партнер-засновник Unite.AI, якого надихає незмінна пристрасть до формування та просування майбутнього штучного інтелекту й робототехніки. Як підприємець, що заснував кілька компаній, він вірить, що ШІ змінить суспільство так само докорінно, як електрика, і часто із захопленням говорить про потенціал проривних технологій та загального штучного інтелекту (AGI).

Як футуролог, він присвячує себе дослідженню того, як ці інновації формуватимуть наш світ. Він також є засновником Securities.io — платформи, зосередженої на інвестиціях у передові технології, що переосмислюють майбутнє та змінюють цілі галузі.