Лідери думок

Як агенти штучного інтелекту перетворюють великомасштабні системи рекомендацій та штучний інтелект

mm
Додайте Unite.AI до бажаних джерел у Google

Великомасштабні системи рекомендацій стають все складніше вдосконалювати, оскільки вони вже не функціонують як ізольовані моделі. Сучасні рекомендаційні системи часто включають сотні пов’язаних моделей, потоків даних, шарів ранжування, систем моніторингу та бізнес-правил. Кожна компонента може оптимізувати різні сигнали, однак вся система очікується покращувати загальні бізнес-результати, такі як доходи, покупки, участь або задоволеність кінцевими користувачами.

Наступна фаза прогресу полягає в штучному інтелекті (ШІ) агентах, які можуть поглинати більше контексту системи, зменшувати тертя розробки та поступово приймати більш широкі обов’язки. Цей зсув не полягає лише в автоматизації. Це про системи рекомендацій, які можуть моніторити, діагностувати, ремонтувати та покращувати себе з меншим постійним людським втручанням.

Великомасштабні системи рекомендацій повільно еволюціонують

Цикл розробки є основною瓶шею у великомасштабних рекомендаціях. Одне зміни може пройти через багато шарів, перш ніж воно дасть помітний результат. Одна модель може впливати на генерацію кандидатів, інша може впливати на ранжування, а інша може оптимізувати участь, конверсію або монетизацію. Ці моделі часто належать до різних команд з незалежними циклами розгортання, створюючи приховані залежності, які роблять координацію складною.

Ця складність також робить налагодження складнішим. Коли продуктивність знижується, коренева причина може не бути всередині моделі, яка показує регрес. Зміна вище за течією може впливати на ранжування нижче за течією, або зміна поведінки користувача може змінити розподіл даних, які живлять кілька моделей одночасно. Остання технічна робота відображає зростаючий інтерес до систем, які можуть мислити у ширшому технічному контексті та підтримувати більш автономні цикли покращення, посилюючи випадок для ШІ-агентів у цьому просторі.

ШІ-агенти пропонують шлях до швидшої ітерації

ШІ-агенти можуть зменшити тягар розуміння великих, взаємопов’язаних систем, які сповільнюють інженерні команди. Новому інженерові може знадобитися місяці, щоб зрозуміти великий стек рекомендацій. За умови правильної документації, телеметрії, експериментів, кодових шляхів та журналів ШІ-система може обробляти широкий контекст системи набагато швидше.

Це не означає, що агенти готові володіти великомасштабними системами рекомендацій з кінця в кінець. Моделі сьогодні все ще стикаються з довірчими обмеженнями. Вони можуть галюцинувати, пропускати залежності або робити неправильні припущення, коли контекст неповний. Найсильніші перші випадки використання вужчі: виявлення регресій, підсумовування результатів експериментів, порівняння поведінки моделей, пропонування обмежених виправлень або перевірка змін проти відомої цільової установки.

Довгострокова візія більш амбітна. Багаті агенти можуть працювати над конкретними вертикальними сегментами: якістю даних, моніторингом функцій, продуктивністю ранжування, аналізом експериментів, виявленням регресій або інфраструктурними витратами. Агент вищого рівня потім може координувати ці сигнали та визначити, як невдача або покращення моделі впливає на ширшу систему рекомендацій. Агентські дослідницькі зусилля ілюструють, як ШІ-системи починають досліджувати ітеративні дослідження та покращення робочих процесів.

Безпечне впровадження залежить від обмеженого виконання, валідації та поступової автономії

Автономні робочі процеси рекомендацій стають більш надійними, коли агенти діють всередині чітких меж. Замість надання агенту необмеженого доступу до продукційних систем, команди можуть обмежити його затвердженими інструментами, робочими процесами, тестовими середовищами, панелями моніторингу, шаблонами експериментів та процедурами відкату. Це зменшує ризик нестабільних змін, витратних сплесків або кругового мислення.

Практична модель автономії може включати:

  • Обмежене виконання. Агенти діють через затверджені інструменти, дозволи та робочі процеси замість відкритого доступу до продукційних систем.
  • Валідаторне розроблення. Кожне завдання включає визначену початкову точку, вимірний результат та автоматичні тести для підтвердження прогресу.
  • Передача на основі критичності. Системи низького ризику стають першими кандидатами на виконання агентів, тоді як області високого впливу зберігають ближче людське огляд.
  • Поступова координація. Надійні субагенти можуть пізніше бути підключені до ширших робочих процесів, коли кожна компонента працює послідовно.

Цей підхід віддає перевагу меншим, вимірним перемогам перед ширшим володінням системою. Технічні дослідження автономних агентів вказують на важливість структурованих середовищ, розкладання завдань та валідації, коли агенти виконують складну технічну роботу. У системах рекомендацій ці принципи перекладаються у контрольовані експерименти перед більшим координуванням агентів.

Організації потребують правильної суміші талантів, моделі роботи та показників продуктивності

ШІ-агенти не усувають цінність досвідчених інженерів. Вони збільшують цінність інженерів, які можуть ефективно використовувати ШІ. Найсильніший профіль поєднує глибокі знання предметної області з можливістю використання ШІ для швидшого аналізу, експериментування та реалізації.

Дві групи талантів стають особливо важливими. Спеціалісти інфраструктури будують упряж для агентів: інструменти, обмежувачі, робочі процеси, дозволи, спостережуваність та середовища виконання. Дослідники машинного навчання (МЛ) керують логікою оптимізації, стратегією моделі та алгоритмічним напрямком. Разом ці групи створюють умови для продуктивної роботи агентів без перетворення їх на ще одну хрупку систему, яку люди постійно підтримують.

Вимірювання продуктивності також змінюється. Метрики можна впорядкувати як ієрархію. На верхівці знаходяться відсталі бізнес-результати, такі як доходи, покупки, конверсії або обсяг транзакцій. Нижче них знаходяться провідні індикатори, такі як кліки, перегляди, прокрутки, час перегляду або глибина сесії. На рівні агентів команди можуть відстежувати точність завдання, успішність, швидкість відмов, час завершення та кількість взаємодій. Ці метрики агентів стають значимими, коли вони пов’язані з бізнес-впливом.

Переборювання обмежень моделей

Майбутнє самопокращуючих систем рекомендацій залежить від трьох моделей рівня вдосконалень: нижчих показників галюцинації, більших корисних контекстних вікон та сильнішого мислення. Галюцинації послаблюють довіру до автономних рішень. Обмеження контексту обмежують здатність агента зрозуміти повну систему. Прориви у мисленні роблять складніше зв’язати зміну в одній моделі з результатом в іншій моделі, зменшуючи загальний прогрес системи.

Якщо ці обмеження покращаться, агенти можуть перейти від оптимізації вузьких завдань до розуміння повної поведінки системи, яка включає виявлення регресій, ідентифікацію ймовірних причин, тестування виправлень, моніторинг результатів та рекомендацію наступного шляху оптимізації. Дослідження самопокращуючих та агентських систем відображають ширший технічний рух до ШІ-систем, здатних брати участь у ітеративних циклах покращення.

Шлях до закритої інтелектуальної системи

Самопокращуючі системи рекомендацій представляють наступний крок після базової автоматизації ШІ. Дорожня карта починається з обмежених завдань агентів, сильних обмежувачів, тест-драйвної валідації та людського судження на правильних контрольних точках. З часом маленькі автономні перемоги можуть накопичуватися у ширше володіння системою, пов’язуючи раннє виконання з пізнішою автономією.

Якщо можливості моделей покращаться, організації можуть рухатися ближче до систем рекомендацій, які можуть моніторити, ремонтувати та оптимізувати себе, залишаючись у згоді з значимими бізнес-метриками. Метою є ШІ, який не тільки зменшує інженерні зусилля, але також допомагає підтримувати продуктивність систем, які він підтримує, пов’язуючи технічний прогрес з бізнес-результатами.

Деніш Насір Шейх - інженер з машинного навчання у Meta з більш ніж 12-річним досвідом роботи у лідерів галузі, таких як Twitter, Roku, Alibaba та Rakuten. За свою кар'єру він керував командами, які розробляли продукти ML/AI, які використовували сотні мільйонів користувачів. Він має магістерський ступінь з комп'ютерної інженерії Каліфорнійського державного університету в Чіко та ступінь бакалавра з електроніки та зв'язку Університету Пуне, Індія.

Відмова від відповідальності: Відомості та думки, висловлені в цій статті, належать авторові та не обов'язково відображають офіційну політику чи позицію роботодавця автора