Інженерія контексту проти інженерії запитів: Посібник з взаємодії штучного інтелекту

Революція штучного інтелекту розпочалася з простого усвідомлення: спосіб запитання має значення. Інженери та користувачі однаково виявили, що ретельно створені запити можуть розблокувати видатні можливості мовних моделей, перетворюючи загальні відповіді на проникливі та корисні відповіді. Ця практика, відома як інженерія запитів, домінувала в розмові про оптимізацію штучного інтелекту протягом 2023 та початку 2024 років.

Але щось цікаве відбувається. Коли системи штучного інтелекту дозрівають та виконують більш складні завдання, ми виявили, що навіть найкраще створений запит має обмеження. З’являється інженерія контексту – фундаментальна зміна того, як ми думаємо про взаємодію штучного інтелекту.

Розуміння інженерії запитів

Щоб зрозуміти, куди ми рухаємось, нам потрібно оцінити, де ми були. Інженерія запитів виникла з простої спостереження: моделі штучного інтелекту реагують по-різному в залежності від того, як ви формулюєте свій запит.

Розгляньте ці два підходи:

• Базовий запит: “Напишіть про собак”
• Інженерний запит: “Прийміть роль ветеринара з 20-річним досвідом та напишіть повний посібник про догляд за старими собаками, включаючи питання здоров’я, харчових потреб та рекомендацій щодо фізичних вправ, використовуючи теплий та доступний тон, придатний для власників домашніх тварин.”

Другий підхід зазвичай дає значно кращі результати, оскільки він забезпечує чіткий контекст, конкретні вимоги та визначені параметри. Це відкриття спровокувало певний золотий пошир. Раптом “інженери запитів” з’явились, ринками запитів розквітли, і всі шукали ідеальну формулювання, яке зробило б штучний інтелект робити саме те, що вони хотіли.

Поява інженерії контексту

Когда організації почали розгортати штучний інтелект для серйозних застосунків, тріщини в підході тільки з запитами почали проявлятися. Команди створювали блискучі запити, лише щоб виявити, що їхні помічники штучного інтелекту все ще боролися з завданнями, які здавались простими. Проблема не полягала в якості запитів – це було в тому, що штучний інтелект не мав широкого контексту, яким би володів людина в тій же ситуації.

Представьте собі запит до нового співробітника щодо обробки скарги клієнта. Ви могли б дати їм найкращий сценарій, але без доступу до історії клієнта, політики компанії, інформації про продукти та попередніх взаємодій, вони все одно боролися б з надання значущої допомоги. Це саме обмеження, яке інженерія контексту усуває.

Інженерія контексту представляє собою парадигматичний зсув від оптимізації того, що ми кажемо штучному інтелекту, до оптимізації того, що штучний інтелект знає, коли ми це кажемо. Це дисципліна побудови динамічних систем, які автоматично забезпечують моделі штучного інтелекту всією необхідною інформацією для успішного виконання завдань.

Графіка від Philipp Schmid (Google DeepMind)

Історія двох підходів

Відмінність стає чіткішою через приклад. Скажімо, ви будуєте помічника штучного інтелекту для медичної клініки.

Підхід інженерії запитів: Ви витрачаєте тижні на вдосконалення запитів, таких як “Ви медичний асистент. Коли пацієнти запитують призначень, завжди перевіряйте доступність, підтверджуйте страхування та надавайте інструкції з підготовки…”

Це працює досить добре, поки реальна складність не вдаряє. Пацієнт телефонує, кажучи: “Мені потрібно побачити доктора Джонсона щодо моєї тривалої проблеми”. Штучний інтелект, позбавлений широкого контексту, повинен розпочати нудну взаємодію: “Яка тривала проблема? Коли ви востаннє відвідували? Який доктор Джонсон – у нас троє?”

Підхід інженерії контексту: Коли той самий пацієнт згадує свою “тривалу проблему”, система вже має доступ до:

• Її медичної історії
• Попередніх призначень
• Інформації про страхування
• Конкретного доктора Джонсона, якого вони раніше бачили

Він може негайно відповісти: “Я бачу, що ви бачилися з доктором Джонсоном у кардіології щодо контролю артеріальної гіпертонії. У неї є вільні часи у вівторок о 14:00 або у четвер о 10:00. Що вам більше підходить?”

Магія не полягає в більш розумному запиті – це в здатності системи динамічно зібрати та представити релевантну інформацію з кількох джерел у точно потрібний момент.

Розуміння шарів контексту

Що робить інженерію контексту складною, це те, що контекст не є монолітним. Він складається з кількох шарів, кожний з яких служить різним цілям:

• Непосредній контекст: Поточна розмова та запит користувача – те, що відбувається зараз.
• Історичний контекст: Місяць взаємодій, вподобань та моделей, які інформують поточні потреби. Це включає все, від попередніх тикетів підтримки до встановлених вподобань користувача.
• Контекст середовища: Зовнішні фактори, такі як час доби, розташування користувача або поточні події, які можуть впливати на взаємодію.
• Контекст предметної області: Спеціалізовані знання, правила та процедури, актуальні для конкретного завдання чи галузі.

Керування цими шарами вимагає складної оркестрації. Система повинна вирішити, яка інформація є релевантною, як пріоритизувати конфліктні дані, коли оновлювати збережену інформацію та як представити все це моделі штучного інтелекту таким чином, щоб це покращило, а не перевантажило її процес прийняття рішень.

Алекс Макфарленд/Unite AI

Чому інженерія контексту важлива зараз

Кілька збігających факторів зробили інженерію контексту не тільки корисною, а й життєво необхідною:

По-перше, застосування штучного інтелекту виросли драматично за складністю. Ми вже не задовольняємося чат-ботами, які відповідають на прості питання. Сьогодні агенти штучного інтелекту обробляють багатокрокові робочі процеси, приймають рішення на основі складних критеріїв та взаємодіють з кількома системами. Ці складні застосування просто не можуть функціонувати ефективно лише з запитами.

По-друге, очікування користувачів стрімко зросли. Люди тепер очікують, що штучний інтелект зрозуміє контекст так, як це зробив би знающий помічник людини. Вони хочуть штучний інтелект, який пам’ятає попередні розмови, розуміє їхні вподобання та може отримувати релевантну інформацію без явного вказівки, куди шукати.

По-третє, вартість невдачі зросла. Коли штучний інтелект здебільшого використовувався для творчого письма або неформальних розмов, помилки мали низькі ставки. Тепер, коли штучний інтелект обробляє обслуговування клієнтів, медичне планування, фінансовий аналіз та інші критичні завдання, помилки мають реальні наслідки.

Основні принципи інженерії контексту

Через спроби та помилки спільнота штучного інтелекту ідентифікувала кілька фундаментальних принципів, які керують ефективною інженерією контексту:

1. Динамічна збірка інформації

Контекст повинен адаптуватися на основі поточної потреби. Користувач, який запитує інформацію про доставку, потребує іншого контексту, ніж той, хто запитує інформацію про повернення, навіть якщо це одна й та сама людина. Системи інженерії контексту повинні визнавати ці зрушення та коригувати відповідно.

2. Інтелектуальна фільтрація та пріоритезація

Не вся інформація є корисною. Насправді, надто багато контексту може бути так само проблематичним, як і надто мало. Ефективні системи повинні:

• Вибрати тільки релевантну інформацію
• Організувати її в корисній ієрархії
• Видалити застарілу чи конфліктну інформацію
• Представити її у форматі, який штучний інтелект може ефективно обробляти

3. Безперервне навчання та адаптація

Системи контексту повинні покращуватися з часом. Вони повинні вчитися з успішних взаємодій, визначати прогалини в інформації та адаптуватися до змінюваних моделей. Це допомагає у вдосконаленні того, яку інформацію надавати та коли.

4. Безшовна інтеграція

Найкраща інженерія контексту є невидимою. Користувачі не повинні думати про неї або керувати нею. Вони повинні просто відчувати, що штучний інтелект здається надзвичайно знающим та корисним.

Поширені помилки та як їх уникнути

Під час реалізації інженерії контексту командами виникають кілька загальних проблем:

• Перевантаження контекстом: Ентузіастичні команди часто помиляються в бік надання надто багато контексту, що призводить до повільніших відповідей та плутаної поведінки штучного інтелекту. Рішенням є безжалісна пріоритезація – включаючи тільки те, що безпосередньо служить поточному завданню.
• Застаріла інформація: Контекст, який не оновлюється регулярно, може бути гіршим, ніж відсутність контексту зовсім. Системи потребують чітких політик щодо оновлення інформації та її валідності.
• Конфлікти контексту: Коли різні джерела надають суперечливу інформацію, моделі штучного інтелекту борються. Добра інженерія контексту включає механізми вирішення конфліктів та чіткі ієрархії довіри.
• Проблеми конфіденційності: Більше контексту часто означає більше чутливої інформації. Системи повинні балансувати повний контекст з відповідними заходами захисту конфіденційності та керування даними.

Погляд у майбутнє: Майбутнє взаємодії штучного інтелекту

Цей зсув має глибокі наслідки. Коли інженерія контексту дозріває, ми побачимо:

• Штучний інтелект, який справді вчиться з кожної взаємодії
• Системи, які передбачають потреби до того, як вони будуть виражені
• Безшовні передачі між різними агентами штучного інтелекту
• Інтеграція, яка робить штучний інтелект відчутним як природне розширення людської здатності

Організації, які інвестують в інженерію контексту сьогодні, будують основу для систем штучного інтелекту, які не тільки відповідають на питання, а й стають справжніми партнерами в складній роботі.

Ключові висновки для різних аудиторій

• Для розробників: Інженерія контексту вимагає думання за межами окремих функцій до цілих систем. Це не досить оптимізувати запити; вам потрібно архітектурно проектувати потоки інформації, проектувати системи зберігання та створювати інтелектуальні механізми отримання.
• Для бізнес-лідерів: Коли ви оцінюєте рішення штучного інтелекту, дивіться за межі вражаючих демонстрацій. Запитайте, як система обробляє контекст з часом, між сесіями та між різними користувачами. Найбільш стійкі конкурентні переваги будуть походити від вищої інженерії контексту, а не тільки кращих запитів.
• Для кінцевих користувачів: Розуміння інженерії контексту допомагає встановити відповідні очікування. Коли штучний інтелект здається “просто знає”, чого вам потрібно, оцінюйте складні системи, які працюють на задньому плані. Коли він не вдавався, визнайте, що обмеження може бути контекстом, а не інтелектом.

Основне

Еволюція від інженерії запитів до інженерії контексту віддзеркалює загальне дозрівання технології штучного інтелекту. Як і перші веб-сайти еволюціонували від статичних сторінок до динамічних застосунків, штучний інтелект еволюціонує від розумних респондентів до інтелектуальних систем, які справді розуміють та адаптуються до наших потреб.

Інженерія запитів дала нам ключ до розблокування потенціалу штучного інтелекту. Інженерія контексту будує всю інфраструктуру, яка робить штучний інтелект справді корисним у складних, реальних сценаріях. Коли ми продовжимо цей шлях, успіх належатиме тим, хто розуміє, що майбутнє штучного інтелекту не тільки в тому, щоб ставити кращі питання – це про будівництво систем, які глибоко розуміють повний контекст наших потреб.

Запит був тільки початком. Контекст – це майбутнє.

Часті питання (Інженерія контексту)

Як інженерія контексту розширюється за межі інженерії запитів у системах штучного інтелекту?

Інженерія контексту будує цілі екосистеми інформації, які динамічно забезпечують моделі штучного інтелекту всією необхідною інформацією, інструментами та пам’яттю, тоді як інженерія запитів зосереджується лише на оптимізації формулювання інструкцій.

Чому якість контексту більш важлива, ніж проектування запиту?

Даже ідеально створені запити не вдавалися, коли штучний інтелект не мав необхідної фонової інформації – як просити нового співробітника обробити складні завдання без доступу до систем компанії, політики, інформації про продукти чи історії клієнта.

Які ключові компоненти ефективної інженерії контексту?

Ефективна інженерія контексту поєднує інструкції системи, історію розмови, довгострокову пам’ять, отримання даних в режимі реального часу (RAG), визначення інструментів, структуровані виходи та стани робочих процесів у єдину архітектуру інформації.

Як динамічні системи контексту можуть покращити надійність та успішність агентів штучного інтелекту?

Динамічні системи контексту запобігають поширеним невдачам, автоматично забезпечуючи релевантну інформацію на кожному етапі прийняття рішень, зменшуючи галюцинації та дозволяючи штучному інтелекту обробляти складні, багатокрокові завдання, яких не можуть підтримати статичні запити.

Як структурування та кураторство інформації впливають на виконання завдань штучного інтелекту?

Хорошо структурований контекст усуває перевантаження інформацією та конфлікти, дозволяючи штучному інтелекту швидко отримувати саме те, що потрібно, фільтруючи шум, суттєво покращуючи точність відповідей та скорочуючи час обробки.