Як великі мовні моделі (LLM) будуть живити програми майбутнього

Генеративний ІІ, особливо мовний варіант – ChatGPT, є всюди. Технологія великих мовних моделей (LLM) відіграє значну роль у розвитку майбутніх програм. LLM дуже добре розуміють мову завдяки обширній попередній підготовці, яку було зроблено для моделей-основ для трильйонів рядків публічного тексту, включаючи код. Методи, такі як наглядова тонка настройка та підкріплена навчальна зворотня зв’язок з людською участю (RLHF), роблять ці LLM ще більш ефективними у відповідях на конкретні питання та спілкуванні з користувачами. Коли ми переходимо до наступної фази програм, живлених LLM, наступні ключові компоненти будуть важливими для цих наступних програм. На малюнку нижче показано цю послідовність, і коли ви рухаєтеся вгору ланцюга, ви будуєте більше інтелекту та автономності у ваших програмах. Давайте розглянемо ці різні рівні.

LLM виклики:

Це прямий виклик до завершення або моделей чату від постачальника LLM, такого як Azure OpenAI або Google PaLM або Amazon Bedrock. Ці виклики мають дуже базовий запит і в основному використовують внутрішню пам’ять LLM для виробництва виводу.

Приклад: Запит до базової моделі, наприклад “text-davinci”, щоб “розказати жарт”. Ви даєте дуже мало контексту, і модель покладаєся на свою внутрішню попередньо натреновану пам’ять, щоб прийти до відповіді (виділено зеленим на малюнку нижче – за допомогою Azure OpenAI).

Запити:

Наступний рівень інтелекту полягає у додаванні все більшого контексту до запитів. Існують техніки інженерії запитів, які можна застосовувати до LLM, щоб вони давали персоналізовані відповіді. Наприклад, при генерації електронного листа користувачеві можна надати деякий контекст про користувача, попередні покупки та поведінкові закономірності як запит, щоб краще персоналізувати електронний лист. Користувачі, знайомі з ChatGPT, знають різні методи запитів, наприклад надання прикладів, які використовуються LLM для побудови відповіді. Запити доповнюють внутрішню пам’ять LLM додатковим контекстом. Приклад нижче.

Вбудовування:

Вбудовування приводять запити до наступного рівня, шукаючи сховище знань для контексту та отримання цього контексту та додавання його до запиту. Тут перший крок полягає у створенні великого документного сховища з неструктурованим текстом, який можна шукати шляхом індексування тексту та поповнення векторної бази даних. Для цього використовується модель вбудовування, наприклад “ada” від OpenAI, яка приймає фрагмент тексту та перетворює його на n-мірний вектор. Ці вбудовування захоплюють контекст тексту, тому подібні речення матимуть вбудовування, які будуть близькими один до одного у векторному просторі. Коли користувач вводить запит, цей запит також перетворюється на вбудовування, і цей вектор збігается з векторами у базі даних. Таким чином, ми отримуємо 5 або 10 найбільш відповідних текстових фрагментів для запиту, які утворюють контекст. Запит і контекст передаються LLM, щоб відповісти на питання людським чином.

Ланцюги:

Сьогодні ланцюги є найбільш просунутою та зрілою технологією, яка широко використовується для побудови програм LLM. Ланцюги є визначеними, де послідовність викликів LLM з’єднується разом з виводом одного з більшої кількості LLM. Наприклад, ми могли б мати виклик LLM, який запитує базу даних SQL та отримує список електронних адрес клієнтів, а потім надсилає цей список іншому LLM, який генерує персоналізовані електронні листи клієнтам. Ці ланцюги LLM можна інтегрувати в існуючі потоки програм, щоб генерувати більш цінні результати. Використовуючи ланцюги, ми могли б доповнити виклики LLM зовнішніми входами, такими як виклики API та інтеграція з графами знань, щоб надати контекст. Крім того, сьогодні з кількома постачальниками LLM, такими як OpenAI, AWS Bedrock, Google PaLM, MosaicML тощо, ми могли б поєднувати виклики LLM у ланцюги. Для елементів ланцюга з обмеженим інтелектом можна використовувати нижчу LLM, наприклад “gpt3.5-turbo”, тоді як для більш складних завдань можна використовувати “gpt4”. Ланцюги надають абстракцію для даних, програм та викликів LLM.

Агенти:

Агенти є темою багатьох онлайн-дебатів, особливо щодо штучного загального інтелекту (AGI). Агенти використовують просунуту LLM, наприклад “gpt4” або “PaLM2”, для планування завдань, а не попередньо визначених ланцюгів. Тепер, коли є запити користувача, агент на основі запиту вирішує, яку послідовність завдань викликати, та динамічно будує ланцюг. Наприклад, коли ми конфігуруємо агента з командою, наприклад “повідомити клієнтів, коли змінюється APR кредиту через оновлення урядових правил”. Фреймворк агента робить виклик LLM, щоб вирішити, які кроки зробити або ланцюги побудувати. Тут це буде включати виклик програми, яка витягує інформацію з веб-сайтів регулювання та витягує останні показники APR, потім виклик LLM шукає базу даних та витягує електронні адреси клієнтів, які постраждали, і, нарешті, генерується електронний лист, щоб повідомити всіх.

Остатні думки

LLM є високоеволюціонуючою технологією, і кращі моделі та програми запускаються кожен тиждень. LLM до агентів є драбиною інтелекту, і коли ми рухаємося вгору, ми будемо створювати складні автономні програми. Кращі моделі означатимуть більш ефективних агентів, а наступні програми будуть живлені цими. Час покаже, наскільки просунутими будуть наступні програми та які закономірності ними будуть живлені.