Як великі мовні моделі (LLM) стануть джерелом додатків майбутнього

Генеративний штучний інтелект і особливо його мовний відтінок – ChatGPT є всюди. Технологія Large Language Model (LLM) відіграватиме значну роль у розробці майбутніх програм. LLM дуже добре розуміють мову завдяки обширній попередній підготовці, яка була проведена для базових моделей на трильйонах рядків загальнодоступного тексту, включаючи код. Такі методи, як точне налаштування під наглядом і посилене навчання зі зворотним зв’язком людини (RLHF), роблять ці LLM ще ефективнішими у відповідях на конкретні запитання та спілкуванні з користувачами. Оскільки ми переходимо до наступної фази додатків штучного інтелекту на базі LLMs, наступні ключові компоненти будуть вирішальними для цих додатків наступного покоління. На малюнку нижче показано цей прогрес, і в міру того, як ви просуваєтеся вгору по ланцюжку, ви створюєте більше інтелекту та автономності у своїх програмах. Давайте розглянемо ці різні рівні.

Дзвінки LLM:

Це прямі виклики до завершення або моделі чату від постачальника LLM, як-от Azure OpenAI, Google PaLM або Amazon Bedrock. Ці виклики мають дуже прості підказки та здебільшого використовують внутрішню пам’ять LLM для отримання результату.

Приклад: просити базову модель, як-от «text-davinci», «розповісти анекдот». Ви надаєте дуже мало контексту, і модель покладається на свою внутрішню попередньо навчену пам’ять, щоб знайти відповідь (виділено зеленим кольором на малюнку нижче – за допомогою Azure OpenAI).

Підказки:

Наступний рівень інтелекту полягає в додаванні все більшого контексту до підказок. Існують методи швидкого проектування, які можуть бути застосовані до LLM, які можуть змусити їх надавати індивідуальні відповіді. Наприклад, під час створення електронного листа для користувача певний контекст про користувача, минулі покупки та моделі поведінки може слугувати підказкою для кращого налаштування електронної пошти. Користувачі, знайомі з ChatGPT, знатимуть різні методи підказок, як-от наведення прикладів, які використовуються LLM для формування відповіді. Підказки доповнюють внутрішню пам’ять LLM додатковим контекстом. Приклад наведено нижче.

Вбудовування:

Вбудовування виводять підказки на наступний рівень, шукаючи контекст у сховищі знань, отримуючи цей контекст і додаючи до підказки. Тут першим кроком є ​​створення великого сховища документів із неструктурованим текстом, доступним для пошуку, шляхом індексації тексту та заповнення векторної бази даних. Для цього використовується така модель вбудовування, як «ada» від OpenAI, яка бере фрагмент тексту та перетворює його на n-вимірний вектор. Ці вкладення вловлюють контекст тексту, тому схожі речення матимуть вбудовані елементи, розташовані близько одне до одного у векторному просторі. Коли користувач вводить запит, цей запит також перетворюється на вбудовування, і цей вектор порівнюється з векторами в базі даних. Таким чином, ми отримуємо 5 або 10 найбільш відповідних фрагментів тексту для запиту, які формують контекст. Запит і контекст передаються в LLM, щоб відповісти на запитання людським способом.

Ланцюги:

На сьогоднішній день Chains — це найдосконаліша та зріла технологія, яка широко використовується для створення додатків LLM. Ланцюги є детермінованими, де послідовність викликів LLM об’єднується разом із результатом одного, що перетікає в один або більше LLM. Наприклад, ми могли б запросити LLM-запит до бази даних SQL, отримати список електронних листів клієнтів і надіслати цей список іншому LLM, який створить персоналізовані електронні листи для Клієнтів. Ці ланцюжки LLM можна інтегрувати в існуючі потоки додатків для отримання більш цінних результатів. Використовуючи ланцюжки, ми могли б доповнити виклики LLM зовнішніми вхідними даними, такими як виклики API та інтеграцію з графами знань для надання контексту. Крім того, сьогодні з багатьма доступними провайдерами LLM, як-от OpenAI, AWS Bedrock, Google PaLM, MosaicML тощо, ми можемо об’єднувати виклики LLM у ланцюги. Для елементів ланцюжка з обмеженим інтелектом можна використовувати нижчий LLM, як-от «gpt3.5-turbo», тоді як для складніших завдань можна використовувати «gpt4». Ланцюги дають абстракцію для даних, додатків і викликів LLM.

Агенти:

Агенти є темою багатьох онлайн-дебатів, зокрема стосовно того, що вони є штучним загальним інтелектом (AGI). Агенти використовують розширений LLM, як-от «gpt4» або «PaLM2», щоб планувати завдання, замість того, щоб мати заздалегідь визначені ланцюжки. Тож тепер, коли є запити користувачів, на основі запиту агент вирішує, який набір завдань викликати, і динамічно будує ланцюжок. Наприклад, коли ми налаштовуємо агента за допомогою такої команди, як «повідомляти клієнтів, коли річна процентна ставка кредиту змінюється внаслідок оновлення урядових норм». Фреймворк агента здійснює виклик LLM, щоб прийняти рішення про кроки, які потрібно виконати, або про створення ланцюжків. Тут потрібно запустити програму, яка сканує регуляторні веб-сайти та витягує останню ставку річної процентної ставки, потім LLM-дзвінок шукає базу даних і витягує електронні листи клієнтів, яких це стосується, і, нарешті, створюється електронний лист для сповіщення всіх.

Заключні думки

LLM – це технологія, яка швидко розвивається, і щотижня випускаються кращі моделі та програми. LLM до агентів – це інтелектуальна драбина, і, просуваючись вище, ми створюємо складні автономні програми. Кращі моделі означатимуть ефективніші агенти, і програми наступного покоління працюватимуть на них. Час покаже, наскільки розвиненими будуть програми наступного покоління та за якими моделями вони працюватимуть.