Як великі мови моделі (LLM) будуть забезпечувати роботу застосунків майбутнього

Генеративний AI і, зокрема, мовний смак – ChatGPT є всюди. Технологія великих мовних моделей (LLM) буде відігравати значну роль у розробці майбутніх застосунків. LLM дуже добре розуміють мову завдяки широкому попередньому тренуванню, яке було проведено для базових моделей на трильйонах рядків публічного тексту, включаючи код. Методи, такі як наглядове тонке налаштування та підкріплене навчання з людською відгуком (RLHF), роблять ці LLM ще більш ефективними в відповідаї на конкретні питання та спілкуванні з користувачами. Коли ми переходимо до наступної фази застосунків AI, що працюють на LLM, – наступні ключові компоненти будуть важливими для цих наступних поколінь застосунків. Нижче показана ця прогресія, і коли ви рухаєтеся вгору ланцюга, ви будуєте більше інтелекту та автономності у своїх застосунках. Давайте розглянемо ці різні рівні.

LLM виклики:

Це прямий виклик до моделей завершення або чат-моделей від постачальника LLM, такого як Azure OpenAI або Google PaLM або Amazon Bedrock. Ці виклики мають дуже базовий запит і в основному використовують внутрішню пам’ять LLM для виробництва виводу.

Приклад: Запит до базової моделі, наприклад, “text-davinci”, щоб “розказати жарт”. Ви даєте дуже мало контексту, і модель покладаєся на свою внутрішню попередньо натреновану пам’ять, щоб прийти до відповіді (виділено зеленим у нижченаведеній фігурі – використовуючи Azure OpenAI).

Запити:

Наступний рівень інтелекту полягає у додаванні все більшого контексту до запитів. Існують техніки інженерії запитів, які можна застосувати до LLM, щоб зробити їх давати персоналізовані відповіді. Наприклад, коли генерується електронний лист користувачеві, деякий контекст про користувача, попередні покупки та поведінкові моделі можуть служити запитом для кращого персоналізування електронного листа. Користувачі, знайомі з ChatGPT, знають різні методи запитів, такі як надання прикладів, які використовуються LLM для побудови відповіді. Запити доповнюють внутрішню пам’ять LLM додатковим контекстом. Приклад нижче.

Вбудовування:

Вбудовування беруть запити до наступного рівня шляхом пошуку сховища знань для контексту та отримання цього контексту та додання його до запиту. Тут перший крок полягає у створенні великого документного сховища з неструктурованим текстом, яке можна шукати шляхом індексування тексту та поповнення векторної бази даних. Для цього використовується модель вбудовування, така як “ada” від OpenAI, яка приймає фрагмент тексту та перетворює його на n-мірний вектор. Ці вбудовування захоплюють контекст тексту, тому подібні речення будуть мати вбудовування, які знаходяться поруч одне з одним у векторному просторі. Коли користувач вводить запит, цей запит також перетворюється на вбудовування, і цей вектор порівнюється з векторами у базі даних. Таким чином, ми отримуємо 5 або 10 найбільш відповідних фрагментів тексту для запиту, які утворюють контекст. Запит і контекст передаються до LLM для відповіді на питання людським чином.

Ланцюги:

Сьогодні ланцюги є найбільш просунутою та зрілою технологією, яка широко використовується для побудови застосунків LLM. Ланцюги є детермінованими, де послідовність викликів LLM поєднується з виводом одного з більшості LLM. Наприклад, ми могли б мати виклик LLM для запиту до бази даних SQL та отримання списку електронних адрес клієнтів та відправлення цього списку до іншого LLM, який буде генерувати персоналізовані електронні листи клієнтам. Ці ланцюги LLM можна інтегрувати у існуючі потоки застосунків для генерації більш цінних результатів. Використовуючи ланцюги, ми могли б доповнити виклики LLM зовнішніми входами, такими як виклики API та інтеграцією з графами знань, щоб забезпечити контекст. Крім того, сьогодні з кількома постачальниками LLM, такими як OpenAI, AWS Bedrock, Google PaLM, MosaicML тощо, ми могли б поєднувати виклики LLM у ланцюги. Для елементів ланцюга з обмеженим інтелектом можна використовувати нижчу LLM, наприклад “gpt3.5-turbo”, тоді як для більш складних завдань можна використовувати “gpt4”. Ланцюги забезпечують абстракцію для даних, застосунків та викликів LLM.

Агенти:

Агенти – це тема багатьох онлайн-дебатів, особливо щодо штучного загального інтелекту (AGI). Агенти використовують просунуту LLM, таку як “gpt4” або “PaLM2”, для планування завдань, а не попередньо визначених ланцюгів. Тепер, коли є запити користувачів, агент вирішує, яку серію завдань викликати, і динамічно будує ланцюг. Наприклад, коли ми конфігуруємо агента з командою, такою як “повідомити клієнтів, коли змінюється APR кредиту через оновлення урядових регуляцій”. Фреймворк агента робить виклик LLM для вирішення кроків або ланцюгів. Тут це буде включати виклик застосунку, який витягує останні дані APR з регуляторних сайтів, а потім виклик LLM для пошуку бази даних та витягування електронних адрес клієнтів, які постраждали, і, нарешті, генерація електронного листа для повідомлення всіх.

Останні думки

LLM – це високоеволюційна технологія, і кращі моделі та застосунки запускаються кожну неделю. LLM до агентів – це сходинка інтелекту, і коли ми рухаємося вгору, ми будемо створювати складні автономні застосунки. Кращі моделі означатимуть більш ефективні агенти, а наступні покоління застосунків будуть працювати на цих агентах. Час покаже, наскільки просунутими будуть наступні покоління застосунків та які моделі вони будуть використовувати.