Лідери думок

Як великі мовні моделі (LLM) забезпечуватимуть роботу застосунків майбутнього

Dattaraj Rao
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиАгенти використовують передові ВВМ, такі як GPT-4, для динамічного планування завдань…
Показати більше
  • Агенти використовують передові ВВМ, такі як GPT-4, для динамічного планування завдань та автономного побудови ланцюгів.
  • Ланцюги поєднують множинні виклики ВВМ із зовнішніми даними для створення детермінованих робочих процесів додатків.
  • Векторні представлення (ембедінги) дозволяють ВВМ відповідати на запити, використовуючи контекст, отриманий з векторних баз даних.

Генеративний ШІ, особливо мовний варіант – ChatGPT, є всюди. Технологія великих мовних моделей (LLM) відіграє значну роль у розвитку майбутніх програм. LLM дуже добре розуміють мову завдяки обширній попередній підготовці, яку було зроблено для моделей-основ для трильйонів рядків публічного тексту, включаючи код. Методи, такі як донавчання з учителем та навчання з підкріпленням на основі зворотного зв’язку від людей (RLHF), роблять ці LLM ще більш ефективними у відповідях на конкретні питання та спілкуванні з користувачами. Коли ми переходимо до наступної фази програм, живлених LLM, наступні ключові компоненти будуть важливими для цих наступних програм. На малюнку нижче показано цю послідовність, і коли ви рухаєтеся вгору ланцюга, ви будуєте більше інтелекту та автономності у ваших програмах. Давайте розглянемо ці різні рівні.

LLM виклики:

Це прямі виклики моделей доповнення тексту або чат-моделей від постачальника LLM, такого як Azure OpenAI або Google PaLM або Amazon Bedrock. Ці виклики мають дуже базовий запит і в основному використовують внутрішню пам’ять LLM для виробництва виводу.

Приклад: Запит до базової моделі, наприклад “text-davinci”, щоб “розказати жарт”. Ви даєте дуже мало контексту, і модель покладаєся на свою внутрішню попередньо натреновану пам’ять, щоб прийти до відповіді (виділено зеленим на малюнку нижче – за допомогою Azure OpenAI).

Запити:

Наступний рівень інтелекту полягає у додаванні все більшого контексту до запитів. Існують техніки інженерії запитів, які можна застосовувати до LLM, щоб вони давали персоналізовані відповіді. Наприклад, при генерації електронного листа користувачеві можна надати деякий контекст про користувача, попередні покупки та поведінкові закономірності як запит, щоб краще персоналізувати електронний лист. Користувачі, знайомі з ChatGPT, знають різні методи запитів, наприклад надання прикладів, які використовуються LLM для побудови відповіді. Запити доповнюють внутрішню пам’ять LLM додатковим контекстом. Приклад нижче.

Векторні подання (ембеддинги):

Векторні подання виводять запити до наступного рівня, шукаючи сховище знань для контексту та отримання цього контексту та додавання його до запиту. Тут перший крок полягає у створенні великого документного сховища з неструктурованим текстом, який можна шукати шляхом індексування тексту та поповнення векторної бази даних. Для цього використовується модель векторного подання, наприклад “ada” від OpenAI, яка приймає фрагмент тексту та перетворює його на n-мірний вектор. Ці векторні подання відображають контекст тексту, тому подібні речення матимуть векторні подання, які будуть близькими один до одного у векторному просторі. Коли користувач вводить запит, цей запит також перетворюється на векторне подання, і цей вектор зіставляється з векторами у базі даних. Таким чином, ми отримуємо 5 або 10 найбільш відповідних текстових фрагментів для запиту, які утворюють контекст. Запит і контекст передаються LLM, щоб відповісти на питання людським чином.

Ланцюги:

Сьогодні ланцюги є найбільш просунутою та зрілою технологією, яка широко використовується для побудови програм LLM. Ланцюги є детермінованими: виклики LLM поєднуються в послідовність, у якій результат одного виклику передається одній або кільком наступним моделям. Наприклад, ми могли б мати виклик LLM, який запитує базу даних SQL та отримує список електронних адрес клієнтів, а потім надсилає цей список іншому LLM, який генерує персоналізовані електронні листи клієнтам. Ці ланцюги LLM можна інтегрувати в існуючі потоки програм, щоб генерувати більш цінні результати. Використовуючи ланцюги, ми могли б доповнити виклики LLM зовнішніми вхідними даними, такими як виклики API та інтеграція з графами знань, щоб надати контекст. Крім того, сьогодні з кількома постачальниками LLM, такими як OpenAI, AWS Bedrock, Google PaLM, MosaicML тощо, ми могли б поєднувати виклики LLM у ланцюги. Для елементів ланцюга з обмеженим інтелектом можна використовувати нижчу LLM, наприклад “gpt3.5-turbo”, тоді як для більш складних завдань можна використовувати “gpt4”. Ланцюги надають абстракцію для даних, програм та викликів LLM.

Агенти:

Агенти є темою багатьох онлайн-дебатів, особливо щодо загального штучного інтелекту (AGI). Агенти використовують просунуту LLM, наприклад “gpt4” або “PaLM2”, для планування завдань, а не попередньо визначених ланцюгів. Тепер, коли є запити користувача, агент на основі запиту вирішує, яку послідовність завдань викликати, та динамічно будує ланцюг. Наприклад, коли ми конфігуруємо агента з командою, наприклад “повідомити клієнтів, коли змінюється APR кредиту через оновлення урядових правил”. Фреймворк агента робить виклик LLM, щоб вирішити, які кроки зробити або ланцюги побудувати. Тут це буде включати виклик програми, яка витягує інформацію з веб-сайтів регулювання та витягує останні показники APR, потім виклик LLM шукає базу даних та витягує електронні адреси клієнтів, яких стосується зміна, і, нарешті, генерується електронний лист, щоб повідомити всіх.

Підсумкові думки

LLM є високоеволюціонуючою технологією, і кращі моделі та програми запускаються кожен тиждень. LLM до агентів є драбиною інтелекту, і коли ми рухаємося вгору, ми будемо створювати складні автономні програми. Кращі моделі означатимуть більш ефективних агентів, а наступні програми будуть живлені цими. Час покаже, наскільки просунутими будуть наступні програми та які закономірності ними будуть живлені.

Dattaraj Rao, головний фахівець із науки про дані у Persistent Systems, є автором книги “Keras to Kubernetes: The Journey of a Machine Learning Model to Production.” У Persistent Systems Dattaraj очолює лабораторію досліджень штучного інтелекту, яка досліджує найновіші алгоритми у галузі комп'ютерного зору, розуміння природної мови, ймовірнісного програмування, навчання з підкріпленням, пояснюваного штучного інтелекту тощо та демонструє їх застосування у галузі охорони здоров'я, банківської справи та промисловості. Dattaraj має 11 патентів у галузі машинного навчання та комп'ютерного зору.