Пересування великих мовних моделей (LLM) у реальні бізнес-застосування

Великі мовні моделі є всюди. Кожна розмова з клієнтом або презентація для інвесторів включає питання про готовність технології LLM і те, як вона буде驱лювати майбутні застосування. Я висвітлив деякі закономірності цього у своїй попередній публікації. Тут я хочу поговорити про деякі реальні закономірності для застосування у фармацевтичній промисловості, над яким працювала компанія Persistent Systems.

Великі мовні моделі і основні сильні сторони

LLM добре справляються з розумінням мови, це їхня сильна сторона. Найбільш поширений закономерність, який ми бачимо у застосунках, – це генерація з підтримкою пошуку (RAG), де знання зовнішньо складені з джерел даних і надаються у контексті як підказка для генерації відповіді LLM. У цьому випадку надшвидкі механізми пошуку, такі як векторні бази даних і механізми на основі Elasticsearch, служать першою лінією пошуку. Потім результати пошуку складаються у підказку і надсилаються до LLM переважно як виклик API.

Інший закономерність – генерація запиту на структуровані дані шляхом подачі LLM даних моделі як підказки і конкретного запиту користувача. Цей закономерність можна використовувати для розробки розширеної інтерфейсу “розмови з даними” для SQL-баз даних, таких як Snowflake, а також графічних баз даних, таких як Neo4j.

Використання закономерностей LLM для реальних інсайтів

Компанія Persistent Systems недавно розглянула закономерність для Blast Motion, компанії спортивної телеметрії (аналіз руху для бейсболу, гольфу тощо), де ми аналізували часові ряди підсумків гравців, щоб отримати рекомендації.

Для більш складних застосунків нам часто потрібно ланцюжити запити LLM з обробкою між викликами. Для фармацевтичної компанії ми розробили застосунок “розумний слід”, який фільтрує пацієнтів для клінічних випробувань на основі критеріїв, витягнутих з документів клінічних випробувань. Тут ми використали підхід ланцюжіння LLM. Спочатку ми розробили LLM для читання документів випробувань у форматі PDF і використання закономерності RAG для витягнення критеріїв включення і виключення.

Для цього було використано відносно простішу LLM, таку як GPT-3.5-Turbo (ChatGPT). Потім ми поєднали ці витягнуті сутності з моделлю даних бази даних пацієнтів SQL у Snowflake, щоб створити підказку. Ця підказка була надіслана до більш потужної LLM, такої як GPT4, яка надала нам запит SQL для фільтрації пацієнтів, готовий до виконання на Snowflake. Оскільки ми використовуємо ланцюжіння LLM, ми можемо використовувати кілька LLM для кожного кроку ланцюжіння, що дозволяє нам керувати витратами.

Наразі ми вирішили保持ати цей ланцюжіння детермінованим для кращого контролю. Це означає, що ми вирішили мати більше інтелекту в ланцюжінні і保持ати оркестрацію дуже простою і передбачуваною. Кожен елемент ланцюжіння – це складний застосунок сам по собі, який би зайняв кілька місяців для розробки у дні перед LLM.

Надання можливостей для більш складних випадків використання

Для більш складного випадку ми могли б використовувати агентів, таких як ReAct, для підказки LLM щодо створення крок за кроком інструкцій для конкретного запиту користувача. Це, звичайно, потребуватиме висококласної LLM, такої як GPT4 або Cohere чи Claude 2. Однак тоді існує ризик того, що модель прийме неправильний крок, який потрібно буде верифікувати за допомогою охорони. Це компроміс між рухом інтелекту у керованих ланках ланцюжіння або зробленням всього ланцюжіння автономним.

Сьогодні, коли ми звикаємо до епохи генерації мови для мови, галузь починає приймати застосування LLM з передбачуваними ланцюжіннями. Коли це прийняття зростає, ми скоро почнемо експериментувати з більшою автономією цих ланцюжінь через агентів. Це те, про що йде дискусія щодо AGI, і ми цікавимося тим, як все це розвиватиметься з часом.