Коли штучний інтелект думає як люди: дослідження думки великих мовних моделей і агентів

Сьогодні великі мовні моделі (LLM) і агенти вчаться, аналізують та приймають рішення способами, які можуть стерти межу між їхнім алгоритмічним “думанням” і людським розумом. Підходи, на яких вони побудовані, вже імітують наші когнітивні процеси, а масштаб їхньої підготовки перевершує людський досвід на порядки. Це піднімає питання: чи створюємо ми інструмент, який розширює наші можливості, чи даємо початок новому типу розуму, наслідки якого ще неможливо передбачити?

Як думають моделі

Важливо розрізняти концепції LLM і агентів. Для аналогії з комп’ютером LLM можна порівняти з одним з його компонентів, наприклад, процесором. Агент, однак, є цією системою, “материнською платою”, до якої підключені різні модулі: пам’ять, графічна карта та мережа. Подібно, агент є складною системою, яка може включати одну або кілька LLM, доповнених механізмами прийняття рішень та інструментами взаємодії з зовнішнім середовищем.

Якщо ми розглянемо роботу однієї LLM, все зводиться до пошуку закономірностей. Однак, коли агент поєднує кілька LLM, ми можемо сказати, що він “думає”, хоча цей процес все ще побудований на закономірностях. Агент будує логіку взаємодії між моделями: наприклад, одна LLM аналізує завдання, і на основі цього аналізу агент визначає, яку дію повинна виконати інша LLM.

Людське мислення працює подібним чином: ми спираємося на накопичені знання та закономірності, вибираємо їх у потрібний момент, обробляємо їх і формуємо висновки. Цей процес називається міркуванням.

ChatGPT, як і людина, має два типи пам’яті: короткочасну та довгочасну. Різниця полягає в тому, що в людей доступ до цих рівнів пам’яті є більш складним і не завжди лінійним.

Короткочасна пам’ять – це інформація, з якою ми зараз працюємо. Для людини це може бути те, про що ви говорили п’ять хвилин тому: ви можете пам’ятати це або ні. GPT, однак, завжди враховує все, що знаходиться в межах його “контекстного вікна” – він не може пропустити або проігнорувати ці дані.

Довгочасна пам’ять у людей складається з спогадів, які не завжди активні і можуть з’явитися лише за певними умовами: дитячий спогад, травма або, наприклад, робота з психологом. GPT має подібну логіку: він не “відтворює” інформацію самостійно, якщо її не активовано явно. Наприклад, інструкція типу “Ніколи не питайте мене цього питання знову” або “Завжди звертайтесь до мене офіційно” може бути збережена в довгочасній пам’яті і застосована під час кожної сесії.

Іншим прикладом довгочасної пам’яті є збережені документи. Наприклад, якщо ви завантажили до GPT інструкцію щодо проведення маркетингових досліджень. Модель може зберегти її в пам’яті, але це не означає, що вона буде посилатися на цей документ з кожним запитом. Якщо ви запитаєте: “Чи можете ви світити ліхтарем на Місяць?” GPT проігнорує інструкцію. Але якщо запит містить ключові слова, що збігаються з текстом документа, модель може “відтворити” його.

Цей механізм реалізований за допомогою RAG (Retrieval-Augmented Generation), підходу, при якому модель отримує доступ до збереженої інформації, викликаної відповідними сигналами через векторні бази даних.

Таким чином, можна сказати, що модель дійсно має пам’ять, але вона функціонує згідно з іншою, більш формалізованою логікою, відмінною від людської пам’яті.

Чому розмова з штучним інтелектом іноді здається терапевтичною, а іноді холодною і роботизованою?

Сучасні мовні моделі надзвичайно великі: вони зберігають величезну кількість даних, знань і контексту. Все ця інформація організована у так звані “кластери”, тематичні та семантичні області. Модель була навчена на різноманітних джерелах, від художньої літератури та наукових статей до коментарів на YouTube.

Коли ви взаємодієте з штучним інтелектом, ваш запит (промпт) ефективно спрямовує модель до певного кластера.

Наприклад, якщо ви напишете: “Ви є юристом з нерухомості в Нью-Йорку з 20-річним досвідом, допоможіть мені купити квартиру”, модель активує кілька кластерів одночасно: юрист → Нью-Йорк → нерухомість. В результаті ви отримуєте узгоджену, актуальну та реалістичну відповідь, як ніби ви дійсно консультуєтеся з досвідченим фахівцем.

Якщо запит стосується більш особистих або філософських тем, таких як саморозвиток або емоції, модель “перемикається” на інші кластери, такі як психологія, філософія або внутрішня робота. У цьому випадку її відповіді можуть здаватися несподівано людськими і навіть терапевтичними.

Однак, з надто загальними або нечіткими формулюваннями, модель “загублюється” у своїй кластерній структурі і дає стандартну відповідь, формальну, відсторонену та позбавлену емоційного тону.

Стиль і глибина відповіді штучного інтелекту залежать від того, який кластер ви спрямовуєте йому своїм запитом.

Філософія навчання моделей і RLHF

Штучний інтелект має різні підходи до навчання. Це не так вже й філософія, як стратегія.

Класичний варіант – це наглядне навчання, коли моделі надається питання і правильна відповідь. Вона вчиться, спостерігаючи, що вважається правильним, і потім відтворює подібні рішення в майбутньому.

Але інший підхід – це RLHF (Reinforcement Learning from Human Feedback). Це інший стиль: модель намагається щось зробити, отримує “нагороду” за успішні дії і коригує свою поведінку. Поступово вона розвиває ефективну стратегію.

RLHF можна порівняти з процесом перетворення сирої матерії у готовий продукт. Щоб зробити модель, яка буде зручною у використанні, потрібно величезна кількість роботи з людською відповіддю.

Представіть, що я показую вам об’єкт без прямого його названня. Ви коливаєтеся: “Чи це цигарковий коробок? Чи держак для карток?” Я даю тільки натяки типу: “Ближче”, “Далі”, “60% так”. Після сотень таких ітерацій ви здогадуєтеся: “Ах, це гаманець”.

LLM навчаються подібним чином. Люди, аннотатори та фахівці загалом оцінюють: ця відповідь хороша, ця погана, і присвоюють оцінки. Компанії типу Keymakr, які спеціалізуються на високоякісній анотації даних та валідації, відіграють ключову роль у цьому процесі. Відгук також надходить від звичайних користувачів: лайки, скарги та реакції. Модель інтерпретує ці сигнали, формуючи поведінкові закономірності.

Як виглядає навчання моделей на практиці

Яскравим прикладом є експеримент OpenAI з навчанням агентів за допомогою підкріплювального навчання у грі “Ховайся і шукай”.

У ньому брали участь дві команди: “шукачі” (червоні) і “хованки” (сині). Правила були простими: якщо шукач впіймав хованку, він заробляв очко; якщо ні, він втрачав одне. Спочатку агенти мали тільки базові фізичні здібності, біг і стрибки, без жодних попередньо визначених стратегій.

На початку шукачі діяли хаотично, і впіймання супротивників відбувалося випадково. Але після мільйонів ітерацій їхня поведінка еволюціонувала. Хованки почали використовувати навколишні об’єкти, щоб блокувати двері і будувати бар’єри. Ці навички з’явилися без прямого програмування, просто через повторені спроби і нагороди за успіх.

У відповідь шукачі почали використовувати стрибки, можливість, яка була доступна з самого початку, але раніше ігнорувалася. Після ряду невдач випадкове використання стрибків відкрило свою тактичну цінність. Тоді хованки ще більше ускладнили свою оборону, видаливши об’єкти з поля зору шукачів і будуючи більш надійні притулки.

Експеримент показав, що через мільярди циклів спроб, помилок, нагород і покарань може сформуватися складна кооперативна поведінка без втручання розробників. Крім того, агенти почали діяти узгоджено, навіть якщо механізми спілкування не були запрограмовані, просто тому, що командна робота виявилася більш ефективною.

Так само відбувається з великими мовними моделями. Неможливо написати сценарії для всіх ситуацій: їх занадто багато, і світ надто різноманітний. Тому ми не вчимо модель фіксованим правилам; ми вчимо її, як учитися.

Це і є цінність RLHF. Без неї LLM і агенти залишаються просто бібліотекою текстів. З нею вони стають партнерами у розмові, здатними адаптуватися, виправляти себе і, по суті, еволюціонувати.

Що далі?

Багато людей задаються питанням, чи можуть розробки LLM і агентів привести до нежаданих або навіть небезпечних наслідків.

Важливо зрозуміти, що те, що ми бачимо сьогодні, навіть не MVP, а лише прототип.

Справжня революція не полягатиме у тому, щоб допомогти написати гарний лист або перекласти його французькою. Це都是 дрібниці. Головним напрямком є автоматизація мікрозавдань і рутинних процесів, залишаючи людям тільки真正 творчі, інтелектуальні завдання або час для відпочинку.

Справжні інновації зосереджені навколо агентів, систем, які можуть незалежно думати, діяти і приймати рішення замість людини. Саме тут компанії типу OpenAI, Google, Meta та інші зараз зосереджують свої зусилля.

Великі мовні моделі – це лише фундамент. Справжнє майбутнє лежить в агентах, навчених жити в динамічному світі, отримувати зворотній зв’язок і адаптуватися до змін.