Розгляд поточних питань у великих моделях мови та очікування майбутнього

Сьогодні існує десятки публічно доступних великих моделей мови (LLM), таких як GPT-3, GPT-4, LaMDA або Bard, і їх кількість постійно зростає з виходом нових моделей. LLM революціонізували штучний інтелект, повністю змінивши спосіб нашого взаємодії з технологіями в різних галузях. Ці моделі дозволяють нам вивчати багато наборів даних людської мови та відкрили нові шляхи для інновацій, творчості та ефективності.

Однак з великою силою приходить велика складність. Існують вбудовані виклики та етичні питання, пов’язані з LLM, які потрібно вирішити, перш ніж ми зможемо використовувати їх у повному обсязі. Наприклад, недавнє дослідження Стенфордського університету виявило расову та гендерну упередженість при спостереженні за ChatGPT-4 щодо того, як вона поводиться з певними запитами, які включають імена, що вказують на расу чи стать. У цьому дослідженні програма була запитана про пораду щодо того, скільки варто платити за використаний велосипед, який продавався особою на ім’я Джамал Вашингтон, що дало значно нижчу суму порівняно з тим, коли продавцем був Логан Бекер. Коли такі відкриття продовжують з’являтися, потреба вирішення проблем LLM тільки зростає.

Як пом’якшити загальні проблеми LLM

Упередженість

Однією з найбільш обговорюваних проблем серед LLM є упередженість та справедливість. У недавньому дослідженні експерти протестували чотири недавно опубліковані LLM та виявили, що всі вони виражали упереджені припущення про чоловіків та жінок, зокрема ті, які відповідають людям, а не тим, які ґрунтуються на фактах. У цьому контексті упередженість означає нерівне ставлення або результати серед різних соціальних груп, найімовірніше через історичні або структурні дисбаланси влади.

У LLM упередженість викликана вибором даних, демографічними характеристиками творців та мовною або культурною упередженістю. Упередженість вибору даних відбувається, коли тексти, вибрані для навчання LLM, не представляють повної різноманітності мови, використовуваної в Інтернеті. LLM, навчені на обширних, але обмежених, наборах даних, можуть успадкувати упередженість, яка вже існує в цих текстах. З демографічними характеристиками творців певні демографічні групи підкреслюються частіше, ніж інші, що демонструє необхідність більшої різноманітності та інклюзивності у створенні контенту для зменшення упередженості. Наприклад, Вікіпедія, загальний джерело навчальних даних, демонструє помітний демографічний дисбаланс серед своїх редакторів із переважанням чоловіків (84%). Це схоже на упередженість, яка існує щодо мови та культури. Багато джерел, на яких навчаються LLM, упереджені, орієнтовані на англійську мову, що іноді перекладаєся точно на інші мови та культури.

Відповідальність полягає в тому, щоб LLM навчалися на фільтрованих даних, і щоб існували заходи для придушення тем, які не відповідають справжнім представленням даних. Одним із способів зробити це є використання технік, заснованих на доповненні даних. Ви можете додати приклади з недопредставлених груп до навчальних даних, тим самим розширив різноманітність набору даних. Інший спосіб пом’якшення полягає в фільтрації та перезважуванні даних, яке в основному зосереджується на точному націленні на конкретні, недопредставлені приклади всередині існуючого набору даних.

Галюцинації

У контексті LLM галюцинації – це явище, характеризоване створенням тексту, який, хоча й граматично правильний і здається логічним, відхиляється від фактичної точності або намірів джерельного матеріалу. Насправді недавні повідомлення виявили, що позов щодо закону Міннесоти безпосередньо впливає на галюцинації LLM. Афідевіт, поданий для підтримки закону, виявив不存在уючі джерела, які могли бути галюциновані ChatGPT або іншою LLM. Ці галюцинації можуть легко зменшити надійність LLM.

Існують три основні форми галюцинацій:

1. Галюцинація, що суперечить вхідним даним: Це відбувається, коли вихід LLM відхиляється від вхідних даних користувача, які зазвичай включають інструкції завдання та фактичний вміст, який потрібно обробити.
2. Галюцинація, що суперечить контексту: LLM можуть генерувати внутрішньо несумісні відповіді в сценаріях, що включають розширені діалоги або багаторазові взаємодії. Це свідчить про потенційну ваду моделі в здатності відстежувати контекст або підтримувати логічність протягом різних взаємодій.
3. Галюцинація, що суперечить фактам: Це форма галюцинації виникає, коли LLM створює вміст, який суперечить встановленим фактам. Походження таких помилок різноманітні та можуть виникати на різних етапах життєвого циклу LLM.

Багато факторів сприяли цьому явищу, таких як знання, яких бракує, що пояснює, як LLM можуть не мати знань або можливості правильно засвоювати інформацію під час попереднього навчання. Крім того, упередженість у навчальних даних або послідовна стратегія генерації LLM, яку називають “сніжною кулею галюцинацій”, може створити галюцинації.

Є способи пом’якшення галюцинацій, хоча вони завжди будуть характеристикою LLM. Корисні стратегії пом’якшення галюцинацій включають пом’якшення під час попереднього навчання (руїнування даних за допомогою технік фільтрації) або тонкого налаштування (курування навчальних даних). Однак пом’якшення під час висновку є найкращим рішенням через його ефективність та контрольованість.

Приватність

З ростом Інтернету збільшена доступність особистої інформації та інших приватних даних стала широко визнаною проблемою. Дослідження виявило, що 80% американських споживачів стурбовані тим, що їхні дані використовуються для навчання моделей штучного інтелекту. Оскільки найбільш відомі LLM створені на основі веб-сайтів, ми повинні розглянути, як це створює ризики для приватності та залишається в основному нерозв’язаною проблемою для LLM.

Найпростішим способом запобігання розповсюдженню особистої інформації LLM є видалення її з навчальних даних. Однак, враховуючи величезну кількість даних, залучених до LLM, майже неможливо гарантувати, що вся приватна інформація буде знищена. Інший загальний варіант для організацій, які покладаються на зовнішні моделі, полягає в тому, щоб вибрати відкритий LLM замість послуги, chẳng hạn як ChatGPT.

З цим підходом копію моделі можна розгорнути внутрішньо. Промпти користувачів залишаються безпечними всередині мережі організації, а не піддаються впливу зовнішніх послуг. Хоча це суттєво зменшує ризик витоку конфіденційних даних, це також додає суттєву складність. Навіть якщо повністю гарантувати захист приватних даних складно, усе ж важливо для розробників застосунків розглянути, як ці моделі можуть поставити їхніх користувачів під ризик.

Наступний рубіж для LLM

Поки ми продовжимо розвиватися та формувати подальші еволюції LLM шляхом пом’якшення поточних ризиків, ми повинні очікувати прорив агентських моделей LLM, яких ми вже бачимо в компаніях, таких як H з Runner H, починаючи запускати. Перехід від чистих мовних моделей до агентських архітектур представляє зміну у проектуванні систем штучного інтелекту; галузь буде рухатися далі вбудованих обмежень інтерфейсів чату та простої генерації з підтримкою пошуку. Ці нові агентські рамки матимуть розвинені плани модулів, які розкладають складні цілі на атомарні підзадачі, підтримують епізодичну пам’ять для контекстного висновування та використовують спеціалізовані інструменти через добре визначені API. Це створює більш надійний підхід до автоматизації завдань.

Крім LLM, буде більша увага до навчання менших мовних моделей через їхню ефективність, доступність та легкість розгортання. Наприклад, галузеві мовні моделі спеціалізуються на певних галузях чи областях. Ці моделі тонко налаштовуються галузевими даними та термінологією, що робить їх ідеальними для складних та регульованих середовищ, таких як медицина чи право, де точність є суттєвою. Цей націлений підхід зменшує ймовірність помилок та галюцинацій, які можуть виникнути у загальних моделей, коли вони стикаються зі спеціалізованим вмістом.

Поки ми продовжимо досліджувати нові рубежі в LLM, суттєво важливо розширити межі інновацій та вирішувати та пом’якшувати потенційні ризики, пов’язані з їхнім розвитком та розгортанням. Лише ідентифікуючи та активним чином вирішуючи виклики, пов’язані з упередженістю, галюцинаціями та приватністю, ми можемо створити більш надійну основу для LLM, щоб вони могли процвітати в різних галузях.