Чи наблизить нас GPT-4 до справжньої революції ШІ?

Минуло майже три роки з моменту появи GPT-3, у травні 2020 року. Відтоді модель генерації тексту ШІ викликала великий інтерес завдяки своїй здатності створювати текст, який виглядає та звучить так, ніби його написала людина. Тепер схоже, що наступна ітерація програмного забезпечення, GPT-4, не за горами, з орієнтовною датою випуску десь на початку 2023 року.

Незважаючи на довгоочікуваний характер цих новин про штучний інтелект, точні деталі щодо GPT-4 були досить уривчастими. OpenAI, компанія, що стоїть за GPT-4, не оприлюднила багато інформації про нову модель, наприклад про її функції чи можливості. Тим не менш, нещодавні досягнення в галузі штучного інтелекту, зокрема щодо обробки природної мови (NLP), можуть дати деякі підказки щодо того, чого ми можемо очікувати від GPT-4.

Що таке GPT?

Перш ніж приступати до подробиць, корисно спершу визначити, що таке GPT. GPT означає Generative Pre-trained Transformer і відноситься до моделі нейронної мережі з глибоким навчанням, яка навчається на даних, доступних в Інтернеті, для створення великих обсягів машинно-генерованого тексту. GPT-3 є третім поколінням цієї технології та є однією з найдосконаліших моделей генерації тексту ШІ, доступних на даний момент.

Уявіть, що GPT-3 працює трохи схоже на голосових помічників, таких як Siri або Alexa, тільки в набагато більшому масштабі. Замість того, щоб просити Alexa відтворити вашу улюблену пісню або Siri набрати ваш текст, ви можете попросити GPT-3 написати цілу електронну книгу всього за кілька хвилин або створити 100 ідей для публікацій у соціальних мережах менш ніж за хвилину. Все, що потрібно зробити користувачеві, це надати підказку, наприклад: «Напишіть мені статтю на 500 слів про важливість творчості». Поки підказка є чіткою та конкретною, GPT-3 може написати майже все, що ви його попросите.

З моменту випуску для широкого загалу GPT-3 знайшов багато застосувань у бізнесі. Компанії використовують його для підсумовування тексту, перекладу мов, генерації коду та широкомасштабної автоматизації майже будь-якого письмового завдання.

Тим не менш, хоча GPT-3, безсумнівно, дуже вражає своєю здатністю створювати текст, подібний до людського, він далекий від досконалості. Проблеми, як правило, виникають, коли потрібно написати довші тексти, особливо коли йдеться про складні теми, що потребують глибокого розуміння. Наприклад, запит на створення комп'ютерного коду для веб-сайту може повернути правильний, але неоптимальний код, тому програмісту-людині все одно доведеться втрутитися та внести покращення. Схожа проблема спостерігається і з великими текстовими документами: чим більший обсяг тексту, тим більша ймовірність того, що виникнуть помилки – іноді досить кумедні – які потрібно буде виправити автору-людині.

Простіше кажучи, GPT-3 не є повною заміною для людей-авторів або кодерів, і його не слід вважати таким. Натомість GPT-3 слід розглядати як помічника з написання, який може заощадити багато часу людям, коли їм потрібно генерувати ідеї для публікацій у блозі чи приблизні схеми для тексту реклами чи прес-релізів.

Більше параметрів = краще?

Єдине, що слід зрозуміти про моделі ШІ, це те, як вони використовують параметри для прогнозування. Параметри моделі ШІ визначають процес навчання та забезпечують структуру результату. Кількість параметрів у моделі ШІ зазвичай використовується як міра продуктивності. Чим більше параметрів, тим потужніша, плавніша та передбачуваніша модель, принаймні згідно з гіпотеза масштабування.

Наприклад, коли GPT-1 був випущений у 2018 році, він мав 117 мільйонів параметрів. GPT-2, випущений роком пізніше, мав 1.2 мільярда параметрів, тоді як GPT-3 підвищив число ще більше до 175 мільярдів параметрів. Згідно з інтерв’ю від серпня 2021 року провіднаЕндрю Фельдман, засновник і генеральний директор Cerebras, компанії, яка співпрацює з OpenAI, зазначив, що GPT-4 матиме близько 100 трильйонів параметрів. Це зробить GPT-4 у 100 разів потужнішим, ніж GPT-3, квантовий стрибок у розмірі параметрів, який, зрозуміло, дуже схвильував багатьох людей.

Однак, попри пихату заяву Фельдмана, є вагомі підстави вважати, що GPT-4 насправді не матиме 100 трильйонів параметрів. Чим більша кількість параметрів, тим дорожчим стає навчання та точне налаштування моделі через величезну обчислювальну потужність, необхідну для цього.

Крім того, існує більше факторів, ніж просто кількість параметрів, які визначають ефективність моделі. Взяти для прикладу Megatron-Turing NLG, модель генерації тексту, створена Nvidia та Microsoft, яка має понад 500 мільярдів параметрів. Незважаючи на свій розмір, MT-NLG не наближається до GPT-3 за продуктивністю. Коротше кажучи, більше не обов’язково означає краще.

Цілком ймовірно, що GPT-4 справді матиме більше параметрів, ніж GPT-3, але ще належить з'ясувати, чи буде ця кількість на порядок вищою. Натомість, існують інші цікаві можливості, які OpenAI, ймовірно, розглядає, такі як більш компактна модель, що зосереджена на якісних покращеннях алгоритмічного проектування та узгодження. Точний вплив таких покращень важко передбачити, але відомо, що розріджена модель може зменшити обчислювальні витрати завдяки так званому умовному обчисленню, тобто не всі параметри в моделі ШІ будуть спрацьовувати постійно, що подібно до того, як працюють нейрони в людському мозку.

Отже, що зможе GPT-4?

Доки OpenAI не опублікує нову заяву або навіть не випустить GPT-4, нам залишається лише здогадуватися про те, чим він відрізнятиметься від GPT-3. У будь-якому разі, ми можемо робити деякі прогнози.

Незважаючи на те, що майбутнє розробки глибокого навчання штучного інтелекту мультимодальне, GPT-4, ймовірно, залишиться лише текстовим. Як люди, ми живемо в мультисенсорному світі, який наповнений різними звуковими, візуальними та текстовими введеннями. Тому неминуче, що розробка штучного інтелекту врешті-решт створить мультимодальну модель, яка може включати різноманітні вхідні дані.

Однак хорошу мультимодальну модель значно складніше спроектувати, ніж модель, що містить лише текст. Технології просто ще немає, і, виходячи з того, що ми знаємо про обмеження розміру параметра, цілком імовірно, що OpenAI зосереджується на розширенні та вдосконаленні лише текстової моделі.

Також імовірно, що GPT-4 буде менше залежати від точних підказок. Одним із недоліків GPT-3 є те, що текстові підказки потрібно ретельно писати, щоб отримати бажаний результат. Якщо підказки написані неакуратно, ви можете отримати неправдиві, токсичні або навіть екстремістські погляди. Це частина того, що відомо як «проблема вирівнювання», і стосується проблем у створенні моделі ШІ, яка повністю розуміє наміри користувача. Іншими словами, модель ШІ не узгоджується з цілями чи намірами користувача. Оскільки моделі штучного інтелекту навчаються з використанням текстових наборів даних з Інтернету, людські упередження, брехня та упередження дуже легко потрапити в текстові виходи.

Тим не менш, є вагомі підстави вважати, що розробники досягають прогресу у вирішенні проблеми вирівнювання. Цей оптимізм походить від деяких проривів у розробці InstructGPT, вдосконаленої версії GPT-3, яка навчена на відгуках людей, щоб точніше виконувати інструкції та наміри користувачів. Людські судді виявили, що InstructGPT набагато менше залежить від хороших підказок, ніж GPT-3.

Однак слід зазначити, що ці тести проводилися лише з працівниками OpenAI, досить однорідною групою, яка може не сильно відрізнятися за статтю, релігійними чи політичними поглядами. Цілком ймовірно, що GPT-4 пройде більш різноманітне навчання, яке покращить узгодженість для різних груп, хоча якою мірою, ще належить з'ясувати.

Чи замінить GPT-4 людину?

Незважаючи на обіцянки GPT-4, малоймовірно, що він повністю замінить потребу в людях-авторах і кодувальниках. Попереду ще багато роботи над усім, від оптимізації параметрів до мультимодальності та вирівнювання. Можливо, пройде багато років, перш ніж ми побачимо текстовий генератор, який зможе досягти справді людського розуміння складності та нюансів реального життєвого досвіду.

Незважаючи на це, все ще є вагомі причини радіти появі GPT-4. Оптимізація параметрів, а не просто зростання параметрів, швидше за все, призведе до моделі ШІ, яка має набагато більшу обчислювальну потужність, ніж її попередник. А покращене вирівнювання, швидше за все, зробить GPT-4 набагато зручнішим для користувача.

Крім того, ми все ще лише на початку розробки та впровадження інструментів ШІ. Постійно з’являється все більше варіантів використання технології, і оскільки люди отримують більше довіри та комфорту з використанням штучного інтелекту на робочому місці, майже напевно, що в найближчі роки ми побачимо широке впровадження інструментів штучного інтелекту майже в кожному секторі бізнесу.