Чи принесе GPT-4 нас ближче до справжньої революції штучного інтелекту?

Минуло майже три роки з тих пір, як у травні 2020 року був представлений GPT-3. Відтоді модель генерації тексту штучного інтелекту викликала великий інтерес завдяки своїй здатності створювати текст, який виглядає і звучить так, як ніби його написала людина. Тепер здається, що наступна ітерація програми, GPT-4, вже близько, з очікуваною датою випуску на початку 2023 року.

Незважаючи на високу очікуваність цієї новини про штучний інтелект, точні деталі про GPT-4 були досить нечіткими. OpenAI, компанія, яка стоїть за GPT-4, не оприлюднила багато інформації про нову модель, таких як її функції чи можливості. Однак останні досягнення в галузі штучного інтелекту, особливо щодо обробки природної мови (NLP), можуть дати деякі підказки щодо того, чого можна очікувати від GPT-4.

Що таке GPT?

Перед тим, як перейти до конкретики, корисно спочатку встановити базовий рівень того, що таке GPT. GPT означає генерацію попередньо навченої трансформерної моделі та відноситься до глибокої нейронної мережі, яка навчається на даних з інтернету для створення великих обсягів машинного тексту. GPT-3 – це третє покоління цієї технології та одна з найбільш просунутих моделей генерації тексту штучного інтелекту, які зараз доступні.

Подумайте про GPT-3 як про щось подібне до голосових помічників, таких як Siri або Alexa, тільки у значно більшому масштабі. Замість того, щоб просити Alexa проіграти вашу улюблену пісню або мати Siri, яка друкує ваш текст, ви можете просити GPT-3 написати цілу книгу за кілька хвилин або згенерувати 100 ідей для публікацій у соціальних мережах менш ніж за хвилину. Все, що потрібно зробити користувачеві, – це надати промпт, такий як “Напишіть мені 500-словний статтю про важливість креативності”. Якщо промпт чіткий і конкретний, GPT-3 може написати майже все, про що ви просите.

Від часу свого виходу для загальної публіки GPT-3 знайшов багато бізнес-застосувань. Компанії використовують його для підсумовування тексту, перекладу мови, генерації коду та великомасштабної автоматизації майже будь-якого завдання з написання.

Тим не менше, хоча GPT-3 безумовно дуже вражаючий у своїй здатності створювати дуже читабельний текст, подібний до людського, він ще далеко не досконалий. Проблеми зазвичай виникають, коли його просять написати довші твори, особливо щодо складних тем, які вимагають проникнення. Наприклад, промпт для генерації комп’ютерного коду для веб-сайту може повернути правильний, але неоптимальний код, тому людський програміст все одно повинен зайти та вдосконалити його. Це схоже на проблему з великими документами тексту: чим більший обсяг тексту, тим більша ймовірність того, що виникнуть помилки – іноді досить смішні – які потребують виправлення людським письменником.

Просто кажучи, GPT-3 не є повною заміною людських письменників або програмістів і не повинен бути таким сприйнятий. Натомість GPT-3 повинен бути розглянутий як помічник з написання, який може врятувати людей від великої кількості часу, коли їм потрібно генерувати ідеї для блог-постів або приблизні нариси для рекламного копіювання або прес-релізів.

Більше параметрів = краще?

Одне, що потрібно зрозуміти про моделі штучного інтелекту, – це те, як вони використовують параметри для зроблення передбачень. Параметри моделі штучного інтелекту визначають процес навчання та надають структуру для виводу. Кількість параметрів у моделі штучного інтелекту зазвичай використовується як міра продуктивності. Чим більше параметрів, тим потужніша, гладша та передбачуваніша модель, принаймні згідно з гіпотезою масштабування.

Наприклад, коли у 2018 році вийшов GPT-1, він мав 117 мільйонів параметрів. GPT-2, випущений через рік, мав 1,2 мільярда параметрів, тоді як GPT-3 збільшив кількість ще вище – до 175 мільярдів параметрів. Згідно з інтерв’ю серпня 2021 року з Wired, Ендрю Фельдман, засновник та генеральний директор Cerebras, компанії, яка партнерує з OpenAI, згадав, що GPT-4 матиме близько 100 трильйонів параметрів. Це зробило б GPT-4 у 100 разів потужнішим, ніж GPT-3, квантовий стрибок у розмірі параметра, який, зрозуміло, викликав велику кількість ентузіазму.

Однак, незважаючи на високі заяви Фельдмана, є хороші причини вважати, що GPT-4 насправді не матиме 100 трильйонів параметрів. Чим більша кількість параметрів, тим дорожча стає модель для навчання та налаштування через величезні обсяги обчислювальної потужності, які це вимагає.

Крім того, є більшість чинників, ніж просто кількість параметрів, які визначають ефективність моделі. Наприклад, Megatron-Turing NLG, модель генерації тексту, створена Nvidia та Microsoft, має понад 500 мільярдів параметрів. Незважаючи на свій розмір, MT-NLG не наближається до GPT-3 за продуктивністю. Коротко кажучи, більший не обов’язково означає краще.

Ймовірно, GPT-4 дійсно матиме більше параметрів, ніж GPT-3, але залишається невідомим, чи буде це число у 100 разів більшим. Натомість є інші цікаві можливості, яких, ймовірно, переслідує OpenAI, такі як більш компактна модель, яка фокусується на якісних вдосконаленнях алгоритмічного дизайну та вирівнювання. Точний вплив таких вдосконалень важко передбачити, але те, що відомо, – це те, що розріджена модель може зменшити обчислювальні витрати завдяки умовному обчисленню, тобто не всі параметри моделі штучного інтелекту будуть працювати весь час, що схоже на те, як працюють нейрони в людському мозку.

Що зможе зробити GPT-4?

До тих пір, поки OpenAI не оприлюднить нову заяву або навіть не випустить GPT-4, ми залишаємося спекулювати щодо того, як він буде відрізнятися від GPT-3. Незважаючи на це, ми можемо зробити деякі передбачення

Хоча майбутнє розвитку глибокого навчання штучного інтелекту є багатомодальним, GPT-4, ймовірно, залишиться текстовим. Як люди, ми живемо у багатомодальному світі, який наповнений різними аудіо-, візуальними та текстовими входами. Тому неминуче, що розвиток штучного інтелекту в кінцевому підсумку призведе до багатомодальної моделі, яка зможе включати різноманітні входи.

Однак добре спрацьована багатомодальна модель значно складніше розробити, ніж текстова модель. Технології просто ще не там, і на основі того, що ми знаємо про обмеження розміру параметрів, ймовірно, що OpenAI фокусується на розширенні та поліпшенні текстової моделі.

Також ймовірно, що GPT-4 буде menos залежати від точного промпту. Однією з недоліків GPT-3 є те, що текстові промпти потрібно ретельно написати, щоб отримати бажаний результат. Коли промпти не написані ретельно, ви можете отримати вивід, який є неправдивим, токсичним або навіть відображає екстремістські погляди. Це частина того, що відомо як “проблема вирівнювання” та відноситься до проблем у створенні моделі штучного інтелекту, яка повністю розуміє наміри користувача. Іншими словами, модель штучного інтелекту не вирівняна з цілями чи намірами користувача. Поскольку моделі штучного інтелекту навчаються на текстових даних з інтернету, дуже легко, щоб людські упередження, брехня та забобони знайшли свій шлях у текстовий вивід.

Тим не менше, є хороші причини вважати, що розробники роблять прогрес у вирішенні проблеми вирівнювання. Цей оптимізм походить від деяких проривів у розробці InstructGPT, більш просунутої версії GPT-3, яка навчається на людській обратній зв’язі для виконання інструкцій та намірів користувача ближче. Людські судді виявили, що InstructGPT значно менше залежить від хорошого промпту, ніж GPT-3.

Однак слід зазначити, що ці тести проводилися лише з працівниками OpenAI, досить однорідною групою, яка, ймовірно, не відрізняється сильно за статтю, релігією чи політичними поглядами. Ймовірно, безпечно припустити, що GPT-4 пройде більш різноманітне навчання, яке покращить вирівнювання для різних груп, хоча й залишається невідомим, наскільки.

Замінить GPT-4 людей?

Незважаючи на обіцянки GPT-4, малоймовірно, що він повністю замінить потребу у людських письменниках та програмістах. Є ще багато роботи, яку потрібно зробити щодо оптимізації параметрів, багатомодальності та вирівнювання. Можливо, це будуть роки, перш ніж ми побачимо генератор тексту, який зможе досягти справжнього людського розуміння складностей та нюансів реального досвіду.

Однак все ж є хороші причини для ентузіазму щодо появи GPT-4. Оптимізація параметрів – а не просто зростання параметрів – ймовірно, призведе до моделі штучного інтелекту, яка матиме значно більшу обчислювальну потужність, ніж її попередник. А покращене вирівнювання, ймовірно, зробить GPT-4 значно більш дружнім до користувача.

Крім того, ми все ще тільки на початку розвитку та впровадження інструментів штучного інтелекту. Постійно знаходяться нові випадки використання цієї технології, і оскільки люди здобувають більше довіри та комфорту при використанні штучного інтелекту на робочому місці, майже напевно, що ми побачимо широке впровадження інструментів штучного інтелекту майже в кожному бізнес-секторі в найближчі роки.