Чи принесе GPT-4 нас ближче до справжньої революції штучного інтелекту?

Пройшло майже три роки з тих пір, як у травні 2020 року був представлений GPT-3. З того часу модель генерації тексту штучного інтелекту викликала великий інтерес завдяки своїй здатності створювати текст, який виглядає і звучить так, як ніби його написала людина. Тепер здається, що наступна ітерація програми, GPT-4, вже близько кута, з очікуваною датою випуску на початку 2023 року.

Незважаючи на високоочікуваний характер цієї новини про штучний інтелект, точні деталі про GPT-4 були досить розпливчастими. OpenAI, компанія, яка стоїть за GPT-4, не публічно розголошувала багато інформації про нову модель, таку як її функції чи можливості. Тим не менше, недавні досягнення в галузі штучного інтелекту, особливо щодо обробки природної мови (NLP), можуть надати деякі підказки щодо того, чого ми можемо очікувати від GPT-4.

Що таке GPT?

Перед тим, як перейти до конкретики, корисно спочатку встановити базовий рівень того, що таке GPT. GPT означає Генеративна попередньо тренована трансформер і відноситься до глибоконаївної нейронної мережевої моделі, яка тренується на даних, доступних з Інтернету, для створення великих обсягів машинно-генерованого тексту. GPT-3 – це третє покоління цієї технології і одна з найбільш просунутих моделей генерації тексту штучного інтелекту, які зараз доступні.

Підумайте про GPT-3 як про щось на кшталт голосових помічників, таких як Siri або Alexa, тільки у viel більших масштабах. Замість того, щоб просити Alexa проіграти вашу улюблену пісню або мати Siri, який друкує ваш текст, ви можете попросити GPT-3 написати цілу електронну книгу за кілька хвилин або згенерувати 100 ідей для постів у соціальних мережах менш ніж за хвилину. Все, що потрібно зробити користувачеві, – це надати підказку, наприклад: “Напишіть мені 500-словну статтю про важливість креативності”. Якщо підказка чітка і конкретна, GPT-3 може написати майже все, про що ви просите.

З моменту свого випуску для загальної публіки GPT-3 знайшов багато бізнес-застосувань. Компанії використовують його для підсумовування тексту, перекладу мови, генерації коду та великомасштабної автоматизації майже будь-якого завдання з написання.

Тим не менше, хоча GPT-3, безумовно, дуже вражає своєю здатністю створювати високочитабельний текст, подібний до людського, він ще далекий від досконалості. Проблеми виникають, коли його просять написати довші твори, особливо коли йдеться про складні теми, які вимагають проникнення. Наприклад, підказка згенерувати комп’ютерний код для веб-сайту може повернути правильний, але субоптимальний код, тому людині-кодеру все одно потрібно буде зайти та покращити його. Це схоже на проблему з великими документами тексту: чим більший обсяг тексту, тим більша ймовірність того, що виникнуть помилки – іноді смішні – які потребують виправлення людиною-писарем.

Просто кажучи, GPT-3 не є повною заміною людських письменників або кодерів і не повинен розглядатися як така. Замість цього GPT-3 слід розглядати як помічника з написання, який може зберегти людям багато часу, коли їм потрібно генерувати ідеї для блог-постів або грубі нариси для рекламного копіювання або прес-релізів.

Більше параметрів = краще?

Одна річ, яку потрібно зрозуміти про моделі штучного інтелекту, – це те, як вони використовують параметри для здійснення прогнозів. Параметри моделі штучного інтелекту визначають процес навчання та надають структуру для виводу. Кількість параметрів у моделі штучного інтелекту загалом використовувалася як міра продуктивності. Чим більше параметрів, тим більш потужна, гладка та передбачувана модель, принаймні згідно з гіпотезою масштабування.

Наприклад, коли у 2018 році був випущений GPT-1, він мав 117 мільйонів параметрів. GPT-2, випущений через рік, мав 1,2 мільярда параметрів, тоді як GPT-3 збільшив кількість ще вище – до 175 мільярдів параметрів. Згідно з інтерв’ю серпня 2021 року з Wired, Ендрю Фельдман, засновник і генеральний директор Cerebras, компанії, яка партнерує з OpenAI, згадав, що GPT-4 матиме близько 100 трильйонів параметрів. Це зробило б GPT-4 у 100 разів більш потужним, ніж GPT-3, квантовий стрибок у розмірі параметрів, який, зрозуміло, викликав великий інтерес.

Тим не менше, незважаючи на високі заяви Фельдмана, є хороші підстави вважати, що GPT-4 насправді не матиме 100 трильйонів параметрів. Чим більша кількість параметрів, тим дорожчою стає модель для навчання та налаштування через великі обсяги обчислювальної потужності, які потрібні.

Плюс, є більше факторів, ніж просто кількість параметрів, які визначають ефективність моделі. Наприклад, Megatron-Turing NLG, модель генерації тексту, створена Nvidia та Microsoft, має понад 500 мільярдів параметрів. Незважаючи на свій розмір, MT-NLG не наближається до GPT-3 за продуктивністю. Коротко кажучи, більший не обов’язково означає краще.

Імовірно, GPT-4 дійсно матиме більше параметрів, ніж GPT-3, але залишається невідомим, чи буде це число у порядок більшого. Замість цього є інші інтригуючі можливості, які OpenAI, ймовірно, переслідує, наприклад, більш легку модель, яка зосереджується на якісних поліпшеннях у алгоритмічному дизайні та вирівнюванні. Точний вплив таких поліпшень важко передбачити, але відомо, що розріджена модель може зменшити обчислювальні витрати завдяки умовному обчисленню, тобто не всі параметри моделі штучного інтелекту будуть працювати весь час, що схоже на те, як працюють нейрони в людському мозку.

Тож, що зможе зробити GPT-4?

До тих пір, поки OpenAI не випустить нову заяву або навіть не випустить GPT-4, ми залишаємося спекулювати щодо того, як він буде відрізнятися від GPT-3. Незважаючи на це, ми можемо зробити деякі передбачення

Хоча майбутнє розвитку глибокого навчання штучного інтелекту є багатомодальним, GPT-4, ймовірно, залишиться текстовим. Як люди, ми живемо у багатосенсорному світі, який наповнений різними аудіо-, візуальними та текстовими входами. Тому неминуче, що розвиток штучного інтелекту врешті-решт призведе до багатомодальної моделі, яка зможе включати різноманітні входи.

Тим не менше, хороша багатомодальна модель значно складніше проектувати, ніж текстова. Технології просто ще не там, і на основі того, що ми знаємо про обмеження розміру параметрів, ймовірно, що OpenAI зосереджується на розширенні та поліпшенні текстової моделі.

Також ймовірно, що GPT-4 буде менше залежати від точної підказки. Одним із недоліків GPT-3 є те, що текстові підказки потрібно ретельно написати, щоб отримати бажаний результат. Коли підказки не написані ретельно, ви можете отримати вивід, який є брехливим, токсичним або навіть відображає екстремістські погляди. Це частина того, що відомо як “проблема вирівнювання” і відноситься до проблем у створенні моделі штучного інтелекту, яка повністю розуміє наміри користувача. Іншими словами, модель штучного інтелекту не вирівнюється з цілями або намірами користувача. Оскільки моделі штучного інтелекту тренуються за допомогою текстових наборів даних з Інтернету, дуже легко людським упередженням, брехнею та забобонами знайти свій шлях у текстовий вивід.

Тим не менше, є хороші підстави для віри, що розробники роблять прогрес у вирішенні проблеми вирівнювання. Цей оптимізм походить від деяких проривів у розробці InstructGPT, більш просунутої версії GPT-3, яка тренується на людській відгуці, щоб слідувати інструкціям та намірам користувача ближче. Людські судді виявили, що InstructGPT значно менше залежить від хорошої підказки, ніж GPT-3.

Тим не менше, варто зазначити, що ці тести проводилися лише з працівниками OpenAI, досить однорідною групою, яка може не відрізнятися сильно за статтю, релігійними чи політичними поглядами. Імовірно, безпечна ставка полягає в тому, що GPT-4 пройде більш різноманітне навчання, яке покращить вирівнювання для різних груп, хоча залишається невідомим, якою мірою.

Замінить GPT-4 людей?

Незважаючи на обіцянки GPT-4, малоймовірно, що він повністю замінить потребу в людських письменниках та кодерах. Є ще багато роботи, яку потрібно зробити щодо оптимізації параметрів, багатомодальності та вирівнювання. Можливо, пройде багато років, перш ніж ми побачимо генератор тексту, який зможе досягти真正ного людського розуміння складностей та нюансів реального досвіду.

Тим не менше, є хороші підстави для ентузіазму щодо приходу GPT-4. Оптимізація параметрів – а не просто зростання параметрів – ймовірно, призведе до моделі штучного інтелекту, яка матиме значно більшу обчислювальну потужність, ніж її попередник. А покращене вирівнювання, ймовірно, зробить GPT-4 значно більш зручним у користуванні.

Крім того, ми все ще тільки на початку розвитку та впровадження інструментів штучного інтелекту. Постійно виникають нові випадки використання цієї технології, і оскільки люди набувають більше довіри та комфорту при використанні штучного інтелекту на робочому місці, майже напевно, що ми побачимо широке впровадження інструментів штучного інтелекту майже у всіх бізнес-секторах у найближчі роки.