GPT-2, штучний інтелект текстового генератора тепер повністю доступний

Як повідомляє TheNextWeb (TNW), OpenAI, неприбуткова організація, яка стоїть за численними проектами штучного інтелекту,刚 опублікувала остаточну модель у запланованому етапі випуску для GPT-2, текстового генератора, який викликав достатньо дискусій з моменту оголошення про його випуск у лютому.

На основі дослідницької праці OpenAI під назвою Language Models are Unsupervised Multitask Learners, “GPT-2 використовує машинне навчання для генерації нових текстів на основі обмеженого вводу.” Це означає, що користувач може ввести речення або два про будь-яку тему, і штучний інтелект-генератор створить текст, який має деяке відношення до оригінального вводу. По суті, як зазначає TNW, на відміну від більшості “текстових генераторів” він не виводить попередньо написані рядки. GPT-2 створює текст, який раніше не існував.”

У своєму твіті Скотт Б. Вейнгарт, програмний директор бібліотеки університету Карнегі-Меллон, дає конкретний приклад:

What is a Panther but a young lion?

An entire corridor filled entirely with people screaming.

How’s this for a happy ending? pic.twitter.com/qvPTrs790N

— Scott B. Weingart (@scott_bot) August 20, 2019

If death, in some obscure and distant hour,
Strikes me still as I slept, if I yet dream:
Is that my peace with an eternity spent?
[…]
But I fear it will be no peace or rest
Until the stars give me the full glow of their light
To see all my cares and woes in an instant.

Shit. pic.twitter.com/QRoi1C3rjj

— Scott B. Weingart (@scott_bot) August 20, 2019

OpenAI спочатку була стурбована можливими зловживаннями своєї системи, тому у лютому 2019 року вирішила випустити GPT-2 у чотирьох частинах протягом восьми місяців. Як вони пояснили у своєму блозі, “Через нашу стурбованість щодо шкідливих застосунків цієї технології, ми не випускаємо навчену модель. Як експеримент з відповідальним розкриттям, ми випускаємо значно меншу модель для дослідників, а також технічну працю.”

Як пояснюється, повна модель містить 1,5 мільярда параметрів. “Чим більше параметрів модель навчена, тим “розумнішою” вона здається – як і люди, практика робить досконалішою.”

TNW зазначає, що спочатку OpenAI випустила модель з 124 мільйонами параметрів, а згодом випустила моделі з 355 і 774 мільйонами. Згідно з ними, після тестування випущених моделей, “кожна ітерація показала значне покращення можливостей порівняно з попередніми ітераціями.”

Для запобігання зловживанням OpenAI випустила моделі виявлення GPT-2, які повинні “попереджувально боротися зі зловживанням.” За їхнім власним зізнанням у блог-пості, ці моделі виявлення ще потребують додаткової роботи, щоб досягти рівня якості, досягнутого на даний момент у самому GPT-2.

Ті, хто цікавиться, можуть завантажити модель GPT-2 тут на Github, переглянути карту моделі тут, і прочитати блог-пост OpenAI тут.