GPT-2, искусственный интеллект текст-генератор выпускается полностью

Как сообщает TheNextWeb (TNW), OpenAI, некоммерческая организация, стоящая за рядом проектов искусственного интеллекта, только что опубликовала окончательную модель в запланированном поэтапном выпуске для GPT-2, текст-генератора, который вызвал довольно жаркие дебаты с момента объявления о его выпуске в феврале.

На основе исследовательской работы OpenAI под названием Language Models are Unsupervised Multitask Learners, ” GPT-2 использует машинное обучение для генерации новых текстов на основе ограниченного ввода.” То, что это значит, – это то, что пользователь может ввести предложение или два о любой теме, и генератор ИИ создаст текст, имеющий некоторое отношение к исходному вводу. По сути, как отмечает TNW, в отличие от большинства “текст-генераторов”, он не выводит предварительно написанные строки. GPT-2 создает текст, который не существовал ранее.”

В своем твитте Скотт Б. Вейнгарт, программный директор библиотек Университета Карнеги-Меллона, дает конкретный пример:

What is a Panther but a young lion?

An entire corridor filled entirely with people screaming.

How’s this for a happy ending? pic.twitter.com/qvPTrs790N

— Scott B. Weingart (@scott_bot) August 20, 2019

If death, in some obscure and distant hour,
Strikes me still as I slept, if I yet dream:
Is that my peace with an eternity spent?
[…]
But I fear it will be no peace or rest
Until the stars give me the full glow of their light
To see all my cares and woes in an instant.

Shit. pic.twitter.com/QRoi1C3rjj

— Scott B. Weingart (@scott_bot) August 20, 2019

OpenAI изначально беспокоилась о возможном злонамеренном использовании своей системы, поэтому в феврале 2019 года она решила выпустить GPT-2 в четырех частях в течение восьми месяцев. Как они объяснили в своем блоге, “Из-за наших опасений по поводу злонамеренного использования технологии мы не выпускаем обученную модель. Как эксперимент в ответственной раскрытии информации, мы вместо этого выпускаем гораздо меньшую модель для экспериментов исследователей, а также техническую статью.”

Как объясняется, полная модель содержит 1,5 миллиарда параметров. “Чем больше параметров используется для обучения модели, тем ‘умнее’ она кажется – как и люди, практика делает совершенным.”

TNW отмечает, что изначально OpenAI выпустила модель с 124 миллионами параметров, за которой последовали выпуски с 355 и 774 миллионами. Согласно им, после тестирования выпущенных моделей “каждая итерация показала значительное улучшение возможностей по сравнению с предыдущими итерациями.”

Чтобы предотвратить злонамеренное использование OpenAI выпустила модели обнаружения GPT-2, которые, как они утверждают, “предотвратят злонамеренное использование”. По их собственному признанию в посте в блоге, эти модели обнаружения все еще нуждаются в дополнительной работе, чтобы достичь уровня качества, достигнутого на данный момент в GPT-2.

Те, кто заинтересован, могут скачать модель GPT-2 здесь на Github, просмотреть карточку модели здесь и прочитать пост в блоге здесь.