GPT-2, текстовый генератор искусственного интеллекта, выпускается в полном объеме

As TheNextWeb (ТНВ) сообщает, OpenAI, некоммерческая организация, стоящая за рядом проектов искусственного интеллекта, только что опубликовала окончательную модель в запланированном поэтапном выпуске для GPT-2, текстового генератора, который вызвал настоящая дискуссия с момента его анонсированного выпуска в феврале.

Основано на исследовательской работе OpenAI под названием Языковые модели — это неконтролируемые многозадачные учащиеся"GPT-2 использует машинное обучение для создания нового текста на основе ограниченного ввода». Это означает, что пользователь может ввести одно или два предложения на любую тему, и генератор ИИ выдаст текст, имеющий некоторое отношение к исходному вводу. По сути, как отмечает TNW, в отличие от большинства «генераторов текста» он не выводит заранее написанные строки. GPT-2 составляет текст, которого раньше не существовало».

В своем твите Скотт Б. Вайнгарт, программный директор библиотек Университета Карнеги-Меллона, приводит конкретный пример:

Что такое пантера, как не молодой лев?

Весь коридор был полностью заполнен кричащими людьми.

Как насчет счастливого конца? pic.twitter.com/qvPTrs790N

— Скотт Б. Вайнгарт (@scott_bot) 20 августа 2019

Если смерть, в какой-нибудь темный и далекий час,
Поражает меня до сих пор, пока я спал, если мне еще снится:
Это мой мир с потраченной вечностью?
[...]
Но я боюсь, что это не будет миром или отдыхом
Пока звезды не дадут мне полное сияние своего света
Увидеть все мои заботы и беды в одно мгновение.

Дерьмо. pic.twitter.com/QRoi1C3rjj

— Скотт Б. Вайнгарт (@scott_bot) 20 августа 2019

Первоначально OpenAI была обеспокоена возможным злонамеренным использованием своей системы, поэтому еще в Февраль 2019 было принято решение о выпуске ГПТ-2 в четырех частях в течение восьми месяцев. Как они объяснили в своем блоге, «Из-за нашей обеспокоенности по поводу вредоносных приложений технологии мы не выпускаем обученную модель. В качестве эксперимента по ответственному раскрытию информации мы вместо этого выпускаем гораздо меньшую модель для экспериментов исследователей, а также технический документ».

Как объяснено, полная модель содержит 1.5 миллиарда параметров. «Чем больше параметров используется для обучения модели, тем «умнее» она кажется — как и люди, практика совершенствует».

ТНВ отмечает, что изначально OpenAI выпустила модель со 124 миллионами параметров, за которыми последовали выпуски с 355 и 774 миллионами. По их словам, после тестирования выпущенных моделей «каждая итерация показала значительное улучшение возможностей по сравнению с предыдущими итерациями».

Чтобы предотвратить неправомерное использование, OpenAI выпустила модели обнаружения GPT-2, которые должны «упреждающе бороться с неправомерным использованием». К их собственному признанию в блоге, эти модели обнаружения все еще нуждаются в дополнительной доработке, чтобы достичь уровня качества, достигнутого до сих пор в самой GPT-2.

Желающие могут скачать модель GPT-2 здесь на Github, посмотрите карточку модели здесь, и прочитайте сообщение в блоге OpenAI здесь.