GPT-2、人工知能テキストジェネレーターが完全版としてリリースされる

As TheNextWeb (TNW) が報じた。 OpenAI、多くの人工知能プロジェクトを支援する非営利団体は、テキスト ジェネレーターである GPT-2 の段階的リリース計画の最終モデルを公開しました。 かなりの議論 XNUMX月にリリースが発表されて以来。

OpenAI の次のタイトルの研究論文に基づく 言語モデルは教師なしマルチタスク学習者です"GPT-2 は機械学習を使用して、限られた入力に基づいて新しいテキストを生成します。」これが意味するのは、ユーザーが任意の主題について 2 ～ XNUMX 文を入力すると、AI ジェネレーターが元の入力と何らかの関連性のあるテキストを作成するということです。本質的に、TNW が指摘しているように、ほとんどの「テキスト ジェネレーター」とは異なり、事前に作成された文字列を出力しません。 GPT-XNUMX は、以前は存在しなかったテキストを作成します。」

カーネギーメロン大学図書館プログラムディレクターのスコット・B・ワインガート氏はツイートの中で具体的な例を挙げている。

パンサーなのにヤングライオンとは？

廊下全体が人々の叫び声で埋め尽くされました。

これでハッピーエンドってどうなの？ pic.twitter.com/qvPTrs790N

— スコット B. ワインガート (@scott_bot) 2019 年 8 月 20 日

もし死が、漠然とした遠い時間に、
眠っている間も、まだ夢を見ていると、次のようなことが思い出されます。
それは永遠を過ごした私の平和でしょうか？
[...]
しかし、それは平和でも休息でもないのではないかと心配しています
星が私にその光を完全に輝かせるまで
自分の悩みや悩みをすべて一瞬で見ることができるように。

たわごと pic.twitter.com/QRoi1C3rjj

— スコット B. ワインガート (@scott_bot) 2019 年 8 月 20 日

OpenAI は当初、システムの悪意のある使用の可能性を懸念していました。 2月2019 GPT-2のリリースを決定しました XNUMXか月にわたってXNUMX回に分けて行われます。 彼らがブログで説明したように、 「テクノロジーの悪意のあるアプリケーションに対する懸念のため、トレーニングされたモデルはリリースしません。 責任ある開示の実験として、代わりに研究者が実験できるはるかに小規模なモデルと技術論文をリリースします。」

説明したように、 完全なモデルには 1.5 億のパラメータが含まれています。 「モデルがトレーニングされるパラメータが多いほど、モデルはより『賢く』見えるようになります。人間と同じように、練習すれば完璧になります。」

TNW は当初、次のように述べています。 OpenAI は、124 億 355 万個のパラメーターを含むモデルをリリースし、その後、774 億 XNUMX 万個と XNUMX 億 XNUMX 万個のパラメーターを含むモデルをリリースしました。 彼らによると、リリースされたモデルをテストした後、「各反復では、以前の反復に比べて機能が大幅に向上していることがわかりました」とのことです。

悪用を防ぐために、OpenAI は「悪用に先制的に対抗する」ことを目的とした GPT-2 検出モデルをリリースしました。 自らの告白に ブログ投稿、これらの検出モデルは、GPT-2 自体でこれまでに達成されている品質レベルに達するには、まだ追加の作業が必要です。

興味のある人は GPT-2モデルをダウンロードする こちら Github でモデルカードを確認してください こちら、OpenAI のブログ投稿を読んでください こちら.