GPT-2, umělá inteligence Text-Generator Je Uvolněn V Plném Rozsahu

Jak TheNextWeb (TNW) uvádí, OpenAI, nezisková organizace za několika projekty umělé inteligence, právě vydala konečnou verzi modelu v rámci plánovaného uvolňování GPT-2, textového generátoru, který vyvolal velkou debatu od jeho oznámeného vydání v únoru.

Na základě výzkumné práce OpenAI s názvem Language Models are Unsupervised Multitask Learners, „GPT-2 používá strojové učení k generování nových textů na základě omezeného vstupu.” To znamená, že uživatel může napsat větu nebo dvě o jakémkoli tématu a AI generátor vytvoří text, který má some souvislost s původním vstupem. V podstatě, jak TNW uvádí, na rozdíl od většiny „textových generátorů” nevykládá předem napsané řetězce. GPT-2 vyrábí text, který předtím neexistoval.”

V svém tweetu Scott B. Weingart, programový ředitel Carnegie Mellon University Libraries, uvádí konkrétní příklad:

What is a Panther but a young lion?

An entire corridor filled entirely with people screaming.

How’s this for a happy ending? pic.twitter.com/qvPTrs790N

— Scott B. Weingart (@scott_bot) August 20, 2019

If death, in some obscure and distant hour,
Strikes me still as I slept, if I yet dream:
Is that my peace with an eternity spent?
[…]
But I fear it will be no peace or rest
Until the stars give me the full glow of their light
To see all my cares and woes in an instant.

Shit. pic.twitter.com/QRoi1C3rjj

— Scott B. Weingart (@scott_bot) August 20, 2019

OpenAI byla inicialně znepokojena možnými zneužitími svého systému, a proto v únoru 2019 rozhodla o uvolnění GPT-2 ve čtyřech částech během osmi měsíců. Jak vysvětlili ve svém blogu, „kvůli našim obavám o škodlivé aplikace této technologie, nevydáváme trénovaný model. Jako experiment v odpovědném zveřejňování, vydáváme mnohem menší model pro výzkumníky k experimentování, stejně jako technickou práci.”

Jak je vysvětleno, plný model obsahuje 1,5 miliardy parametrů. „Čím více parametrů je model trénován, tím „chytrější” se zdá být – stejně jako u lidí, praxe dělá perfektní.”

TNW uvádí, že inicialně OpenAI vydala model s 124 miliony parametrů, následovaný vydáními s 355 a 774 miliony. Podle nich, po testování vydaných modelů, „každá iterace ukázala významné zlepšení schopností oproti předchozím iteracím.”

Pro zabránění zneužití OpenAI vydala detekční modely GPT-2, které by měly „předem bojovat proti zneužití.” Podle jejich vlastního přiznání v blogovém příspěvku, tyto detekční modely stále potřebují další práci, aby dosáhly kvalitativní úrovně, kterou zatím GPT-2 sám o sobě dosáhl.

Ti, kteří jsou intéressovaní, mohou stáhnout model GPT-2 zde na Github, zkontrolovat modelovou kartu zde a přečíst blogový příspěvek zde.