GPT-2, kunstmatige intelligentie tekstgenerator wordt volledig vrijgegeven

Zoals TheNextWeb (TNW) meldt, heeft OpenAI, de non-profitorganisatie achter een aantal kunstmatige intelligentieprojecten, zojuist het laatste model vrijgegeven in de geplande gefaseerde release voor GPT-2, een tekstgenerator die heel wat debat heeft veroorzaakt sinds de aankondiging van de release in februari.

Op basis van het onderzoeksrapport van OpenAI met de titel Language Models are Unsupervised Multitask Learners, “gebruikt GPT-2 machine learning om op basis van beperkte invoer nieuwe tekst te genereren.” Wat dat betekent, is dat een gebruiker een zin of twee over een onderwerp kan invoeren en de AI-generator komt met een tekst die enige relatie heeft met de oorspronkelijke invoer. In wezen, zoals TNW opmerkt, in tegenstelling tot de meeste ‘tekstgeneratoren’ produceert het geen vooraf geschreven strings. GPT-2 maakt tekst die eerder niet bestond.”

In een tweet van Scott B. Weingart, programmadirecteur van Carnegie Mellon University Libraries, wordt een concreet voorbeeld gegeven:

What is a Panther but a young lion?

An entire corridor filled entirely with people screaming.

How’s this for a happy ending? pic.twitter.com/qvPTrs790N

— Scott B. Weingart (@scott_bot) August 20, 2019

If death, in some obscure and distant hour,
Strikes me still as I slept, if I yet dream:
Is that my peace with an eternity spent?
[…]
But I fear it will be no peace or rest
Until the stars give me the full glow of their light
To see all my cares and woes in an instant.

Shit. pic.twitter.com/QRoi1C3rjj

— Scott B. Weingart (@scott_bot) August 20, 2019

OpenAI was aanvankelijk bezorgd over mogelijke kwaadwillige toepassingen van hun systeem, dus in februari 2019 besloot het GPT-2 in vier delen over acht maanden vrij te geven. Zoals ze in hun blog uitlegden, “Vanwege onze bezorgdheid over kwaadwillige toepassingen van de technologie, geven we het getrainde model niet vrij. Als een experiment in verantwoorde openbaarmaking, geven we in plaats daarvan een veel kleiner model vrij voor onderzoekers om mee te experimenteren, evenals een technisch rapport.”

Zoals uitgelegd, bevat het volledige model 1,5 miljard parameters. “Hoe meer parameters een model is getraind, hoe ‘slimmer’ het lijkt te zijn – net als bij mensen, oefening baart kunst.”

TNW meldt dat OpenAI aanvankelijk een model met 124 miljoen parameters vrijgaf, gevolgd door releases met 355 en 774 miljoen. Volgens hen toonde elke iteratie een aanzienlijke verbetering van de mogelijkheden ten opzichte van de vorige iteraties.

Om misbruik te voorkomen, heeft OpenAI GPT-2-detectiemodellen vrijgegeven die zijn bedoeld “om misbruik te voorkomen.” Zoals ze in een blogbericht toegeven, hebben deze detectiemodellen nog extra werk nodig om het kwaliteitsniveau te bereiken dat tot nu toe in GPT-2 zelf is bereikt.

Geïnteresseerden kunnen het GPT-2-model hier op Github downloaden, het modelkaart bekijken hier, en het blogbericht van OpenAI hier lezen.