Tekoäly
GPT-2, Tekoälytekstin Generaattori Julkaistaan Kokonaisuudessaan
Kuten TheNextWeb (TNW) raportoi, OpenAI, voittoatona oleva organisaatio, joka on takana useita tekoälyprojekteja, on juuri julkaissut lopullisen mallin suunnitellussa vaiheittaisessa julkaisussa GPT-2:lle, tekstigeneraattorille, joka on aiheuttanut paljon keskustelua sen ilmoitetun julkaisun jälkeen helmikuussa.
OpenAI:n tutkimuspaperin Language Models are Unsupervised Multitask Learners perusteella, “GPT-2 käyttää koneoppimista uuden tekstin generoimiseen rajatun syötteen perusteella.” Tämä tarkoittaa, että käyttäjä voi kirjoittaa lauseen tai kaksi mistä tahansa aiheesta, ja tekoälygeneraattori luo tekstin, jolla on jokin suhde alkuperäiseen syötteeseen. Olennaisesti, kuten TNW toteaa, toisin kuin useimmat “tekstigeneraattorit”, se ei tulosta ennalta kirjoitettuja merkkijonoja. GPT-2 keksii tekstin, jota ei aiemmin ollut olemassa.
Scott B. Weingart, Carnegie Mellon University Librariesin ohjelmajohtaja, antaa konkreetin esimerkin twiitissään:
What is a Panther but a young lion?
An entire corridor filled entirely with people screaming.
How’s this for a happy ending? pic.twitter.com/qvPTrs790N
— Scott B. Weingart (@scott_bot) August 20, 2019
If death, in some obscure and distant hour,
Strikes me still as I slept, if I yet dream:
Is that my peace with an eternity spent?
[…]
But I fear it will be no peace or rest
Until the stars give me the full glow of their light
To see all my cares and woes in an instant.Shit. pic.twitter.com/QRoi1C3rjj
— Scott B. Weingart (@scott_bot) August 20, 2019
OpenAI oli aluksi huolissaan järjestelmänsä mahdollisista väärinkäytöistä, joten helmikuussa 2019 se päätti julkaista GPT-2:n neljässä osassa kahdeksan kuukauden aikana. Kuten he selittivät blogissaan, “johtuen meidän huolemme väärinkäytön mahdollisuuksista, emme julkaise koulutettua mallia. Vastuullisen paljastamisen kokeiluna julkaisemme paljon pienemmän mallin tutkijoille kokeiltavaksi, sekä teknisen paperin.”
Kuten selitetään, täysi malli sisältää 1,5 miljardia parametreja. “Mitä enemmän parametreja malli on koulutettu, sitä “älykkäämmältä” se näyttää – aivan kuten ihmisillä, harjoittelu tekee täydelliseksi.”
TNW toteaa, että aluksi OpenAI julkaisi mallin 124 miljoonalla parametrilla, jonka jälkeen seurasi julkaisut 355 ja 774 miljoonalla. Heidän mukaansa, kokeiltuaan julkaisemia malleja, “jokainen iteraatio osoitti merkittävän parantumisen edellisiin iteraatioihin verrattuna.”
Väärinkäytön estämiseksi OpenAI julkaisi GPT-2:n havaitsemismalleja, jotka on tarkoitettu “väärinkäytön ennaltaehkäisemiseen.” Heidän omien sanojensa mukaan blogipostauksessaan, nämä havaitsemismallit tarvitsevat vielä lisää työtä saavuttaakseen GPT-2:ssa saavutetun laaduntason.
Kiinnostuneet voivat ladata GPT-2-mallin täältä Githubista, tarkastella mallikorttia täältä ja lukea OpenAI:n blogipostauksen täältä.
