GPT-2, Gerador de Texto de Inteligência Artificial Está Sendo Lançado Na Íntegra

Como TheNextWeb (TNW) relata, OpenAI, a organização sem fins lucrativos por trás de vários projetos de inteligência artificial, acaba de publicar o modelo final no lançamento planejado em etapas para GPT-2, um gerador de texto que causou quite um debate desde seu anúncio de lançamento em fevereiro.

Com base no artigo de pesquisa da OpenAI intitulado Language Models are Unsupervised Multitask Learners, “GPT-2 usa aprendizado de máquina para gerar texto novo com base em entrada limitada.” Isso significa que um usuário pode digitar uma ou duas frases sobre qualquer assunto e o gerador de IA criará um texto que tem alguma relação com a entrada original. Em essência, como nota a TNW, ao contrário da maioria dos ‘geradores de texto’, ele não produz strings pré-escritas. GPT-2 cria texto que não existia anteriormente.”

Em seu tweet, Scott B. Weingart, diretor de programa da Carnegie Mellon University Libraries, dá um exemplo concreto:

What is a Panther but a young lion?

An entire corridor filled entirely with people screaming.

How’s this for a happy ending? pic.twitter.com/qvPTrs790N

— Scott B. Weingart (@scott_bot) August 20, 2019

If death, in some obscure and distant hour,
Strikes me still as I slept, if I yet dream:
Is that my peace with an eternity spent?
[…]
But I fear it will be no peace or rest
Until the stars give me the full glow of their light
To see all my cares and woes in an instant.

Shit. pic.twitter.com/QRoi1C3rjj

— Scott B. Weingart (@scott_bot) August 20, 2019

OpenAI estava inicialmente preocupada com possíveis usos maliciosos de seu sistema, então, em fevereiro de 2019, decidiu lançar GPT-2 em quatro partes ao longo de oito meses. Como explicaram em seu blog, “Devido às nossas preocupações sobre aplicações maliciosas da tecnologia, não estamos lançando o modelo treinado. Como um experimento em divulgação responsável, estamos lançando um modelo muito menor para que os pesquisadores experimentem, bem como um artigo técnico.”

Como explicado, o modelo completo contém 1,5 bilhão de parâmetros. “Quanto mais parâmetros um modelo é treinado, mais ‘inteligente’ ele parece ser – assim como os humanos, a prática leva à perfeição.”

TNW observa que inicialmente OpenAI lançou um modelo com 124 milhões de parâmetros, seguido por lançamentos com 355 e 774 milhões. De acordo com eles, após testar os modelos lançados, “cada iteração mostrou uma melhoria significativa em capacidade em relação às iterações anteriores.”

Para prevenir o mau uso, OpenAI lançou modelos de detecção de GPT-2 que devem “combater antecipadamente o mau uso.” Em seu próprio relato, em um post de blog, esses modelos de detecção ainda precisam de trabalho adicional para alcançar o nível de qualidade alcançado até agora em GPT-2.

Os interessados podem baixar o modelo GPT-2 aqui no Github, verificar o cartão do modelo aqui e ler o post de blog da OpenAI aqui.