GPT-2, 인공 지능 텍스트 생성기가 전체 공개되다

TheNextWeb(TNW)에 따르면, 여러 인공 지능 프로젝트를 진행하는 비영리 단체인 OpenAI는 GPT-2의 계획된 단계적 공개의 마지막 모델을剛刚 공개했다. GPT-2는 2월에 발표된 이후 큰 논쟁을 불러일으켰다.

OpenAI의 연구 논문 Language Models are Unsupervised Multitask Learners에 따르면, “GPT-2는 기계 학습을 사용하여 제한된 입력을 기반으로 새로운 텍스트를 생성한다.” 즉, 사용자가 어떤 주제에 대한 문장이나 두 개를 입력하면 AI 생성기는 원래 입력과 관련된 텍스트를 생성한다. 본질적으로, TNW는 다른 ‘텍스트 생성기’와는 달리 미리 작성된 문자열을 출력하지 않는다. GPT-2는 이전에 존재하지 않았던 텍스트를 만든다.”

카네기 멜런 대학교 도서관의 프로그램 디렉터인 Scott B. Weingart는 트위터에서 구체적인 예를 보여주었다:

What is a Panther but a young lion?

An entire corridor filled entirely with people screaming.

How’s this for a happy ending? pic.twitter.com/qvPTrs790N

— Scott B. Weingart (@scott_bot) August 20, 2019

If death, in some obscure and distant hour,
Strikes me still as I slept, if I yet dream:
Is that my peace with an eternity spent?
[…]
But I fear it will be no peace or rest
Until the stars give me the full glow of their light
To see all my cares and woes in an instant.

Shit. pic.twitter.com/QRoi1C3rjj

— Scott B. Weingart (@scott_bot) August 20, 2019

2019년 2월에 OpenAI는 시스템의 가능한 악의적인 사용에 대해 우려하여 GPT-2를 8개월 동안 4개 부분으로 나누어 공개하기로 결정했다. 그들은 블로그에서 “기술의 악의적인 적용에 대한 우려로 인해 훈련된 모델을 공개하지 않는다. 책임 있는 공개 실험으로서, 우리는 연구자를 실험할 수 있는 훨씬 작은 모델과 기술 논문을 공개한다.”라고 설명했다.

설명된 바와 같이, 전체 모델에는 15억 개의 매개 변수가 포함되어 있다. “모델이 훈련될수록 매개 변수가 많을수록 ‘더 똑똑해’ 보인다. 인간과 마찬가지로 연습이 완벽하게 만든다.”

TNW에 따르면, OpenAI는 처음에 1억 2400만 개의 매개 변수가 있는 모델을 공개했으며, 이후 3억 5500만과 7억 7400만 개의 매개 변수가 있는 모델을 공개했다. 공개된 모델을 테스트한 결과, “각 반복마다 이전 반복보다 기능이 크게 개선되었다”고 한다.

악의적인 사용을 방지하기 위해 OpenAI는 사전적으로 악의적인 사용을 방지하기 위한 탐지 모델을 공개했다. 그들은 블로그 게시물에서 이러한 탐지 모델이 아직 작업이 필요하여 지금까지 달성한 GPT-2의 품질 수준에 도달하기 위해 추가적인 작업이 필요하다고 인정했다.

관심 있는 사람들은 Github에서 GPT-2 모델을 여기에서 다운로드할 수 있으며, 모델 카드를 여기에서 확인하고, 여기에서 OpenAI의 블로그 게시물에서 읽을 수 있다.