사상 리더
GPT-4, 진정한 AI 혁명을 가져올 것인가?

핵심 포인트GPT-4는 대규모 매개변수 증가보다 질적 알고리즘 개선을 우선시할 가능성이 높다.
더 보기
- GPT-4는 대규모 매개변수 증가보다 질적 알고리즘 개선을 우선시할 가능성이 높다.
- 인간 피드백 훈련을 통한 정렬 개선으로 GPT-4의 정확한 프롬프트 의존도가 낮아질 수 있다.
- 멀티모달 AI 모델로 향하는 업계 추세에도 불구하고 GPT-4는 텍스트 전용으로 유지될 것으로 예상된다.
2020년 5월 GPT-3가 소개된 지 거의 3년이 지났습니다. 그 이후로, AI 텍스트 생성 모델은 인간이 작성한 것처럼 보이고 들리는 텍스트를 생성하는 능력으로 많은 관심을 받았습니다. 이제 GPT-4가 곧 출시될 것으로 보이며, 2023년 초에 출시될 것으로 예상됩니다.
GPT-4에 대한 구체적인 정보는 아직 명확하지 않습니다. OpenAI는 GPT-4의 기능이나 능력에 대해 공개적으로 많은 정보를 공개하지 않았습니다. 그러나 최근 AI 분야, 특히 자연어 처리(NLP)에서 이루어진 발전은 GPT-4에서 무엇을 기대할 수 있는지에 대해 일부 단서를 제공할 수 있습니다.
GPT란 무엇인가?
GPT는 Generative Pre-trained Transformer의 약자로, 인터넷에서 이용 가능한 데이터를 사용하여 대량의 기계 생성 텍스트를 생성하는 딥러닝 신경망 모델입니다. GPT-3는 이 기술의 세 번째 세대이며, 현재 사용 가능한 가장 진보된 AI 텍스트 생성 모델 중 하나입니다.
GPT-3를 큰 규모의 보이스 어시스턴트로 생각해 볼 수 있습니다. Alexa에게 좋아하는 노래를 틀어 달라고 하거나 Siri에게 글을 입력해 달라고 하는 대신, GPT-3에는 몇 분 안에 전자책 전체를 쓰거나 1분 안에 소셜 미디어 게시물 아이디어 100개를 만들어 달라고 요청할 수 있습니다. 사용자는 단지 명확하고 구체적인 프롬프트를 제공하면 됩니다. 예를 들어, “창의력의 중요성을 설명하는 500단어의 기사를 작성해 주세요.”와 같은 프롬프트를 제공할 수 있습니다. 프롬프트가 명확하고 구체적이면, GPT-3는 거의 모든 것을 작성할 수 있습니다.
GPT-3는 출시 이후 많은 비즈니스 응용 프로그램을 찾았습니다. 기업들은 텍스트 요약, 언어 번역, 코드 생성, 거의 모든 작성 작업의 대규모 자동화를 위해 GPT-3를 사용하고 있습니다.
그러나 GPT-3는 인간과 같은 텍스트를 생성하는 능력은 매우 인상적이지만, 완벽하지는 않습니다. 문제는 더 긴 텍스트를 작성하거나, 통찰력이 필요한 복잡한 주제를 다룰 때 발생합니다. 예를 들어, 웹사이트를 위한 컴퓨터 코드를 생성하도록 요청하면, 올바르지만 최적화되지 않은 코드가 반환될 수 있습니다. 따라서 인간 코더가 개선해야 합니다. 큰 텍스트 문서도 마찬가지입니다. 텍스트의 양이 클수록, 오류가 발생할 가능성이 높아집니다.
간단히 말해, GPT-3는 인간 작가나 코더를 완전히 대체하지는 않습니다. GPT-3는 작성 도구로 간주되어야 합니다. 블로그 게시물 아이디어 또는 광고 문구나 프레스 릴리스를 위한 개요를 생성할 때 많은 시간을 절약할 수 있습니다.
더 많은 매개변수는 더 좋을까?
AI 모델은 매개변수를 사용하여 예측을 만듭니다. AI 모델의 매개변수는 학습 과정을 정의하고 출력에 대한 구조를 제공합니다. AI 모델의 매개변수 수는 일반적으로 성능의 척도로 사용됩니다. 매개변수가 많을수록, 모델은 더 강력하고, 더 부드럽고, 더 예측 가능합니다. 적어도 스케일링 가설에 따르면 그렇습니다.
예를 들어, 2018년에 출시된 GPT-1은 1.17억개의 매개변수를 가지고 있었습니다. 1년 후에 출시된 GPT-2는 12억개의 매개변수를 가지고 있었습니다. GPT-3는 매개변수의 수를 1,750억으로 높였습니다. 2021년 8월에 Wired와의 인터뷰에서, Cerebras (CBRS ) 의 창립자이자 CEO인 Andrew Feldman은 GPT-4는 약 100조개의 매개변수를 가질 것이라고 언급했습니다. 이것은 GPT-3보다 100배 더 강력한 모델이 될 것입니다. 그러나 그의 주장에도 불구하고 GPT-4의 매개변수가 실제로 100조 개는 아닐 것이라고 생각할 만한 이유가 있습니다.
더욱이, 매개변수의 수가 많을수록, 모델을 훈련하고 미세 조정하는 비용이 증가합니다. 또한 모델의 효과를 결정하는 요소는 매개변수의 수만이 아닙니다. 예를 들어, Nvidia (NVDA ) 와 Microsoft (MSFT ) 가 개발한 Megatron-Turing NLG는 5,000억 개가 넘는 매개변수를 가지고 있지만, GPT-3의 성능에 근접하지는 않습니다. 간단히 말해, 더 큰 모델이 항상 더 좋지는 않습니다.
GPT-4에 GPT-3보다 많은 매개변수가 있을 가능성은 있지만, 그 수가 약 열 배 더 많아질지는 두고 봐야 합니다. OpenAI는 알고리즘 설계와 정렬의 질적 개선에 집중하는 더 효율적인 모델 같은 다른 가능성도 추구할 수 있습니다. 그 영향을 정확히 예측하기는 어렵습니다. 다만 희소 모델은 모든 매개변수를 항상 활성화하지 않는 조건부 계산으로 비용을 줄일 수 있습니다. 이는 인간 뇌의 뉴런이 작동하는 방식과 비슷합니다.
GPT-4는 무엇을 할 수 있을까?
OpenAI가 새로운 성명을 발표하거나 GPT-4를 출시할 때까지, 우리는 어떻게 GPT-4가 GPT-3와 다를지에 대해 추측할 수밖에 없습니다. 그러나 우리는 몇 가지 예측을 할 수 있습니다.
미래의 AI 딥러닝 개발은 멀티모달입니다. 그러나 GPT-4는 아마도 텍스트 전용 모델일 것입니다. 인간은 다양한 오디오, 비주얼, 텍스트 입력이 있는 멀티센서리 세계에서 살기 때문에, 결국 멀티모달 모델이 개발될 것입니다.
그러나 좋은 멀티모달 모델을 설계하는 것은 텍스트 전용 모델보다 훨씬 더 어렵습니다. 기술이 아직 준비되지 않았으며, 매개변수의 크기에 대한 제한으로 인해 OpenAI는 텍스트 전용 모델을 확장하고 개선하는 데 집중할 가능성이 있습니다.
GPT-4는 정교한 프롬프트에 덜 의존할 가능성이 있습니다. GPT-3의 한 가지 단점은 텍스트 프롬프트가 세심하게 작성되어야 한다는 것입니다. 프롬프트가 세심하게 작성되지 않으면, 출력이 거짓되거나, 유해하거나, 극단적인 견해를 반영할 수 있습니다. 이것은 “정렬 문제”로 알려져 있으며, 사용자의 의도를 완전히 이해하는 AI 모델을 만드는 과제를 뜻합니다. 다시 말해 AI 모델이 사용자의 목표나 의도와 맞지 않는 문제입니다. 인터넷 텍스트로 학습되므로 인간의 편향, 거짓 정보, 선입견이 출력에 쉽게 스며들 수 있습니다.
그러나 InstructGPT의 개발에서 일부 돌파구가 있었습니다. InstructGPT는 인간의 피드백을 사용하여 지시와 사용자의 의도를 더 잘 따라하는 더 발전된 GPT-3 버전입니다. 인간 심사자들은 InstructGPT가 GPT-3보다 잘 작성된 프롬프트에 훨씬 덜 의존한다고 판단했습니다.
다만 이 시험은 OpenAI 직원들만을 대상으로 했으며, 성별·종교·정치적 관점에서 큰 차이가 없는 비교적 동질적인 집단일 수 있다는 한계가 있습니다. GPT-4는 다양한 집단에 대한 정렬을 개선하도록 더 폭넓은 훈련을 거칠 가능성이 있지만, 어느 정도일지는 아직 알 수 없습니다.
GPT-4는 인간을 대체할까?
GPT-4가 인간 작가나 코더를 완전히 대체할 가능성은 낮습니다. 매개변수 최적화, 멀티모달리티, 정렬 등 많은 작업이 남아 있습니다. 진정한 인간 이해를 가진 텍스트 생성기가 나타날 때까지는 많은 시간이 걸릴 것입니다.
그러나 GPT-4의 출시를 기대할 이유가 있습니다. 매개변수 최적화는 모델의 성능을 향상시킬 것입니다. 또한 정렬이 개선되면 GPT-4는 더 사용자 친화적이 될 것입니다.
또한 우리는 아직 AI 도구의 개발과 채택의 초기 단계에 있습니다. 기술에 대한 신뢰와 안정감이 증가함에 따라, 우리는 곧 모든 비즈니스 분야에서 AI 도구의 광범위한 채택을 볼 것입니다.












