AI 모델 및 플랫폼
생성형 AI: ChatGPT·DALL-E·Midjourney 등을 뒷받침하는 원리
핵심 포인트GPT-4와 같은 생성형 AI 모델은 단순히 출력을 예측하는 것이 아니라 데이터 패턴으로부터 새로운 콘텐츠를 생성합니다.
더 보기
- GPT-4와 같은 생성형 AI 모델은 단순히 출력을 예측하는 것이 아니라 데이터 패턴으로부터 새로운 콘텐츠를 생성합니다.
- 트랜스포머 아키텍처의 어텐션 메커니즘은 AI가 우수한 언어 생성을 위해 관련 텍스트 부분에 집중할 수 있게 합니다.
- DALL-E 2와 같은 확산 모델은 텍스트 프롬프트를 사용하여 노이즈를 반복적으로 정제하여 이미지로 변환합니다.
예술과 의사소통, 현실을 인식하는 방식이 빠르게 변하고 있습니다. 인간의 혁신 역사를 돌아보면 바퀴의 발명이나 전기의 발견을 거대한 도약으로 꼽을 수 있습니다. 오늘날에는 인간의 창의성과 기계의 계산 사이의 간극을 메우는 새로운 혁명이 일어나고 있습니다. 바로 생성형 AI입니다.
생성 모델은 인간과 기계 사이의 경계를 흐렸습니다. 트랜스포머 모듈을 사용하는 GPT-4 같은 모델의 등장으로 자연스럽고 풍부한 맥락을 담은 언어 생성에 한 걸음 더 가까워졌습니다. 이러한 발전은 문서 작성, 챗봇 대화 시스템, 합성 음악 작곡에까지 활용되고 있습니다.
최근 대형 기술 기업의 결정도 그 중요성을 보여 줍니다. 마이크로소프트 (MSFT )는 이미 코르타나 앱을 중단하고 있습니다 . 이번 달의 이러한 조치는 Bing Chat 같은 새로운 생성형 AI 혁신에 우선순위를 두기 위한 것입니다. 애플 (AAPL ) 역시 팀 쿡 CEO의 설명에 따르면 226억 달러의 연구개발 예산 중 상당 부분을 생성형 AI에 배정했습니다.
새로운 모델의 시대: 생성 모델과 판별 모델
생성형 AI의 이야기는 응용 분야뿐 아니라 근본적인 내부 작동 방식에 관한 것이기도 합니다. 인공지능 생태계에는 판별 모델과 생성 모델이라는 두 종류의 모델이 있습니다.
판별 모델은 대부분의 사람이 일상에서 접하는 모델입니다. 이러한 알고리즘은 텍스트나 이미지 같은 입력 데이터를 단어 번역이나 의료 진단 같은 목표 출력과 연결합니다. 핵심은 대응 관계를 찾고 예측하는 것입니다.
반면 생성 모델은 창작자입니다. 해석하거나 예측하는 데 그치지 않고, 실제 세계의 값과 직접적인 관련이 없는 경우도 많은 숫자 벡터에서 새롭고 복잡한 출력을 생성합니다.
생성 모델을 뒷받침하는 기술
생성 모델은 인간 두뇌의 기능을 모방하도록 설계된 정교한 구조인 심층 신경망에 기반합니다. 이러한 신경망은 데이터의 다면적인 변화를 포착하고 처리하여 다양한 생성 모델의 토대가 됩니다.
생성 모델은 어떻게 만들어질까요? 일반적으로 데이터의 다면적인 변화를 포착하도록 최적화된 심층 신경망으로 구축됩니다. 대표적인 예는 생성적 적대 신경망 (GAN)입니다. 생성자와 판별자라는 두 신경망이 독특한 교사와 학생의 관계 속에서 경쟁하며 서로에게서 학습합니다. 회화에서 스타일 전이, 음악 작곡에서 게임 플레이까지 이러한 모델은 이전에는 상상하지 못했던 방식으로 발전하고 확장되고 있습니다.
GAN만 있는 것은 아닙니다. 변분 오토인코더 (VAE)도 생성 모델 분야의 중요한 기술입니다. VAE는 겉으로는 무작위로 보이는 숫자에서 사진처럼 사실적인 이미지를 만드는 능력이 두드러집니다. 이 숫자를 잠재 벡터를 통해 처리하면 인간 미학의 복잡성을 반영하는 예술이 탄생합니다.
생성형 AI의 유형: 텍스트에서 텍스트로, 텍스트에서 이미지로
트랜스포머와 LLM
구글 브레인의 논문 「Attention Is All You Need」는 텍스트 모델링에 대한 사고방식을 바꾸었습니다. 구글 (GOOGL ) 브레인이 제시한 트랜스포머 모델은 순환 신경망(RNN)이나 합성곱 신경망(CNN) 같은 복잡하고 순차적인 아키텍처 대신 어텐션 개념을 도입했습니다. 이는 맥락에 따라 입력 텍스트의 서로 다른 부분에 집중한다는 뜻입니다. 주요 장점 중 하나는 병렬화가 쉽다는 것입니다. 텍스트를 순차적으로 처리해 확장이 어려운 RNN과 달리, 트랜스포머는 텍스트의 여러 부분을 동시에 처리하여 대규모 데이터셋에서 더 빠르고 효율적으로 훈련할 수 있습니다.

- 트랜스포머 모델 아키텍처
긴 글에서 모든 단어나 문장의 중요도가 같지는 않습니다. 어떤 부분은 맥락에 따라 더 많은 주의를 요구합니다. 관련성에 따라 집중 대상을 바꾸는 이 능력을 어텐션 메커니즘이 모방합니다.
이를 이해하려면 “Unite AI Publish AI and Robotics news.”라는 문장을 생각해 보세요. 다음 단어를 예측하려면 앞선 맥락에서 무엇이 가장 중요한지 이해해야 합니다. Robotics는 다음 단어가 로봇공학 분야의 특정 발전이나 사건과 관련될 수 있음을 시사하고, Publish는 이어지는 맥락이 최근의 출판물이나 기사를 다룰 수 있음을 나타냅니다.
트랜스포머의 어텐션 메커니즘은 이러한 선택적 집중을 구현하도록 설계되었습니다. 입력 텍스트의 각 부분이 얼마나 중요한지 평가하고 응답을 생성할 때 어디를 “볼지” 결정합니다. 이는 모든 입력 텍스트의 핵심을 하나의 상태나 기억에 넣으려던 RNN 같은 이전 아키텍처와 다릅니다.
어텐션의 작동 방식은 키-값 검색 시스템에 비유할 수 있습니다. 문장의 다음 단어를 예측할 때 앞선 각 단어는 잠재적 관련성을 나타내는 키를 제공합니다. 이 키가 현재 맥락 또는 쿼리와 얼마나 잘 일치하는지에 따라 예측에 기여하는 값이나 가중치가 정해집니다.
이러한 고급 AI 딥러닝 모델은 BERT를 활용한 구글 검색 엔진 개선부터 대규모 언어 모델(LLM)로 간단한 코드 조각을 완전히 작동하는 소스 코드로 바꾸는 GitHub Copilot까지 다양한 응용 분야에 통합되었습니다.
GPT-4, Bard, LLaMA 같은 대규모 언어 모델은 인간의 언어와 코드 등을 해석하고 생성하도록 설계된 거대한 모델입니다. 수십억에서 수조 개에 이르는 매개변수 규모가 주요 특징입니다. LLM은 방대한 텍스트 데이터를 학습하여 인간 언어의 복잡성을 이해합니다. 눈에 띄는 특징은 “퓨샷” 학습 능력입니다. 특정 훈련 데이터가 대량으로 필요한 기존 모델과 달리, LLM은 매우 적은 수의 예제만으로도 일반화할 수 있습니다.
2023년 중반 이후 대규모 언어 모델(LLM)의 현황
| 모델 이름 | 개발자 | 매개변수 | 제공 방식과 접근성 | 주요 기능 및 비고 |
| GPT-4 | OpenAI | 1.5조 | 오픈 소스 아님, API로만 접근 가능 | 여러 작업에서 인상적인 성능을 보이며 이미지와 텍스트 처리 가능. 최대 입력 길이 32,768토큰 |
| GPT-3 | OpenAI | 1750억 | 오픈 소스 아님, API로만 접근 가능 | 퓨샷 및 제로샷 학습 능력을 보임. 자연어 텍스트 완성 수행 |
| BLOOM | BigScience | 1760억 | 모델 다운로드 가능, 호스팅 API 제공 | 국제 협력으로 개발된 다국어 LLM. 13개 프로그래밍 언어 지원 |
| LaMDA | 1730억 | 오픈 소스 아님, API와 다운로드 미제공 | 대화 데이터로 훈련되어 사실상 모든 주제에 관해 이야기하도록 학습할 수 있음 | |
| MT-NLG | Nvidia /Microsoft | 5300억 | 신청을 통해 API 접근 가능 | 다양한 NLP 작업에 트랜스포머 기반 Megatron 아키텍처 사용 |
| LLaMA | Meta AI | 70억~650억 | 신청을 통해 다운로드 가능 | 연구·정부·학계에 접근권을 제공하여 AI의 민주화를 추구 |
LLM은 어떻게 활용하나요?
LLM의 활용 방식에는 다음과 같은 것들이 있습니다.
- 직접 활용: 사전 훈련된 LLM을 그대로 텍스트 생성이나 처리에 사용합니다. 예를 들어 추가 미세 조정 없이 GPT-4로 블로그 글을 작성하는 것입니다.
- 미세 조정: 전이 학습이라는 방법으로 사전 훈련된 LLM을 특정 작업에 맞게 조정합니다. 예를 들어 특정 산업의 문서를 요약하도록 T5를 맞춤 조정할 수 있습니다.
- 정보 검색: BERT나 GPT 같은 LLM을 더 큰 아키텍처의 일부로 활용하여 정보를 검색하고 분류하는 시스템을 개발합니다.
멀티헤드 어텐션: 여러 개를 쓸 수 있는데 왜 하나만 쓸까요?
하나의 어텐션 메커니즘에만 의존하면 한계가 있습니다. 텍스트의 단어나 시퀀스는 서로 다른 종류의 관련성이나 연관 관계를 가질 수 있습니다. 여기에서 멀티헤드 어텐션이 필요합니다. 하나의 어텐션 가중치 집합 대신 여러 집합을 사용하여 입력 텍스트의 더 다양한 관계를 포착합니다. 각 어텐션 헤드는 입력의 서로 다른 부분이나 측면에 집중하고, 결합된 지식을 최종 예측에 활용합니다.
ChatGPT: 가장 인기 있는 생성형 AI 도구
2018년에 등장한 GPT는 기본적으로 12개 층, 12개 어텐션 헤드, 1억2000만 개의 매개변수로 구성되었으며 주로 BookCorpus 데이터셋으로 훈련되었습니다. 이는 언어 모델의 미래를 엿보게 한 인상적인 출발이었습니다.
2019년 공개된 GPT-2는 층과 어텐션 헤드 수가 네 배로 늘었고 매개변수 수는 15억 개로 급증했습니다. 이 개선된 모델은 다양한 Reddit 링크에서 모은 40GB의 텍스트로 구성된 WebText를 훈련에 사용했습니다.
2020년 5월 출시된 GPT-3는 96개 층, 96개 어텐션 헤드, 1750억 개의 매개변수를 갖췄습니다. CommonCrawl, WebText, 영어 위키백과, 도서 코퍼스 등 다양한 출처를 합쳐 총 570GB의 훈련 데이터를 사용했다는 점이 특징입니다.
ChatGPT의 세부 작동 방식은 엄격히 비공개로 유지됩니다. 그러나 인간 피드백 기반 강화 학습(RLHF)이 핵심적인 역할을 하는 것으로 알려져 있습니다. 이전 ChatGPT 프로젝트에서 시작된 이 기법은 GPT-3.5가 서면 지시를 더 잘 따르도록 다듬는 데 중요했습니다.
ChatGPT의 훈련은 세 단계로 이루어집니다.
- 지도 미세 조정: 사람이 작성한 대화 입력과 출력을 선별하여 기반 GPT-3.5 모델을 개선합니다.
- 보상 모델링: 사람이 여러 모델 출력의 품질에 순위를 매깁니다. 이를 통해 대화 맥락을 고려하여 각 출력에 점수를 주는 보상 모델을 훈련합니다.
- 강화 학습: 대화 맥락을 바탕으로 기반 모델이 응답을 제안합니다. 보상 모델이 이를 평가하고, 근접 정책 최적화(PPO) 알고리즘으로 과정을 최적화합니다.
ChatGPT를 처음 접한다면 포괄적인 입문 가이드를 여기에서 확인할 수 있습니다. ChatGPT 프롬프트 엔지니어링을 더 깊게 배우고 싶다면 최신 기법을 다루는 고급 가이드인 「ChatGPT와 고급 프롬프트 엔지니어링: AI 진화를 이끌다」도 준비되어 있습니다.
확산 모델과 멀티모달 모델
VAE와 GAN은 한 번의 처리로 출력을 생성하므로 생성된 결과가 고정됩니다. 반면 확산 모델은 ‘반복적 개선’이라는 개념을 도입했습니다. 이전 단계의 오류를 돌아보고 수정하면서 점점 더 정교한 결과를 만듭니다.
확산 모델의 핵심은 “손상”과 “복원”입니다. 훈련 단계에서는 이미지에 다양한 수준의 노이즈를 추가하여 점진적으로 손상시킵니다. 이 노이즈 이미지를 모델에 입력하면 모델은 노이즈를 제거하거나 손상을 복구하려고 시도합니다. 이를 여러 번 반복하면서 모델은 미세하거나 큰 이상을 모두 이해하고 복원에 능숙해집니다.
훈련 후 새 이미지를 생성하는 과정도 흥미롭습니다. 완전히 무작위인 입력에서 시작해 모델의 예측을 사용하여 계속 개선합니다. 목표는 최소한의 단계로 깨끗한 이미지를 얻는 것입니다. 손상 수준은 각 단계에서 적용하는 노이즈 양을 결정하는 노이즈 스케줄로 제어합니다. “diffusers” 같은 라이브러리의 스케줄러는 정해진 알고리즘에 따라 이러한 노이즈 표현의 특성을 결정합니다.
많은 확산 모델에서 핵심 아키텍처의 토대가 되는 것은 U-Net입니다. 입력과 같은 공간 차원의 출력을 요구하는 작업에 맞춘 합성곱 신경망으로, 다운샘플링 층과 업샘플링 층을 정교하게 연결해 고해상도 데이터를 유지합니다. 이는 이미지 관련 출력에 중요합니다.
생성 모델을 더 살펴보면 OpenAI의 DALL-E 2 는 텍스트와 시각 AI 능력의 결합을 보여 주는 대표적인 예입니다. 이 모델은 세 단계 구조를 사용합니다.
DALL-E 2의 세 부분으로 된 아키텍처는 다음과 같습니다.
- 텍스트 인코더: 텍스트 프롬프트를 잠재 공간의 개념적 임베딩으로 변환합니다. 처음부터 학습하는 것이 아니라 OpenAI의 대조적 언어-이미지 사전 훈련(CLIP) 데이터셋을 토대로 합니다. CLIP은 자연어로 시각 개념을 학습해 시각 데이터와 텍스트 데이터 사이를 잇습니다. 대조 학습 메커니즘을 통해 이미지와 해당 텍스트 설명을 식별하고 연결합니다.
- 프라이어: 인코더의 텍스트 임베딩을 이미지 임베딩으로 변환합니다. DALL-E 2는 이 작업에 자기회귀 방식과 확산 방식을 모두 시험했으며 확산 방식이 더 좋은 결과를 보였습니다. 트랜스포머와 PixelCNN 같은 자기회귀 모델은 순차적으로 출력을 생성합니다. 반면 DALL-E 2에 쓰이는 확산 모델은 텍스트 임베딩의 도움으로 무작위 노이즈를 예측된 이미지 임베딩으로 변환합니다.
- 디코더: 이 과정의 마지막 단계로, 텍스트 프롬프트와 앞 단계의 이미지 임베딩을 바탕으로 최종 시각 출력을 생성합니다. DALL-E 2 디코더의 아키텍처는 다른 모델인 GLIDE에 기반하며, GLIDE 역시 텍스트 단서에서 사실적인 이미지를 만들 수 있습니다.
파이썬 사용자 중 LangChain 에 관심이 있다면 기초부터 고급 기법까지 다룬 자세한 튜토리얼을 확인해 보세요.
생성형 AI의 응용 분야
텍스트 분야
텍스트 분야에서는 ChatGPT같은 챗봇이 생성형 AI를 근본적으로 바꾸었습니다. 자연어 처리(NLP)와 대규모 언어 모델에 크게 의존하는 이러한 시스템은 코드 생성, 언어 번역, 요약, 감정 분석까지 다양한 작업을 수행합니다. 예를 들어 ChatGPT는 수백만 명이 일상적으로 사용하는 도구가 되었습니다. 이러한 활용은 GPT-4, PaLM, BLOOM같은 LLM 기반 대화형 AI 플랫폼으로 더욱 확장됩니다. 이들은 손쉽게 텍스트를 생성하고 프로그래밍을 돕고 수학적 추론까지 제공합니다.
상업적으로도 이러한 모델은 매우 중요한 도구가 되고 있습니다. 기업들은 위험 관리, 재고 최적화, 수요 예측 등 다양한 업무에 활용합니다. 대표적인 예로 Bing AI, 구글 BARD, ChatGPT API가 있습니다.
예술
특히 2022년 DALL-E 2 등장 이후 생성형 AI는 이미지 분야에 극적인 변화를 가져왔습니다. 텍스트 프롬프트로 이미지를 만드는 이 기술은 예술적·전문적 의미를 모두 지닙니다. 예를 들어 Midjourney는 이 기술을 활용해 인상적으로 사실적인 이미지를 만들었습니다. 최근의 Midjourney 해설 글 에서는 플랫폼과 프롬프트 엔지니어링의 세부 사항을 자세히 설명합니다. 또한 Alpaca AI와 Photoroom AI 같은 플랫폼은 배경 제거, 객체 삭제, 얼굴 복원 같은 고급 이미지 편집 기능에 생성형 AI를 활용합니다.
비디오 제작
생성형 AI 비디오 제작은 아직 초기 단계지만 유망한 발전을 보여 줍니다. Imagen Video, Meta Make A Video, Runway Gen-2 같은 플랫폼은 가능성의 한계를 넓히고 있지만, 진정으로 사실적인 결과물은 아직 앞으로의 과제입니다. 이 모델들은 디지털 인간 비디오 제작에 매우 유용하며 Synthesia와 SuperCreator가 이를 선도합니다. 특히 Tavus AI는 시청자 개개인에게 맞춘 비디오를 제공한다는 차별점이 있어 기업에 도움이 됩니다.
코드 생성
디지털 세계의 필수 요소인 코딩도 생성형 AI의 영향을 받고 있습니다. ChatGPT가 인기 있는 도구이지만 코딩을 위한 다른 AI 응용 프로그램도 개발되었습니다. GitHub Copilot, Alphacode, CodeComplete 같은 플랫폼은 코딩 보조 도구로 쓰이며 텍스트 프롬프트로 코드까지 생성합니다. 이 도구들의 적응성도 흥미롭습니다. GitHub Copilot의 기반인 Codex는 개인의 코딩 스타일에 맞게 조정할 수 있어 생성형 AI의 개인화 잠재력을 보여 줍니다.
결론
인간의 창의성과 기계의 계산을 결합한 생성형 AI는 매우 중요한 도구로 발전했습니다. ChatGPT와 DALL-E 2 같은 플랫폼은 가능한 일의 한계를 넓히고 있습니다. 텍스트 콘텐츠 작성부터 시각적 걸작 제작까지 응용 분야는 광범위하고 다양합니다.
다른 기술과 마찬가지로 윤리적 영향이 매우 중요합니다. 생성형 AI는 무한한 창의성을 약속하지만, 잠재적인 편향과 데이터 조작의 힘을 인식하고 책임감 있게 사용해야 합니다.
ChatGPT 같은 도구에 더 쉽게 접근할 수 있게 된 지금은 직접 시험하고 실험하기에 좋은 때입니다. 예술가, 개발자, 기술 애호가 누구에게나 생성형 AI는 탐험할 가능성으로 가득합니다. 이 혁명은 먼 미래에 있지 않습니다. 바로 지금 여기 있습니다. 직접 뛰어들어 보세요!

















