๋ฒ ์คํธ
10๋ ๊ธฐ๊ณ ํ์ต ์๊ณ ๋ฆฌ์ฆ
우리는 GPU 가속 기계 학습의 비범한 혁신의 시대를 살고 있지만, 최신 연구 논문은 자주 70년 전인 경우도 있는 몇십 년 된 알고리즘을 특징적으로 많이 포함하고 있다. 일부 사람들은 이러한 오래된 방법이 기계 학습보다는 통계 분석의 범주에 속한다고 주장할 수 있으며, 1957년 퍼셉트론의 발명으로 이 분야의 시작을 역으로 거슬러 올라갈 수 있다. 이러한 오래된 알고리즘이 최신 기계 학습의 트렌드와 발전을 지원하고 깊이 얽혀 있는 것을 고려할 때, 이는 논쟁의 여지가 있는 입장이다. 따라서 최신 혁신을 뒷받침하는 ‘클래식’ 빌딩 블록과 AI 명예의 전당에 조기에 출마하는 일부 새로운 참가자를 살펴보겠다.
1: 트랜스포머
2017년 Google Research는 논문 Attention Is All You Need을 발표했다. 이 연구는 인코더/디코더 및 재귀 신경망 모델의 ‘파이프’에서 주의 메커니즘을 중앙 변환 기술로 승격시키는 새로운 아키텍처를 제시했다. 이 접근 방식은 트랜스포머로 명명되었으며, 자연어 처리(NLP)에서 혁신적인 방법론이 되어 autoregressive 언어 모델 및 AI 포스터 차일드 GPT-3를 비롯한 많은 예제를 구동한다.
트랜스포머는 시퀀스 전달 문제를 우아하게 해결했으며, ‘변환’이라고도 한다. 이는 입력 시퀀스를 출력 시퀀스로 처리하는 것을 다룬다. 트랜스포머는 또한 연속적으로 데이터를 수신하고 관리하며, 순차적 배치가 아닌 시퀀스 형태로 데이터를 처리한다. 이는 RNN 아키텍처에서 얻을 수 없는 ‘기억의 지속성’을 허용한다. 트랜스포머에 대한 자세한 개요는 참조 문서를 참조하라.
2: 생성적 적대 신경망 (GANs)
트랜스포머가 GPT-3의 출시와 함께 대중의 상상력을 사로잡았지만, 생성적 적대 신경망(GAN)은 자체적으로 인지도 있는 브랜드가 되었다. GAN 아키텍처는 생성기와 판별기로 구성된다. 생성기는 데이터셋의 수천 개의 이미지 중 하나를 재구성하려고 시도한다. 각 시도에서 판별기는 생성기의 작업을 평가하고, 생성기에 다시 시도하도록 지시한다. 그러나 이전 재구성이 어떻게 잘못되었는지에 대한 통찰력을 제공하지 않는다.
Source: https://developers.google.com/machine-learning/gan/gan_structure
