최고의 머신러닝 알고리즘 10가지

우리가 GPU 가속 머신러닝의 비범한 혁신의 시대를 살고 있음에도 불구하고, 최신 연구 논문들은 수십 년, 어떤 경우에는 70년 된 알고리즘들을 자주(그리고 두드러지게) 소개합니다. 일부는 이러한 오래된 방법들 중 많은 것이 머신러닝이라기보다 ‘통계적 분석’ 범주에 속하며, 이 분야의 시작을 퍼셉트론의 발명이 있었던 1957년으로만 거슬러 올라가야 한다고 주장할 수도 있습니다. 이러한 오래된 알고리즘들이 최신 트렌드와 머신러닝 분야의 주목받는 발전을 얼마나 지지하고 얽혀 있는지를 고려할 때, 이는 논쟁의 여지가 있는 입장입니다. 따라서 최신 혁신을 뒷받침하는 몇 가지 ‘클래식한’ 구성 요소들과 AI 명예의 전당에 일찌감치 이름을 올리려는 몇 가지 새로운 항목들을 살펴보겠습니다.

1: 트랜스포머

2017년 Google Research가 주도한 연구 협업은 논문 Attention Is All You Need으로 결실을 맺었습니다. 이 연구는 어텐션 메커니즘을 인코더/디코더 및 순환 신경망 모델의 ‘파이프라인’에서 그 자체로 중심적인 변환 기술로 격상시키는 새로운 아키텍처를 설명했습니다. 이 접근법은 트랜스포머라고 명명되었으며, 그 이후로 자연어 처리(NLP) 분야에서 혁신적인 방법론이 되었으며, 수많은 다른 예들 중에서도 자동회귀 언어 모델이자 AI의 대표 주자인 GPT-3를 구동합니다. 트랜스포머는 입력 시퀀스를 출력 시퀀스로 처리하는 데 관심을 두는 시퀀스 변환(일명 ‘변환’) 문제를 우아하게 해결했습니다. 또한 트랜스포머는 순차적인 배치가 아닌 연속적인 방식으로 데이터를 수신하고 관리하여, RNN 아키텍처가 얻도록 설계되지 않은 ‘기억의 지속성’을 허용합니다. 트랜스포머에 대한 더 자세한 개요는 우리의 참고 문서를 살펴보세요. CUDA 시대에 ML 연구를 지배하기 시작했던 순환 신경망(RNN)과 대조적으로, 트랜스포머 아키텍처는 쉽게 병렬화될 수 있어, RNN보다 훨씬 더 큰 규모의 데이터 코퍼스를 생산적으로 처리할 수 있는 길을 열었습니다. 일반적인 사용 트랜스포머는 OpenAI의 GPT-3가 출시되면서 2020년 대중의 상상력을 사로잡았는데, 이 모델은 당시 기록적인 1,750억 개의 매개변수를 자랑했습니다. 이 놀라운 성과는 결국 2021년 Microsoft의 Megatron-Turing NLG 530B 출시와 같은 후속 프로젝트에 의해 가려졌는데, 이 모델은 (이름에서 알 수 있듯이) 5,300억 개가 넘는 매개변수를 특징으로 합니다.

초대규모 트랜스포머 NLP 프로젝트의 타임라인. Source: Microsoft

트랜스포머 아키텍처는 NLP에서 컴퓨터 비전으로도 넘어와, OpenAI의 CLIP과 DALL-E와 같은 이미지 합성 프레임워크의 새로운 세대를 구동하며, 이들은 텍스트>이미지 도메인 매핑을 사용하여 불완전한 이미지를 완성하고 훈련된 도메인에서 새로운 이미지를 합성하는 등 점점 더 많은 관련 응용 프로그램에 사용됩니다.

DALL-E가 플라토 흉상의 부분적 이미지를 완성하려고 시도합니다. Source: https://openai.com/blog/dall-e/

2: 생성적 적대 신경망(GANs)

트랜스포머가 GPT-3의 출시와 채택을 통해 엄청난 미디어 커버리지를 얻었지만, 생성적 적대 신경망(GAN)은 그 자체로 인지도 있는 브랜드가 되었으며, 결국 딥페이크처럼 동사로 사용될 수도 있습니다. 주로 이미지 합성에 사용되는 GAN은 처음에 2014년에 제안되었으며, 아키텍처는 생성기와 판별기로 구성됩니다. 생성기는 데이터셋의 수천 장의 이미지를 순환하며, 반복적으로 이를 재구성하려고 시도합니다. 각 시도마다 판별기는 생성기의 작업을 평가하고, 생성기를 다시 보내 더 잘하도록 하지만, 이전 재구성이 어떻게 잘못되었는지에 대한 통찰력은 제공하지 않습니다.

Source: https://developers.google.com/machine-learning/gan/gan_structure

이는 생성기가 판별기가 어디가 잘못되었는지 알려주었다면 발생했을 수 있는 잠재적인 막다른 길을 따르는 대신, 다양한 경로를 탐색하도록 강제합니다(아래 #8 참조). 훈련이 끝날 때쯤이면 생성기는 데이터셋 내 점들 사이의 관계에 대한 상세하고 포괄적인 지도를 갖게 됩니다.

논문 Improving GAN Equilibrium by Raising Spatial Awareness에서 발췌: 새로운 프레임워크가 GAN의 때로는 신비로운 잠재 공간을 순환하며, 이미지 합성 아키텍처에 반응적인 도구성을 제공합니다. Source: https://genforce.github.io/eqgan/

비유하자면, 이는 런던 중심부로 가는 단조로운 통근길 하나를 배우는 것과, 지식(The Knowledge)을 고심하며 습득하는 것의 차이입니다. 그 결과는 훈련된 모델의 잠재 공간에 있는 고수준 특징들의 모음입니다. 고수준 특징에 대한 의미론적 지표는 ‘사람’일 수 있는 반면, 그 특징과 관련된 특이성을 따라 내려가면 ‘남성’ 및 ‘여성’과 같은 다른 학습된 특성을 발견할 수 있습니다. 더 낮은 수준에서는 하위 특징이 ‘금발’, ‘코카서스인’ 등으로 분해될 수 있습니다. GAN과 인코더/디코더 프레임워크의 잠재 공간에서 얽힘은 주목할 만한 문제입니다: GAN이 생성한 여성 얼굴의 미소는 잠재 공간에서 그녀의 ‘정체성’과 얽힌 특징인가, 아니면 평행한 분기인가?

thispersondoesnotexist의 GAN 생성 얼굴들. Source: https://this-person-does-not-exist.com/en

지난 몇 년간 이와 관련된 새로운 연구 계획이 점점 더 많이 등장하여, 아마도 GAN의 잠재 공간에 대한 특징 수준의 Photoshop 스타일 편집의 길을 열어줄 것이지만, 현재 많은 변환은 사실상 ‘전부 아니면 전무’ 패키지입니다. 특히, NVIDIA의 2021년 말 EditGAN 출시는 의미론적 분할 마스크를 사용하여 잠재 공간에서 높은 수준의 해석 가능성을 달성합니다. 일반적인 사용 인기 있는 딥페이크 동영상에의 (실제로는 상당히 제한된) 관여 외에도, 이미지/비디오 중심의 GAN은 지난 4년간 확산되어 연구자와 대중을 모두 매료시켰습니다. 새로운 출시의 어지러운 속도와 빈도를 따라가는 것은 도전이지만, GitHub 저장소 Awesome GAN Applications가 포괄적인 목록을 제공하려고 합니다. 생성적 적대 신경망은 이론적으로 잘 정의된 도메인, 텍스트를 포함한 어떤 도메인에서도 특징을 도출할 수 있습니다.

3: SVM

1963년에 기원한 서포트 벡터 머신(SVM)은 새로운 연구에서 자주 등장하는 핵심 알고리즘입니다. SVM에서 벡터는 데이터셋 내 데이터 포인트들의 상대적 배치를 매핑하는 반면, 서포트 벡터는 서로 다른 그룹, 특징 또는 특성 사이의 경계를 delineate합니다.

서포트 벡터는 그룹 사이의 경계를 정의합니다. Source: https://www.kdnuggets.com/2016/07/support-vector-machines-simple-explanation.html

도출된 경계를 초평면이라고 합니다. 낮은 특징 수준에서 SVM은 2차원입니다(위 이미지). 그러나 인식된 그룹 또는 유형의 수가 더 높은 경우 3차원이 됩니다.

더 깊은 포인트와 그룹 배열은 3차원 SVM을 필요로 합니다. Source: https://cml.rhul.ac.uk/svm.html

서포트 벡터 머신은 다양한 종류의 고차원 데이터를 효과적으로 그리고 불가지론적으로 처리할 수 있기 때문에, 딥페이크 탐지, 이미지 분류, 증오 발언 분류, DNA 분석 및 인구 구조 예측을 포함한 다양한 머신러닝 분야에서 널리 등장합니다.

4: K-평균 클러스터링

일반적으로 클러스터링은 비지도 학습 접근법으로, 밀도 추정을 통해 데이터 포인트를 분류하고 연구 중인 데이터의 분포 지도를 생성하려고 합니다. K-평균 클러스터링은 데이터에서