SEER: 컴퓨터 비전 모델의 자기지도학습에서 이룬 돌파구

지난 10년간 인공지능(AI)과 머신러닝(ML)은 크게 발전했습니다. 오늘날 모델은 이전보다 정확하고 효율적이며 뛰어난 능력을 갖췄습니다. 이미지나 영상의 객체를 자연스럽고 정확하게 인식하고 인간의 지능에 비견되는 글과 음성을 생성할 수 있습니다.

오늘날 AI와 ML 모델은 텍스트를 해석하고 이미지나 영상 프레임의 객체를 식별하는 등의 작업을 가르쳐 주는 레이블이 있는 데이터셋의 학습에 크게 의존합니다.

하지만 모델은 완벽하지 않습니다. 연구자들은 레이블이나 주석에 반드시 의존하지 않고 주어진 정보에서 학습하는 모델을 개발하고 있습니다. 이 접근은 자기지도학습이라고 하며, 오늘날 AI의 능력을 넘어서는 문제를 풀 수 있는 “상식” 또는 배경지식을 갖춘 모델을 만드는 효율적인 방법 중 하나입니다.

자기지도학습은 이미 자연어 처리에서 성과를 보여 줬습니다. 개발자는 방대한 데이터를 처리하는 대형 모델을 학습시킬 수 있었으며, 다음 분야에서 여러 돌파구가 나왔습니다. 자연어 추론, 기계 번역, 질의응답.

Facebook (META ) AI의 SEER 모델은 컴퓨터 비전에서 자기지도학습의 가능성을 극대화하려 합니다. SEER는 SElf SupERvised의 약자로, 10억 개가 넘는 매개변수를 가진 자기지도 컴퓨터 비전 모델입니다. 적절한 주석이나 레이블이 없는 인터넷의 임의 이미지 집합에서도 패턴을 찾고 학습할 수 있습니다.

컴퓨터 비전에 자기지도학습이 필요한 이유

데이터 주석 또는 레이블링은 머신러닝과 AI 모델 개발의 전처리 단계입니다. 이미지나 영상 프레임 같은 원시 데이터를 식별하고 레이블을 붙여 모델에 맥락을 알려 줍니다. 이 레이블을 통해 모델은 데이터에 대해 정확하게 예측할 수 있습니다.

컴퓨터 비전 모델 개발의 큰 어려움은 고품질 주석 데이터를 찾는 것입니다. 컴퓨터 비전 모델은 레이블이나 주석이 있는 데이터셋에서 이미지 객체를 인식하는 패턴을 학습합니다.

데이터 주석과 컴퓨터 비전에서의 활용에는 다음과 같은 어려움이 있습니다.

일관된 데이터셋 품질 관리

개발자의 큰 과제는 고품질 데이터셋에 꾸준히 접근하는 것입니다. 올바른 레이블과 선명한 이미지가 있으면 학습과 정확도가 개선되지만, 이런 데이터를 지속적으로 확보하는 일 자체가 어렵습니다.

인력 관리

레이블링에는 대량의 비정형·미분류 데이터를 처리하고 품질도 지킬 많은 인력이 필요해 인력 관리 문제가 생깁니다. 따라서 품질과 수량의 균형이 중요합니다.

재정적 제약

레이블링의 재정적 제약은 특히 큰 장애물입니다. 많은 경우 레이블링 비용이 전체 프로젝트 비용의 상당 부분을 차지합니다.

이처럼 데이터 주석은 고급 컴퓨터 비전 모델, 특히 방대한 학습 데이터를 다루는 복잡한 모델 개발의 걸림돌입니다. 현재 모델이 다루지 못하는 작업을 해결하는 경제적이고 고도화된 모델을 위해 자기지도학습이 필요합니다.

이미 통제된 환경, 주로 ImageNet에서 잘 작동하는 자기지도학습 모델이 많습니다. 하지만 다음과 같은 컴퓨터 비전 자기지도학습의 핵심 조건은 충족하지 못합니다. 잘 정의된 데이터셋뿐 아니라 제한 없는 데이터셋이나 임의 이미지에서도 학습해야 한다는 것입니다.이상적으로 구현하면 자기지도학습은 더 정확하고 유능하며 비용 효율적이고 실현 가능한 컴퓨터 비전 모델을 개발하는 데 도움이 됩니다.

SEER, SElf-supERvised 모델 소개

최근 AI와 ML 동향은 반지도학습, 약지도학습, 자기지도학습 같은 사전 학습이 대부분의 딥러닝 모델에서 후속 작업 성능을 크게 높일 수 있음을 보여 줍니다.

성능 향상에 크게 기여한 핵심 요인은 두 가지입니다.

방대한 데이터셋으로 사전 학습

방대한 데이터셋은 다양한 데이터를 보여 주므로 대체로 정확도와 성능을 개선합니다. 모델이 데이터 패턴을 더 잘 이해하고 실제 상황에서 더 잘 작동하게 합니다.

GPT-3와 Wav2vec 2.0 같은 고성능 모델도 대규모 데이터로 학습합니다. GPT-3 언어 모델의 사전 학습 데이터는 3,000억 단어 이상이며, 음성 인식용 Wav2vec 2.0은 5만 3,000시간 이상의 음성 데이터를 사용합니다.

대용량 모델

매개변수가 많은 모델은 데이터의 잡음이나 간섭보다 필요한 대상에 집중할 수 있어 대체로 정확한 결과를 냅니다.

과거에도 레이블이 없거나 선별되지 않은 데이터로 자기지도학습 모델을 학습하려는 시도가 있었지만 데이터셋은 수백만 이미지 정도로 작았습니다. 그렇다면 방대한 미분류·미선별 데이터로 학습해도 높은 정확도를 얻을 수 있을까요? 바로 이것이 SEER가 답하려는 질문입니다.

SEER는 선별되거나 레이블이 있는 데이터셋에 의존하지 않고 인터넷 이미지를 다루려는 딥러닝 프레임워크입니다. 개발자는 무작위 데이터에서 별도 감독 없이 크고 복잡한 모델을 학습할 수 있습니다. 모델은 수동 입력을 추가하지 않아도 데이터를 분석해 패턴과 정보를 배웁니다.

궁극적 목표는 미선별 데이터로 사전 학습해 전이학습에서 최첨단 성능을 내는 전략을 개발하는 것입니다. 또한 끝없이 들어오는 데이터에서 자기지도 방식으로 지속해서 학습하는 시스템을 만들려 합니다.

SEER는 인터넷에서 모은 수십억 개의 무작위·비제한 이미지로 대용량 모델을 학습합니다. 학습이나 필터링에 이미지 메타데이터나 주석을 사용하지 않습니다. 최근 미선별 데이터의 자기지도학습 모델이 후속 작업에서 지도 사전 학습 모델보다 좋은 결과를 내며 가능성을 보여 줬습니다.

SEER와 RegNet의 관계

SEER 분석에서는 7억 개 이상 매개변수의 RegNet 아키텍처에 주목합니다. 미선별 데이터의 자기지도학습이라는 목표에 맞는 이유는 두 가지입니다.

1. 성능과 효율성의 균형이 좋습니다.
2. 유연성이 높아 매개변수 수에 맞춰 확장할 수 있습니다.

SEER 프레임워크: 여러 분야의 선행 연구

SEER는 미선별 또는 미분류 데이터셋에서 자기지도학습으로 큰 모델을 학습하는 한계를 탐구하며 선행 연구에서 아이디어를 얻습니다.

시각적 특징의 비지도 사전 학습

컴퓨터 비전에서는 이미 한동안 다음과 같은 방법으로 자기지도학습을 구현해 왔습니다. 오토인코더, 인스턴스 수준 구별, 클러스터링. 최근 대조학습 방식은 비지도 사전 학습이 후속 작업에서 지도학습보다 나은 성능을 낼 수 있음을 보여 줍니다.

시각적 특징의 비지도학습에서 중요한 결론은 필터링된 데이터로 학습한다면 지도 레이블이 필요하지 않다는 것입니다. SEER는 대형 아키텍처가 방대한 미선별·미분류 무작위 이미지에서 정확한 표현을 배울 수 있는지 살펴봅니다.

대규모 시각적 특징 학습

이전 모델은 필터링한 수백만 이미지와 레이블이 있는 대형 데이터셋을 이용한 약지도·지도·반지도 사전 학습으로 이점을 얻었습니다. 수십억 이미지로 사전 학습하면 처음부터 학습하는 것보다 대체로 정확도가 높다는 분석도 있습니다.

대규모 학습은 보통 이미지를 목표 개념에 맞추는 필터링에 의존합니다. 사전 학습된 분류기의 예측이나 ImageNet 클래스의 동의어 집합에 해당하는 해시태그를 이용합니다. SEER는 임의 이미지에서 특징을 배우므로 학습 데이터를 미리 정한 특징이나 개념에 맞춰 선별하지 않습니다.

이미지 인식 아키텍처 확장

대형 아키텍처는 더 좋은 시각적 특징을 학습하는 데 도움이 됩니다. 대규모 데이터셋으로 사전 학습할 때 용량이 작은 모델은 과소적합하기 쉬워 큰 아키텍처가 중요합니다. 대조학습에서는 인스턴스를 구별해 더 좋은 표현을 배워야 하므로 특히 중요합니다.

이미지 인식의 확장은 깊이와 너비 변경만의 문제가 아닙니다. 높은 용량과 확장 효율성을 함께 얻으려면 관련 연구를 충분히 검토해야 합니다. SEER는 RegNets 모델 계열이 대규모 자기지도학습에 주는 이점을 보여 줍니다.

SEER의 방법과 구성 요소

SEER는 시각적 표현을 사전 학습하는 데 여러 방법과 구성 요소를 사용합니다. 핵심 요소는 RegNet과 SwAV입니다. 간단히 살펴보겠습니다.

SwAV를 이용한 자기지도 사전 학습

SEER는 온라인 자기지도학습 방식인 SwAV로 사전 학습합니다. SwAV는 주석 없이 합성곱 신경망을 학습하는 온라인 클러스터링 방법입니다. 같은 이미지의 서로 다른 뷰에서 일관된 클러스터 할당을 내는 임베딩을 학습하고, 데이터 증강에 불변인 클러스터에서 의미적 표현을 배웁니다.

실제로는 각 뷰의 독립적인 클러스터 할당으로 특징을 비교합니다. 할당이 같은 특징이나 비슷한 특징을 담으면 한 뷰의 특징으로 다른 뷰의 할당을 예측할 수 있습니다.

SEER는 K개의 클러스터를 고려하며 각 클러스터에 학습 가능한 d차원 벡터 vk가 연결됩니다.배치의 이미지 수가 B일 때 각 이미지 i를 두 뷰로 변환합니다. xi1, xi2.합성곱 신경망으로 뷰의 특징을 추출해 두 특징 집합을 얻습니다. (f11, …, fB2), (f12, …, fB2). 각 집합은 최적 수송 솔버를 통해 클러스터 프로토타입에 독립적으로 할당됩니다.

최적 수송 솔버는 특징을 클러스터에 고르게 배분해 모든 표현이 하나의 프로토타입으로 몰리는 자명한 해를 피합니다. 할당은 두 집합 사이에서 교환됩니다. 클러스터 할당 yi1, 즉 뷰 xi1의 할당은 특징 표현 fi2, 즉 뷰 xi2의 특징으로 예측해야 하며 반대 방향도 같습니다.

모든 예제의 손실을 최소화하도록 프로토타입 가중치와 합성곱 신경망을 학습합니다. 클러스터 예측 손실 l은 본질적으로 f의 내적에 대한 소프트맥스와 클러스터 할당 사이의 교차엔트로피입니다.

RegNetY: 확장 효율적인 모델 계열

모델 용량과 데이터를 늘리려면 메모리뿐 아니라 실행 시간도 효율적인 아키텍처가 필요합니다. RegNets는 바로 이를 위해 설계된 모델 계열입니다.

RegNet의 설계 공간은 4단계 합성곱 신경망입니다. 각 단계는 같은 블록의 연속으로 구성되며, 주로 잔차 병목 블록의 구조를 고정합니다.

SEER는 RegNetY에 주목하고 표준 RegNets에 Squeeze-and-Excitation을 추가해 성능을 개선합니다. RegNetY는 5개 매개변수로, 정해진 FLOPs와 합리적인 자원 사용량에서 좋은 구성을 찾습니다. SEER는 이를 자기지도 사전 학습에 직접 적용합니다.

RegNetY 256GF 아키텍처SEER는 RegNetY 계열 중 주로 256GF를 사용하며 매개변수는 RegNets의 확장 규칙을 따릅니다. 구성은 다음과 같습니다.

4단계 너비는 (528, 1056, 2904, 7392), 깊이는 (2, 7, 17, 1)이며 총 매개변수는 6억 9,600만 개 이상입니다. NVIDIA V100 32GB GPU 512개에서 이미지 8,704장 배치의 반복 한 번은 약 6,125ms입니다. 10억 장 이상을 같은 배치와 512개 이상의 GPU로 학습하려면 114,890회 반복이 필요하며 약 8일 걸립니다.

대규모 최적화와 학습

SEER는 자기지도 방법을 대규모에 적용하고 조정하기 위해 다음 개선을 제안합니다.

1. 학습률 스케줄
2. GPU당 메모리 사용량 감소
3. 학습 속도 최적화
4. 대규모 사전 학습 데이터

간단히 살펴보겠습니다.

학습률 스케줄

두 가지를 검토합니다. 코사인 학습률 스케줄과 고정 학습률 스케줄입니다.

코사인 스케줄은 업데이트 수에 맞춰지므로 모델을 공정하게 비교하는 데 사용합니다. 하지만 학습 중 이미지가 등장하는 시점에 따라 가중치를 달리하고 전체 업데이트 수로 스케줄을 정하므로 대규모 학습에는 잘 맞지 않습니다.

고정 스케줄은 손실이 더 줄지 않을 때까지 학습률을 유지하다가 절반으로 낮춥니다. 분석에서는 유연성이 더 큰 고정 스케줄이 좋았습니다. 다만 가장 큰 모델은 10억 이미지만 학습하므로 코사인 스케줄을 사용합니다. 해당 모델은 RegNet 256GF입니다.

GPU당 메모리 사용량 감소

혼합 정밀도와 그래디언트 체크포인팅으로 학습에 필요한 GPU 자원을 줄입니다. NVIDIA Apex의 O1 최적화 수준을 사용해 합성곱과 GEMM을 16비트 부동소수점으로 계산합니다. PyTorch의 그래디언트 체크포인팅은 계산량을 늘리는 대신 메모리를 절약합니다.

순전파의 중간 활성값을 버리고 역전파 때 다시 계산합니다.

학습 속도 최적화

혼합 정밀도는 속도에도 유리합니다. 가속기가 FP32보다 작은 FP16을 활용해 처리량을 늘리고 메모리 대역폭 병목을 완화합니다.

또한 GPU 사이의 BatchNorm을 전역 동기화 대신 프로세스 그룹별로 동기화해 시간을 줄입니다. 데이터 로더는 더 많은 학습 배치를 미리 가져와 PyTorch 데이터 로더보다 처리량을 높입니다.

대규모 사전 학습 데이터

SEER는 사전 학습에 10억 장 이상의 이미지를 사용하며 인터넷과 Instagram에서 직접 임의로 표본 추출합니다. 실제 환경에서 온라인으로 학습하므로 전처리, 중복 제거, 해시태그 필터링 같은 선별을 하지 않습니다.

데이터셋은 고정되어 있지 않고 3개월마다 이미지가 갱신됩니다. 이 갱신은 성능에 영향을 주지 않습니다.

SEER 구현

RegNetY 256GF를 SwAV로 사전 학습하며 이미지당 6개 크롭, 해상도 2×224 + 4×96을 사용합니다. 3층 다층 퍼셉트론(MLP)의 투영 헤드 차원은 10444×8192, 8192×8192, 8192×256입니다.

헤드에 BatchNorm을 사용하는 대신 16,000개 프로토타입을 사용하고 온도 t를 0.1로 둡니다. Sinkhorn 정규화 매개변수는 0.05이며 알고리즘을 10회 반복합니다. GPU 간 BatchNorm 통계를 동기화하고 크기 64의 프로세스 그룹을 여러 개 만듭니다.

LARS(계층별 적응형 학습률 조정) 최적화기, 가중치 감쇠 10-5, 활성값 체크포인트, O1 혼합 정밀도 최적화를 사용합니다. 확률적 경사하강법으로 학습하며 무작위 이미지 8,192장 배치를 NVIDIA GPU 512개에 나눠 GPU당 16장을 처리합니다.

처음 8,000번 업데이트 동안 학습률을 0.15에서 9.6까지 선형 증가시킵니다. 워밍업 후 코사인 스케줄로 최종 0.0096까지 줄입니다. 전체적으로 122,000번 반복하며 10억 장 이상의 이미지를 학습합니다.

SEER의 결과

자기지도 사전 학습의 특징 품질을 여러 벤치마크와 후속 작업에서 평가합니다. 후속 작업의 이미지와 레이블에 제한적으로만 접근하는 소량 데이터 설정도 살펴봅니다.

대규모 사전 학습 모델의 미세 조정

무작위 데이터로 사전 학습한 모델을 ImageNet 객체 분류에 전이해 품질을 측정합니다. 다음 조건에서 미세 조정 결과를 평가합니다.

실험 설정

용량이 다른 6개 RegNet 아키텍처를 사전 학습합니다. RegNetY-{8, 16, 32, 64, 128, 256}GF를 10억 장 이상의 무작위 공개 Instagram 이미지에서 SwAV로 학습합니다. 이후 올바른 레이블이 있는 128만 장 이상 학습 이미지와 평가용 5만 장 이상 검증 이미지의 ImageNet으로 미세 조정합니다.

SwAV와 같은 데이터 증강을 사용하고 SGD로 35에포크 미세 조정합니다. 배치는 256, 초기 학습률은 0.0125이며 30에포크 후 10분의 1로 줄입니다. 모멘텀은 0.9, 가중치 감쇠는 10-4입니다. 224×224 중앙 크롭으로 검증 데이터의 top-1 정확도를 보고합니다.

다른 자기지도 사전 학습 방법과 비교

다음 표는 가장 큰 RegNetY-256GF 모델을 기존 자기지도 사전 학습 모델과 비교합니다.

SEER의 ImageNet top-1 정확도는 84.2%로, 기존 최고 사전 학습 모델 SimCLRv2보다 1% 높습니다.

다음 그림은 여러 용량의 모델을 비교합니다. 용량과 관계없이 RegNet과 SwAV를 결합하면 사전 학습에서 정확한 결과를 냅니다.

SEER는 미선별 무작위 이미지로 사전 학습하며 RegNet과 SwAV를 사용합니다. 다른 네트워크 구조의 SimCLRv2 및 ViT와 비교한 뒤 ImageNet으로 미세 조정하고 top-1 정확도를 보고합니다.

모델 용량의 영향

모델 용량은 사전 학습 성능에 크게 영향을 줍니다. 다음 그림은 처음부터 학습할 때와 비교합니다.

사전 학습 모델의 top-1 정확도가 더 높으며 매개변수가 늘수록 차이가 커집니다. 용량 증가는 두 방식 모두에 도움이 되지만 매개변수가 많을수록 사전 학습 모델에서 효과가 더 큽니다.

ImageNet에서 처음부터 학습하면 과적합할 수 있는 이유로 데이터셋의 작은 규모가 제시됩니다.

소량 데이터 학습

후속 작업에서 전체 데이터의 일부만 사용하는 설정으로 SEER의 성능을 평가합니다.

실험 설정

두 데이터셋을 사용합니다. Places205와 ImageNet입니다. 전이학습에서 이미지와 레이블 모두에 제한적으로 접근합니다. 전체 이미지는 보고 레이블만 제한하는 일반적인 자기지도학습 평가와 다릅니다.

• Places205 결과

다음 그림은 Places205 데이터의 서로 다른 비율에서 사전 학습의 영향을 보여 줍니다.

같은 RegNetY-128GF를 ImageNet에서 지도 사전 학습한 경우와 비교합니다. Places205 미세 조정에 쓴 데이터 비율과 관계없이 top-1 정확도가 약 2.5% 꾸준히 개선됩니다.

지도 및 자기지도 사전 학습의 차이는 학습 데이터의 성격으로 설명할 수 있습니다. 실제 환경의 임의 이미지에서 배운 특징은 장면 분류에 더 적합할 수 있습니다. 개념의 불균등한 분포도 Places205 같은 불균형 데이터셋의 사전 학습에 유리할 수 있습니다.

ImageNet 결과

위 표는 SEER와 소량 데이터 학습의 자기지도·반지도 접근을 비교합니다. 다른 방법은 사전 학습에 ImageNet의 120만 이미지를 모두 보고 레이블만 제한합니다. 반면 SEER 방식은 해당 데이터셋 이미지의 1~10%만 봅니다.

동일 분포의 이미지를 더 많이 본 다른 방식은 큰 이점을 얻습니다. 그럼에도 SEER는 ImageNet의 1~10%만 보고 약 80%의 top-1 정확도를 얻어 표의 다른 방식에 조금 못 미치는 수준에 도달합니다.

모델 용량의 영향

다음 그림은 ImageNet의 1%, 10%, 100%에서 용량이 소량 데이터 학습에 주는 영향을 보여 줍니다.

이미지와 레이블 접근이 줄어드는 상황에서도 용량을 늘리면 정확도가 개선됩니다.

다른 벤치마크로 전이

추가 평가를 위해 사전 학습 특징을 다른 후속 작업으로 전이합니다.

이미지 분류의 선형 평가

위 표는 SEER의 RegNetY-256GF 특징과 같은 아키텍처를 ImageNet에서 지도 또는 비지도 사전 학습한 RegNetY-128GF 특징을 비교합니다. 가중치를 고정하고 후속 작업의 학습 데이터로 특징 위에 선형 분류기를 학습합니다. 벤치마크는 Open-Images(OpIm), iNaturalist(iNat), Places205(Places), Pascal VOC(VOC)입니다.

객체 탐지와 분할

다음 그림은 탐지와 분할의 사전 학습 특징을 비교·평가합니다.

COCO에서 사전 학습된 RegNetY-64GF와 RegNetY-128GF를 구성 요소로 Mask-RCNN을 학습합니다. 두 아키텍처와 후속 작업 모두에서 SEER의 자기지도 사전 학습은 지도학습보다 AP 1.5~2포인트 높습니다.

약지도 사전 학습과 비교

인터넷 이미지에는 대개 메타 설명, 대체 텍스트, 설명이나 위치 정보가 있어 사전 학습에 이용할 수 있습니다. 선별된 해시태그 집합을 예측하면 시각적 특징 품질이 좋아진다는 연구가 있습니다. 하지만 이미지 필터링이 필요하고 텍스트 메타데이터가 있을 때 가장 잘 작동합니다.

다음 그림은 무작위 이미지로 학습한 ResNetXt101-32dx8d와 해시태그·메타데이터가 있는 이미지로 학습한 같은 아키텍처의 top-1 정확도를 비교합니다.

SEER는 사전 학습에 메타데이터를 사용하지 않아도 이를 사용하는 모델과 비슷한 정확도를 냅니다.

구성 요소 제거 실험

제거 실험은 특정 요소를 완전히 제거해 성능 변화를 살펴봄으로써 그 요소가 전체 성능에 주는 영향을 분석합니다.

모델 아키텍처의 영향

아키텍처는 특히 규모를 늘리거나 사전 학습 데이터를 바꿀 때 성능에 큰 영향을 줍니다.

다음 그림은 ImageNet 선형 평가로 아키텍처 변경이 사전 학습 특징 품질에 주는 영향을 보여 줍니다. 처음부터 ImageNet으로 학습할 때 높은 정확도를 내는 모델에 유리하지 않은 평가이므로 특징을 직접 평가할 수 있습니다.

현재 설정에서 ResNeXt와 ResNet은 마지막 바로 전 층의 특징이 더 좋습니다. 한편 RegNet은 다른 아키텍처보다 우수합니다.

전반적으로 용량 증가는 특징 품질에 도움이 되며 성능은 로그 형태로 증가합니다.

사전 학습 데이터 확장

더 큰 데이터셋이 시각적 특징 품질을 높이는 이유로 더 많은 고유 이미지와 더 많은 매개변수가 제시됩니다. 각각 살펴보겠습니다.

고유 이미지 수 증가

위 그림은 매개변수 수는 같고 고유 이미지 수는 다른 RegNet8과 RegNet16의 두 구성을 비교합니다. SEER는 10억 이미지의 1에포크 또는 고유 이미지 32개의 32에포크에 해당하는 업데이트를 단일 반주기 코사인 학습률로 수행합니다.

좋은 성능을 위해 고유 이미지 수는 많을수록 좋습니다. 이 경우 ImageNet보다 많은 고유 이미지를 넣었을 때 잘 작동합니다.

더 많은 매개변수

다음 그림은 RegNet-128GF로 10억 이미지를 학습할 때의 성능입니다. 매개변수를 늘리면 성능이 꾸준히 증가합니다.

현실 세계의 자기지도 컴퓨터 비전

지금까지 SEER와 자기지도학습의 이론을 살펴봤습니다. 이제 실제 환경에서의 작동과 자기지도 컴퓨터 비전의 미래로서 SEER의 의미를 살펴보겠습니다.

SEER는 사전 학습에 수조 규모의 데이터셋·매개변수와 수조 단어를 활용하는 최첨단 자연어 처리 모델의 발전에 견줄 만합니다. 일반적으로 학습 입력 데이터가 늘면 후속 작업 성능도 좋아지며 컴퓨터 비전에서도 같습니다.

하지만 텍스트와 이미지는 다릅니다. 텍스트의 의미 개념은 보통 개별 단어로 나뉘지만, 이미지에서는 어느 픽셀이 어떤 개념에 속하는지 모델이 결정해야 합니다.

이미지마다 시점이 다르고 같은 객체도 개념이 크게 달라질 수 있습니다. 고양이가 있는 이미지에서 한 장은 가만히 있고 다른 장은 공을 가지고 노는 모습일 수 있습니다. 같은 개념의 차이를 이해하려면 많은 이미지를 봐야 합니다.

고차원의 복잡한 이미지 데이터를 효율적으로 처리하도록 확장하려면 두 요소가 필요합니다.

1. 방대한 이미지에서 시각적 개념을 포착하고 학습할 만큼 큰 합성곱 신경망(CNN)
2. 레이블·주석·메타데이터 없이 많은 이미지의 패턴을 학습하는 알고리즘

SEER는 이를 컴퓨터 비전에 적용합니다. 온라인 클러스터링으로 비슷한 시각적 개념의 이미지를 묶거나 짝짓는 SwAV의 발전을 활용해 유사성에서 패턴을 더 잘 찾아냅니다.

SwAV 아키텍처로 자기지도 컴퓨터 비전의 효율을 높이고 학습 시간을 최대 6배 단축할 수 있습니다.

10억 이미지 이상의 대규모 학습에는 시간·메모리뿐 아니라 정확도도 효율적인 아키텍처가 필요합니다. RegNet은 수조 매개변수로 확장할 수 있는 합성곱 모델이며 메모리와 실행 시간 제약에 맞춰 최적화할 수 있습니다.

결론: 자기지도학습의 미래

자기지도학습은 AI와 ML의 중요한 화제입니다. 모델 학습만을 위해 정성껏 선별하고 레이블을 붙인 데이터 대신 인터넷의 방대한 무작위 데이터에서 직접 정보를 배울 수 있기 때문입니다.

현실에 잘 적응하고 단일 목적이 아닌 여러 용도로 쓸 수 있는 모델을 만들 가능성을 제공하므로 AI와 ML의 미래에 중요합니다. SEER는 이를 컴퓨터 비전에 구현한 이정표입니다.

SEER는 컴퓨터 비전의 변화와 레이블 데이터 의존도 감소를 향한 첫걸음입니다. 주석의 필요성을 없애 개발자가 다양하고 방대한 데이터를 다루게 하려 합니다. 의료처럼 이미지나 메타데이터가 제한된 분야의 모델 개발에 특히 도움이 됩니다.

사람의 주석 작업을 없애면 개발과 배포가 빨라져 급변하는 상황에도 더 신속하고 정확하게 대응할 수 있습니다.