구글 리서치, AI의 대규모 접근 방식에서 병목 현상을 발견

구글 리서치의 새로운 논문은 현재 매우 높은 볼륨의 데이터셋을 구축하는 추세가 효과적인 인공 지능 시스템을 개발하는 데 반생산적일 수 있음을 나타냅니다. 실제로 연구에 따르면 더 나은 기계 학습 제품은 기술적으로 ‘더 나쁨’인 데이터셋을 사용하여 훈련될 수 있습니다.

연구자들이 얻은 원칙이 유효하다면, 최근에发布된 LAION-400M(400만 개의 텍스트/이미지 쌍을 포함)과 같은 ‘초대규모’ 데이터셋 및 GPT-3 신경 언어 엔진의 데이터(175억 개의 매개변수를 포함)는 전통적인 기계 학습 아키텍처와 방법론에서 ‘열적 한계’에 직면하여 하위 응용 프로그램을 일반화하는 데 유용한 방식으로 방해를 받을 수 있습니다.

연구자들은 또한 이러한 불균형을 해결하기 위해 초대규모 데이터셋 아키텍처를 재고하는 대체 방법을 제안합니다.

논문은 다음과 같이 말합니다:

“‘이 현상이 발생하는 이유를 더 깊이 이해하기 위해, 우리는 모델의 레이어를 통해 나타나는 표현 방식이 밀접하게 관련되어 있음을 보여줍니다. 우리는 업스트림과 다운스트림의 성능이 서로 상반되는更加 극단적인 시나리오를 보여줍니다. 즉, 다운스트림 성능을 개선하려면 업스트림 정확도를 손상시켜야 합니다.'”

이 연구는 ‘대규모 사전 훈련의 한계를 탐색’이라고 제목이 붙여져 있으며, 구글 리서치의 4명의 저자에 의해 수행되었습니다.

‘포화’를 조사하다

저자들은 기계 학습과 데이터 관계에 대한 가정에 도전합니다. 즉, 모델과 데이터 크기를 늘리면 성능이 향상되고, 이러한 향상된 성능은 하위 작업에 선형적으로 전달됩니다. 따라서 최종적으로 시장에 출시되는 온디바이스 알고리즘은 전체 크기의 업스트림 아키텍처의 통찰력을 완전히 활용할 수 있습니다.

‘이러한 관점은,’ 연구자들은 주목합니다‘하나의 거대한 코퍼스에서 성능을 개선하는 데 컴퓨팅 자원과 연구 노력을 투자하는 것이 유용하다고 제안합니다. 이를 통해 많은 다운스트림 작업을 거의 무료로 해결할 수 있습니다.'”

그러나 논문은 컴퓨팅 자원의 부족과 모델 평가의 ‘경제적’ 방법이 데이터 볼륨과 유용한 AI 시스템 간의 관계 동역학에 대한 잘못된 인상을 줄 수 있다고 주장합니다. 연구자들은 이러한 관행을 ‘주요 약점’으로 식별합니다. 연구 커뮤니티는 일반적으로 로컬(양성) 결과가 유용한 후속 구현으로 번역될 것이라고 가정합니다:

‘컴퓨팅 자원 제한으로 인해 하이퍼파라미터 값의 다른 선택에 대한 성능은 보고되지 않습니다. 스케일링 플롯은 각 스케일에 대해 고정되거나 단순한 스케일링 함수에 의해 결정되는 하이퍼파라미터가 선택된 경우 더 유리하게 보입니다.'”

연구자들은 또한 많은 스케일링 연구가 절대적인 척도에 대해 측정되지 않고, 상태 오프 더 아트(state-of-the-art, SotA)와의 증분 개선으로 측정된다고 관찰합니다. ‘연구된 범위 밖에서는 스케일링이 유지될 이유가 없습니다.’

사전 훈련

이 논문은 컴퓨팅 자원을 절약하고 대규모 데이터에서 모델을 훈련하는 데 필요한 시간을 줄이기 위한 ‘사전 훈련’이라는 관행을 다룹니다. 사전 훈련 스냅샷은 데이터가 한 도메인에서 훈련 중에 일반화되는 방식을 다룹니다. 이는 자연어 처리(NLP), 딥페이크 등 다양한 기계 학습 분야와 전문 분야에서 일반적으로 사용됩니다.

이전의 학술 연구에 따르면 사전 훈련은 모델의 강건성과 정확성을 크게 향상시킬 수 있습니다. 그러나 새로운 논문은 상대적으로 짧은 훈련 시간의 사전 훈련 템플릿에서 특징의 복잡성이 더 큰 이익을 얻을 수 있다고 제안합니다. 이를 위해서는 파이프라인의 후반부로 이동하여야 합니다.

그러나 이것은 현재의 최고의 관행을 사용하여 사전 훈련된 모델에 의존하는 연구자들이 계속되는 한 발생할 수 없습니다. 연구에 따르면, ‘모든 가능한 다운스트림 작업에서 잘 수행되는 하나의 사전 훈련된 체크포인트를 찾을 수 없다’고 결론지었습니다.

연구

포화 효과를 설정하기 위해, 저자들은 4800개의 실험을 수행했습니다. 비전 트랜스포머, ResNets 및 MLP-Mixers를 사용하여 각각 1,000만 개에서 100억 개의 매개변수를 갖는 모델을 사용했습니다. 각 모델은 해당 분야에서 가장 높은 볼륨의 데이터셋을 사용하여 훈련되었습니다. 이는 ImageNet21K 및 구글의 JFT-300M을 포함합니다.

연구에 따르면, 데이터 다각성은 데이터, 모델 매개변수 및 컴퓨팅 시간을 늘릴 때 추가적인 축으로 고려되어야 합니다. 현재 업스트림 부분에 대한 훈련 자원과 연구자들의 주목이 집중되어 있기 때문에, 하위 응용 프로그램은 매개변수의 아발란체에 의해 효과적으로 포화 상태에 빠져 있습니다. 이는 배치된 알고리즘의 기능을 저하하여 특징을 탐색하고 추론 또는 변환을 수행하는 데 방해를 줍니다.

논문은 다음과 같이 결론지었습니다:

‘대규모 연구를 통해, 업스트림 작업의 성능을 개선함으로써 또는 하이퍼파라미터 및 아키텍처 선택을 통해, 다운스트림 작업의 성능은 포화하는 행동을 보여줍니다. 또한, 우리는 스케일링이 하나의 모델이 모든 것을 해결하는 솔루션으로 이어지지 않는다는 일반적인 이야기와는 반대로 강력한 경험적 증거를 제공합니다.'”