DeepMind, JEST 알고리즘 소개: AI 모델 훈련을 더 빠르고 저렴하고 친환경적으로 만드는

생성적 AI는 의료, 교육, 금융, 예술, 스포츠 등 다양한 분야에서 놀라운 발전을 이루고 있습니다. 이러한 발전은 주로 AI가 더 큰 데이터셋에서 학습하고 수십억 개의 매개변수를 가진 더 복잡한 모델을 구축하는 능力的 향상에서 비롯됩니다. 이러한 발전은 중요한 과학적 발견, 새로운 비즈니스 기회, 산업 성장을 가져왔지만, 특히 이러한 대규모 모델을 훈련하는 데 필요한 높은 비용과 환경적 영향으로 인해 높은 비용을 지불해야 합니다. 생성적 AI 모델을 훈련하는 데 필요한 학습 알고리즘은大量의 계산 능력을 필요로 하며, 이는 높은 에너지 소비와 주목할만한 탄소 발자국을 남깁니다.

이전의 생성적 AI를 지속 가능하게 만드는 노력은 주로 AI 훈련을 위한 하드웨어 효율성을 개선하고 매개변수가 적은 더 작은 모델을 개발하는 데 초점을 두었습니다. 그러나 Google DeepMind는 생성적 AI 훈련 알고리즘의 효율성을 개선하는 혁신적인 접근 방식을 취했습니다. 그들은 JEST (Joint Example Selection)라는 새로운 알고리즘을 개발했습니다. 이 알고리즘은 현재 기술보다 13배 빠르며 10배 더 에너지 효율적입니다.

이 기사에서는 AI 훈련의 도전과 JEST가 이러한 문제를 어떻게 해결하는지 탐구합니다. 또한 JEST 알고리즘의 더 넓은 의미와 미래 연구 방향을 고려하여, AI 훈련의 속도, 비용 효율성, 환경 친화성을 향상시키는 것을 넘어서서 JEST의 잠재적인 영향을 탐구합니다.

AI 훈련의 도전: 높은 비용과 환경적 영향

생성적 AI 모델을 훈련하는 것은 높은 비용과 상당한 환경적 영향을 미치는 도전을 제기합니다.

• 금융 비용: 생성적 AI 모델을 훈련하는 것은 비용이 많이 드는 일입니다. 최근 추정에 따르면 175억 개의 매개변수를 가진 OpenAI의 GPT-3와 같은 단일 대형 모델을 훈련하는 비용은 약 460만 달러입니다. ChatGPT-4를 훈련하는 비용은 OpenAI에 약 1억 달러입니다. 이러한 비용은 주로大量의 계산 리소스, 광범위한 데이터 처리, 그리고 장기간의 훈련 시간이 필요하기 때문입니다.
• 에너지 소비: 생성적 AI 훈련 프로세스는 매우 에너지 집약적입니다. 이러한 모델을 훈련하는 데에는 수천 개의 GPU가 필요하며, 수 기가와트시의 에너지를 소비하여 매우 에너지 집약적입니다. 데이터 센터는 AI 훈련을 위한 컴퓨팅 인프라를 보유하고 있으며, 매년 약 200테라와트시(TWh)의 전기를 소비하여 전 세계 전기 수요의 약 1%를 차지합니다. McKinsey 보고서에 따르면 미국의 데이터 센터 전력 소비는 2017년 17기가와트(GW)에서 2030년까지 35 GW로 증가할 수 있으며, 이러한 추가 수요를 충족하기 위해 9개의 후버 댐과 같은 출력이 필요할 것입니다.
• 탄소 발자국: 생성적 AI 모델을 훈련하는 데 필요한 높은 에너지 소비는 상당한 온실 가스 배출을 유발하며, 기후 변화를 악화시킵니다. 매사추세츠 대학교 암허스트의 연구에 따르면, 대형 AI 모델을 훈련하는 것은 5대 자동차의 수명 동안 배출되는 탄소와 같은 양의 이산화탄소를 배출할 수 있습니다. 특히, 단일 AI 모델을 훈련하는 것은 626,000 파운드의 이산화탄소를 배출할 수 있으며, 이는 315회의 대륙 간 비행과 같은 탄소 발자국에 해당합니다.

이러한 도전은 주로 두 가지 주요 원인으로부터 비롯됩니다. 첫째, 높은 에너지 소비를 하는 계산 하드웨어에 대한 의존성입니다. 둘째, 현재 훈련 알고리즘의 비효율성입니다. AI 커뮤니티는 에너지 효율적인 하드웨어를 개발하는 데 많은 진전을 이루었지만, 데이터 사용을 최적화하고 훈련 시간을 줄일 수 있는 더 지능적인 알고리즘을 개발하는 데 더 많은 노력이 필요합니다. Google의 최근에 소개된 JEST 알고리즘은 이러한 문제를 해결하기 위한 혁신적인 접근 방식을 제시합니다. JEST는 중요한 데이터를 지능적으로 선택하여 AI 훈련의 효율성을 크게 향상시키며, 더 지속 가능하고 비용 효율적인 생성적 AI 모델 훈련을 가능하게 합니다.

JEST 알고리즘 이해

JEST는 다중 모드 생성적 AI 모델을 더 효율적으로 훈련하는 데 설계된 학습 알고리즘입니다. JEST가 작동하는 방식을 이해하기 위해서는 AI 훈련을 복잡한 퍼즐을 해결하는 것으로 생각해 보십시오. 여기서 각 조각(데이터 포인트)은 전체 그림(AI 모델)을 구축하는 데 도움이 됩니다. JEST는 경험 많은 퍼즐 솔버처럼 작동하여 이 과정을 더 효율적으로 만듭니다. 퍼즐 솔버가 가장 중요한 조각을 고르듯이, JEST는 데이터셋에서 가장 가치 있는 데이터 배치를 식별하고 선택하여, 각 배치가 AI 개발에서 중요한 역할을 하도록 합니다.

JEST는 데이터 배치의 품질을 평가하기 위해 더 작은 AI 모델을 사용합니다. 이러한 배치는 모델 훈련에 대한 효율성에 따라 순위가 매겨집니다. JEST는 이러한 신중하게 선택된 배치를 사용하여 모델을 훈련합니다. 퍼즐 솔버가 퍼즐 조각을 효율적으로 최대화하고 일관성을 유지하도록 배열하듯이, JEST는 가장 정보가 풍부한 배치를 우선적으로 선택하여 훈련 프로세스를 크게 가속화합니다.

JEST의 접근 방식의 핵심은 다중 모드 대조적 학습입니다. 이 기술은 텍스트와 이미지와 같은 다양한 데이터 유형 간의 상관관계를 학습하는 데 중점을 둡니다. JEST는 다중 모드 대조적 학습 기반 방법을 사용하여 다중 모드 데이터 샘플의 모델 훈련 효율성을 평가합니다. 개별 데이터 샘플의 효율성 외에도 JEST는 데이터 샘플의 집합적인 학습 가능성을 평가하여 더 큰 “슈퍼 배치”에서 작은 데이터 배치를 선택합니다. 이 프로세스는 JEST가 도전과 풍부한 학습 기회를 제공하는 배치를 선택하고 우선순위를 지정하는 데 도움이 됩니다.

미래를 향한 전망: JEST, 더 빠르고 저렴하고 친환경적인 AI 훈련을 넘어서

JEST (Joint Example Selection)의 미래적 의미를 탐구하면서, JEST의 기여가 단순히 AI 훈련을 가속화하고 비용을 절감하며 환경적 지속 가능성을 향상시키는 것을 넘어서는 것이 명확합니다. 여기서 우리는 JEST가 생성적 AI 분야를 어떻게 개선하고 변형할 수 있는지에 대해 살펴봅니다:

• 향상된 모델 성능과 정확도: JEST의 혁신적인 데이터 선택과 우선순위 지정 접근 방식은 더 빠른 훈련 시간과 향상된 모델 성능을 이끌어냅니다. JEST는 가장 정보가 풍부한 데이터 배치를 중점적으로 훈련하므로, AI 모델은 높은 품질의 입력에서 훈련되며, 정확도와 강건성이 향상됩니다. 이러한 장점은 정밀도와 신뢰성이 필수적인 응용 분야에서 매우 중요합니다. 예를 들어, 의료 진단, 금융 예측, 자율 시스템 등이 있습니다.
• 데이터에 대한 편향 식별 및 완화: AI는 편향된 데이터셋에서 학습하는 경향이 있습니다. 여기서 특정 그룹이나 관점이 과소 대표되거나 잘못 대표됩니다. JEST의 데이터 선택 접근 방식은 데이터 배치의 품질과 정보를 평가하는 것을 포함합니다. JEST는 다양한 대표 데이터 샘플을 우선순위로 지정하여, AI 시스템이 더 균형 잡힌 데이터셋에서 학습하도록 도와줌으로써, 훈련 데이터의 편향을 줄일 수 있습니다. 예를 들어, 의료 AI 응용 분야에서 JEST는 다양한 인구 통계적 요소를 포함하는 데이터 배치를 선택하여, 의료 진단 모델이 다양한 환자 집단에서 훈련되도록 할 수 있습니다. 이러한 선택은 특정 그룹에 대한 편향의 위험을 줄일 수 있습니다.
• 혁신 및 연구 촉진: JEST는 필요한 계산 리소스와 시간을 크게 줄임으로써, 연구자와 혁신가들에게 더 낮은 진입 장벽을 제공합니다. 이러한 접근성은 더 활발한 AI 개발 생태계를 조성하여, 더 작은 팀과 조직이 고급 AI 솔루션을 실험하고 배포할 수 있도록 합니다. 또한 JEST의 효율성은 새로운 AI 연구 분야를 탐색하기 위한 리소스를 해방시킵니다. 예를 들어, 새로운 아키텍처, 고급 알고리즘, 윤리적 AI 프레임워크 등이 있습니다.
• 포용적인 AI 개발 촉진: AI 개발은 편향과 윤리적 문제를 효과적으로 완화하기 위해 다양한 관점과 입력이 포함되어야 합니다. JEST의 데이터 선택은 정보 가치와 대표성에 따라 데이터를 선택하므로, 포용적인 데이터셋 구성을 장려합니다. AI 개발자는 JEST가 편향과 윤리적 고려를 효과적으로 해결하도록, 데이터 선택 기준을 정의하는 데 다학제적 팀을 참여시킬 수 있습니다. 이러한 협력적인 접근 방식은 AI 기술의 더 포용적이고 책임 있는 개발을 촉진합니다.

요약

DeepMind의 JEST 알고리즘은 생성적 AI 훈련의 중요한 발전을 나타냅니다. 훈련 프로세스를 크게 가속화하고 에너지 소비를 줄임으로써, JEST는 상당한 비용 절감과 환경적 문제를 해결합니다. 이러한 장점을 넘어서, JEST는 모델의 정확도와 강건성을 향상시키고, 데이터 편향을 완화하며, 혁신을 촉진하고, 포용적인 AI 개발을 촉진할 수 있습니다. JEST의 지속적인 개선과 적용은 더 효율적이고 지속 가능하며 윤리적으로 책임 있는 AI 솔루션을 향한 미래를 재정의할 것입니다.