DeepMind, JEST 알고리즘 도입: 더 빠르고 저렴하고 친환경적인 AI 모델 훈련

생성적 인공지능은 의학, 교육, 금융, 예술, 스포츠 등 다양한 분야에서 놀라운 발전을 이루고 있습니다. 이러한 발전은 주로 인공지능이 더 큰 데이터셋에서 학습하고 수십억 개의 매개변수를 가진 더 복잡한 모델을 구축하는 능력의 향상에서 비롯됩니다. 이러한 발전은 중요한 과학적 발견, 새로운 비즈니스 기회, 산업 성장 등을 가져왔지만, 높은 비용과 환경적 영향으로 인해 높은 비용을 지불해야 합니다. 생성적 인공지능 모델을 훈련하는 데 필요한 학습 알고리즘은大量의 컴퓨팅 파워를 필요로 하며, 이는 높은 에너지 소비와 상당한 탄소 배출을 유발합니다.

생성적 인공지능을 지속 가능하게 만드는 이전의 노력은 주로 인공지능 훈련을 위한 하드웨어 효율성을 개선하고 매개변수가 적은 더 작은 모델을 개발하는 데 초점을 두었습니다. 그러나 Google DeepMind는 새로운 접근 방식을 취하여 생성적 인공지능 훈련 알고리즘의 효율성을 개선하고자 합니다. 그들은 JEST (Joint Example Selection)라는 새로운 알고리즘을 개발했으며, 이는 현재 기술보다 13배 빠르고 10배 더 에너지 효율적입니다.

이 文章에서 우리는 인공지능 훈련의 도전과 JEST가 이러한 문제를 어떻게 해결하는지 탐구합니다. 또한 JEST 알고리즘의 더广い 의미와 미래 연구 방향에 대해 고려하며, 인공지능 훈련을 더 빠르고 저렴하고 친환경적으로 만드는 것 이상의 잠재적인 영향을 생각해 봅니다.

인공지능 훈련의 도전: 높은 비용과 환경적 영향

인공지능 모델을 훈련하는 것은 높은 비용과 상당한 환경적 영향을 초래하는重大한 도전을 제기합니다.

• 금융 비용: 인공지능 모델을 훈련하는 것은 비싼 일입니다. 최근 추정에 따르면 175억 개의 매개변수를 가진 대형 모델인 OpenAI의 GPT-3를 훈련하는 비용은 약 460만 달러입니다. ChatGPT-4를 훈련하는 비용은 OpenAI에게 약 1억 달러입니다. 이러한 비용은 주로大量의 컴퓨팅 자원, 광범위한 데이터 처리, 및 장기간의 훈련 시간이 필요하기 때문입니다.
• 에너지 소비: 인공지능 훈련 과정은 매우 에너지 집약적입니다. 이러한 모델을 훈련하는 데에는 수천 개의 GPU가 필요하며, 이는 매우 에너지 집약적인 과정입니다. 데이터 센터, 즉 인공지능 훈련을 위한 컴퓨팅 인프라를 수용하는 곳은 약 200테라와트시(TWh)의 전기를 매년 소비하며, 이는全球 전기 수요의 약 1%입니다. 맥킨지 보고서에 따르면, 미국의 데이터 센터 전력 소비는 2017년 17기가와트(GW)에서 2030년까지 35GW로 증가할 수 있으며, 이는 추가적인 전력 수요를 충족하기 위해 9개의 후버 댐과 같은 전력 출력이 필요합니다.
• 탄소 배출: 인공지능 모델을 훈련하는 높은 에너지 소비는 녹색가스 배출을 크게 기여하며, 이는 기후 변화를 악화시킵니다. 매사추세츠 대학교 암허스트의 한 연구에 따르면, 대형 인공지능 모델을 훈련하는 것은 5대의 자동차가 생애 동안 배출하는 것과 같은 양의 이산화탄소를 배출할 수 있습니다. 구체적으로, 한 개의 인공지능 모델을 훈련하는 것은 626,000 파운드의 CO2를 배출할 수 있으며, 이는 315회의 대륙 간 비행과 같은 탄소 배출량입니다.

이러한 도전은 주로 두 가지 주요 원인에서 비롯됩니다: 높은 에너지 소비를 하는 컴퓨팅 하드웨어의 의존과 현재 훈련 알고리즘의 비효율성. 인공지능 커뮤니티는 에너지 효율적인 하드웨어를 개발하는 데 진전을 이루었지만, 더 지능적인 알고리즘을 개발하는 데 더 많은 중점을 두어야 합니다. Google의 최근에 도입된 JEST 알고리즘은 이러한 지능적인 알고리즘을 개발하는 데 중요한 연구를 진행하고 있습니다. JEST는 중요한 데이터를 선택하여 인공지능 훈련의 효율성을 크게 향상시키며, 더 지속 가능하고 비용 효율적인 생성적 인공지능 모델 훈련을 가능하게 합니다.

JEST 알고리즘 이해

JEST는 다중 모달 생성적 인공지능 모델을 더 효율적으로 훈련하기 위한 학습 알고리즘입니다. JEST가 작동하는 방식을 이해하기 위해, 인공지능 훈련을 복잡한 퍼즐을 풀기 위한 과정으로 생각해 보십시오. 여기서 각 퍼즐 조각(데이터 포인트)은 완전한 그림(인공지능 모델)을 만들기 위해 도움이 됩니다. JEST는 이러한 퍼즐을 더 효율적으로 풀기 위한 경험丰富한 퍼즐 솔버와 같은 역할을 합니다. 퍼즐 솔버가 가장 중요한 퍼즐 조각을 선택하는 것처럼, JEST는 데이터셋에서 가장 가치 있는 데이터 배치를 식별하고 선택하여 모델을 훈련합니다.

JEST는 더 작은 인공지능 모델을 사용하여 데이터 배치의 품질을 평가합니다. 이러한 배치는 모델 훈련에 효과적인 정도에 따라 순위가 매겨집니다. JEST는 이러한 тщательно 선택된 배치를 전략적으로 조합하여 모델을 훈련합니다. 퍼즐 솔버가 퍼즐 조각을 효율적으로 배열하는 것과 마찬가지로, JEST는 가장 정보가 풍부한 배치를 우선적으로 선택하여 훈련 과정을 크게 가속화합니다.

JEST의 접근 방식의 핵심은 다중 모달 대조 학습입니다. 이 기술은 서로 다른 데이터 유형(예: 텍스트와 이미지) 간의 상관관계를 학습하는 데 중점을 둡니다. JEST는 다중 모달 대조 학습 기반의 방법을 사용하여 다중 모달 데이터 샘플의 모델 훈련 효과를 평가합니다. 개별 데이터 샘플의 효과 외에도, JEST는 데이터 샘플의 집합적인 학습 가능성을 평가하여 더 큰 “슈퍼 배치”에서 작은 데이터 배치를 선택합니다. 이 과정은 JEST가 도전과 풍부한 학습 기회를 제공하는 배치를 선택하고 우선순위를 지정하는 데 도움이 됩니다.

미래를 향한 전망: JEST, 더 빠르고 저렴하고 친환경적인 인공지능 훈련을 넘어

JEST (Joint Example Selection)의 미래적 의미를 탐구하면서, 이는 단순히 인공지능 훈련을 가속화하고 비용을 절감하며 환경적 지속 가능성을 향상시키는 것 이상의 기여를 할 수 있음을 알 수 있습니다. 여기서 우리는 JEST가 생성적 인공지능 분야를 어떻게 개선하고 변革할 수 있는지에 대해 생각해 봅니다:

• 모델 성능과 정확성 향상: JEST의 혁신적인 데이터 선택과 우선순위 지정 접근 방식은 더 빠른 훈련 시간과 향상된 모델 성능을 제공합니다. JEST는 가장 정보가 풍부한 데이터 배치를 선택하여 모델이 높은 품질의 입력에서 학습하도록 보장하며, 이는 의료 진단, 금융 예측, 자율 시스템 등에서 정확성과 신뢰성이 중요한 응용 분야에서 중요합니다.
• 데이터의 편향성 식별 및 완화: 인공지능은 편향된 데이터셋에서 학습하는 경향이 있습니다. 여기서 특정 그룹이나 관점이 과소 대표되거나 왜곡될 수 있습니다. JEST의 데이터 선택 접근 방식은 데이터 배치의 품질과 정보성을 평가하는 것을 포함합니다. 다양한 데이터 샘플을 우선순위로 지정함으로써, JEST는 인공지능 시스템이 더 균형 잡힌 데이터셋에서 학습할 수 있도록 도와서 훈련 데이터의 편향성을 감소시킬 수 있습니다. 예를 들어, 의료 인공지능 응용 분야에서 JEST는 다양한 인구 통계적 요소를 포함하는 데이터 배치를 선택하여 의료 진단 모델이 다양한 환자 집단에서 학습할 수 있도록 할 수 있습니다. 이는 특정 그룹에 대한 편향을 감소시키고, 인종, 성별 또는 사회 경제적 지위에 따라 영향을 받을 수 있는 편향을 감소시킵니다.
• 혁신 및 연구 촉진: 인공지능 모델을 훈련하는 데 필요한 컴퓨팅 자원과 시간을 크게 줄임으로써, JEST는 연구자와 혁신가에게 더 낮은 진입 장벽을 제공합니다. 이는 인공지능 개발의 더 활발한 생태계를 조성하며, 더 작은 팀과 조직이 고급 인공지능 솔루션을 실험하고 배포할 수 있습니다. 또한, JEST가 제공하는 효율성은 새로운 인공지능 연구 분야를 탐색하는 데 필요한 자원을 해방시킵니다. 여기에는 새로운 아키텍처, 고급 알고리즘 및 윤리적인 인공지능 프레임워크가 포함됩니다.
• 포용적인 인공지능 개발 촉진: 인공지능 개발은 편향과 윤리적 문제를 효과적으로 완화하기 위해 다양한 관점과 입력을 포함해야 합니다. JEST의 데이터 선택 능력은 정보 가치와 대표성에 따라 데이터를 선택하도록鼓励합니다. 인공지능 개발자는 JEST가 편향과 윤리적 고려를 효과적으로 해결하도록 다양한 분야의 전문가들이 데이터 선택 기준을 정의하는 데 참여하도록 할 수 있습니다. 이는 더 포용적이고 책임 있는 인공지능 기술 개발을 촉진합니다.

결론

DeepMind의 JEST 알고리즘은 생성적 인공지능 훈련에서 중요한 발전을 나타냅니다. 훈련 과정을 크게 가속화하고 에너지 소비를 줄임으로써, JEST는 상당한 비용 절감과 환경적 문제를 해결합니다. 이러한 이점 외에도, JEST는 모델의 정확성을 향상시키고, 데이터의 편향성을 감소시키고, 혁신을 촉진하며, 포용적인 인공지능 개발을 촉진할 수 있습니다. JEST의 지속적인 개선과 적용은 인공지능의 미래를 재정의하며, 더 효율적이고 지속 가능하며 윤리적으로 책임 있는 인공지능 솔루션을 향상시키는 데 기여할 것입니다.