마이크로소프트의 오르카-2 AI 모델이 지속 가능한 AI에서 중요한 발전을 나타내는 이유

과거 10년 동안 인공 지능은 체스와 고를 포함한 전략 게임에서 인간 챔피언을 물리치고, 단백질의 3D 구조를 예측하는 등 많은 발전을 이루었습니다. 그러나 이러한 발전은 대규모 언어 모델(LLMs)의 광범위한 채택을 의미하며, 이는 패러다임의 전환을 나타냅니다. 이러한 모델은 인간-컴퓨터 상호작용을 변革할 수 있으며, 교육, 고객 서비스, 정보 검색, 소프트웨어 개발, 미디어, 헬스케어 등 다양한 분야에서 필수적입니다. 이러한 기술적 발전은 과학적 발전을 촉진하고 산업 성장을 자극하지만, 동시에 지구에 대한 부정적인 영향을 미칩니다.

LLMs를 훈련하고 사용하는 과정은 엄청난 양의 에너지를 소비하며, 이는 상당한 환경적 영향을 미치고, 이산화탄소 배출과 온실 가스 배출을 증가시킵니다. 매사추세츠 아默스트 대학교의 정보 및 컴퓨터 과학 대학에서 수행한 최근 연구에 따르면, LLMs를 훈련하는 과정에서 626,000 파운드의 이산화탄소가 배출될 수 있으며, 이는 5대 자동차의 수명 동안 배출되는 양과 tương đương합니다. AI 스타트업인 Hugging Face는 BLOOM이라는 대규모 언어 모델을 훈련하는 과정에서 25톤의 이산화탄소 배출을 기록했습니다. 마찬가지로, 페이스북의 AI 모델인 Meena는 훈련 과정에서 자동차를 240,000마일 이상 운행하는 것과 동일한 환경적 영향을 미칩니다.

LLMs를 훈련하는 과정에서 클라우드 컴퓨팅에 대한 수요가 증가하고 있으며, 이는 항공 산업보다 더 많은 배출을 유발합니다. 단일 데이터 센터는 50,000개의 집을 공급할 수 있는 양의 전력을 소비할 수 있습니다. 또 다른 연구에 따르면, 단일 대규모 언어 모델을 훈련하는 과정에서 5대 자동차의 수명 동안 배출되는 양과 동일한 양의 이산화탄소가 배출될 수 있습니다. 예측에 따르면, AI 배출은 2025년까지 300% 증가할 것으로 예상되며, 이는 AI 발전과 환경 책임의 균형을 조정하는 것이 긴급한 필요성임을 강조합니다. 이러한 문제를 해결하기 위해 지속 가능한 AI가 중요한 연구 분야로 등장하고 있습니다.

지속 가능한 AI

지속 가능한 AI는 인공 지능 시스템의 개발과 배포에서 환경적 영향을 최소화하고, 윤리적 고려와 장기적인 사회적 이익을 중시하는 패러다임의 전환을 나타냅니다. 이 접근 방식은 에너지 효율성을 높이고, 환경적으로 책임 있는 지능 시스템을 생성하는 것을 목표로 합니다. 지속 가능한 AI는 컴퓨팅에 대한 청정 에너지를 사용하고, 전력 소모를 줄이는 스마트 알고리즘을 사용하며, 공정하고 투명한 결정에 대한 윤리적 지침을 따릅니다. AI를 위한 지속 가능성과 지속 가능한 AI는 다르다는 것을 명심해야 합니다. 전자는 기존 프로세스를 최적화하는 데 AI를 사용하는 것을 포함할 수 있지만, 후자는 AI 개발의 모든 단계에서 지속 가능성의 원리를 tích극적으로 통합하여 지구와 사회에 긍정적인 영향을 미치는 것을 목표로 합니다.

LLMs에서 작은 언어 모델(SLMs)로

지속 가능한 AI를 추구하는 과정에서 마이크로소프트는 LLMs의 능력을 따라가기 위해 작은 언어 모델(SLMs)을 개발하고 있습니다. 최근에 마이크로소프트는 오르카-2를 소개했습니다. 오르카-2는 GPT-4와 같은 推論 능력을 가지도록 설계되었습니다. 오르카-1과 달리, 오르카-2는 7억개의 매개변수를 사용하며, 두 가지 주요 기술을 사용합니다.

1. 지시 튜닝: 오르카-2는 예제에서 학습하여 콘텐츠 품질, 제로샷 능력, 推論 능력을 향상시킵니다.
2. 설명 튜닝: 오르카-2는 교사 모델에 대한 자세한 설명을 생성하여 推論 신호를 강화하고, 전체적인 이해를 향상시킵니다.

오르카-2는 이러한 기술을 사용하여 매우 효율적인 推論 능력을 달성하며, 이는 LLMs가 많은 매개변수를 사용하여 달성하는 능력과 비교할 수 있습니다. 주요 아이디어는 모델이 문제를 해결하는 최선의 방법을 찾도록 하는 것입니다. 마이크로소프트는 이를 “주의로운 推論”이라고 부릅니다.

오르카-2를 훈련하기 위해 마이크로소프트는 FLAN 주석, 오르카-1, 오르카-2 데이터셋을 사용하여 새로운 훈련 데이터를 구축합니다. 그들은 쉬운 질문으로 시작하여 어려운 질문을 추가하고, 모델을 더智能하게 만드는 데이터를 사용합니다.

오르카-2는 推論, 텍스트 완성, 그라운드 트루스, 안전성 등 다양한 평가를 거칩니다. 결과는 합성 데이터에 대한 전문적인 훈련을 통해 SLM의 推論 능력을 향상시킬 수 있는 잠재력을 보여줍니다. 일부 제한에도 불구하고, 오르카-2 모델은 향후 推論, 제어, 안전성 개선에 대한 약속을 보여줍니다. 이는 모델을 훈련한 후 전략적으로 합성 데이터를 적용하는 효과를 입증합니다. (MSFT )

오르카-2의 지속 가능한 AI에 대한 중요성

오르카-2는 지속 가능한 AI로의 중요한 발전을 나타내며, 큰 모델만이 AI 능력을真正로 발전시킬 수 있다는 일반적인 믿음을 도전합니다. 이 작은 언어 모델은 언어 모델의 우수성을 달성하는 데 필요한 것이巨大한 데이터셋과 광범위한 컴퓨팅 능력이 아니라는 대안적인 관점을 제시합니다. 대신, 지능형 설계와 효과적인 통합의 중요성을 강조합니다.

이번 발전은 새로운 가능성을 열어줍니다. 단순히 AI를 확대하는 것보다, 어떻게 설계할 것인가에 집중하는 것입니다. 이는 앞으로 더 많은 사람과 조직이 접근할 수 있는, 보다 포괄적이고 환경적으로 책임 있는 고급 AI 개발을 위한 중요한 단계를 나타냅니다.

오르카-2는 향후 언어 모델의 개발에重大한 영향을 미칠 수 있습니다. 자연어 처리와 관련된 작업을 개선하는 것부터 다양한 산업에서보다 복잡한 AI 애플리케이션을 가능하게 하는 것까지, 이러한 작은 모델은重大한 긍정적인 변화를 가져올 수 있습니다. 또한, 지속 가능한 AI 관행을 촉진하는 선구자 역할을 하며, 기술적 발전을 환경 책임과 균형을 조정하는 데 기여합니다.

결론:

마이크로소프트의 오르카-2는 지속 가능한 AI로의 획기적인 발전을 나타내며, 큰 모델만이 AI를 발전시킬 수 있다는 믿음을 도전합니다. 지능형 설계를 크기보다 우선시함으로써, 오르카-2는 새로운 가능성을 열어줍니다. 이는 보다 포괄적이고 환경적으로 책임 있는 고급 AI 개발을 위한 중요한 단계를 나타냅니다.