포켓 사이즈의 파워하우스: 마이크로소프트의 Phi-3, 휴대폰에 들어가는 언어 모델 공개

인공지능 분야가 빠르게 발전하는 가운데, 대형 모델을 사용하는 경향이 강해졌지만 마이크로소프트는 Phi-3 미니를 통해 다른 접근 방식을 취하고 있다. 이 작은 언어 모델(SLM)은 3세대 모델로, 더 큰 모델의 강력한 기능을 스마트폰의 엄격한 자원 제약을满足하는 프레임워크에 담았다. 3.8억개의 매개변수를 갖춘 Phi-3 미니는 언어 처리, 추론, 코딩, 수학 등을 포함한 다양한 작업에서 대형 언어 모델(LLM)의 성능을 따라가며, 양자화 통해 모바일 기기에서 효율적으로 작동하도록 설계되었다.

대형 언어 모델의 도전

마이크로소프트의 Phi SLM 개발은 대형 언어 모델이 일반적으로 소비자 기기에 उपलब한 것보다 더 많은 계산 능력을 요구함으로써 발생하는重大한 도전에 대한 응답이다. 이는 표준 컴퓨터와 모바일 기기에서 사용을 복잡하게 만들며, 훈련과 작동 중에 에너지 소비로 인해 환경 문제를 일으키고, 큰 규모와 복잡한 훈련 데이터셋으로 인해 편향을 지속시킬 위험이 있다. 이러한 요인들은 또한 실시간 응용 프로그램에서 모델의 반응성을 저하시키고 업데이트를 더 어렵게 만들 수 있다.

Phi-3 미니: 개인 기기上的 AI 스트리밍을 위한 개인 정보 보호 및 효율성 강화

Phi-3 미니는 휴대폰, 랩톱과 같은 개인 기기에 고급 AI를 직접 통합하기 위한 비용 효율적이고 효율적인 대안을 제공하도록 전략적으로 설계되었다. 이 설계는 기술과의 사용자 상호작용을 더욱 빠르고 즉각적으로 향상시킨다.
Phi-3 미니는 모바일 기기에서 고급 AI 기능을 직접 처리할 수 있게 해주며, 이는 클라우드 서비스에 대한 의존도를 줄이고 실시간 데이터 처리를 강화한다. 이는 모바일 헬스케어, 실시간 언어 번역, 개인화된 교육과 같은 즉각적인 데이터 처리가 필요한 응용 프로그램에 중요하다. 모델의 비용 효율성은 운영 비용을 줄이는 것뿐만 아니라 다양한 산업, 특히 웨어러블 기술과 홈 오토메이션과 같은 새로운 시장에서 AI 통합의 잠재력을 확대한다. Phi-3 미니는 로컬 기기에서 데이터 처리를 직접 수행하여 사용자 개인 정보를 강화한다. 이는 개인 건강과 금융 서비스와 같은 분야에서 민감한 정보를 관리하는 데 중요하다. 또한 모델의 낮은 에너지 요구는 환경적으로 지속 가능한 AI 작동과 일치한다.

Phi의 설계 철학과 진화

Phi의 설계 철학은 교육 접근 방식에서 영감을 얻은 커리큘럼 학습 개념에 기반한다. 아이들이 점점 더 어려운 예제를 통해 학습하는 것과 같이, AI의 훈련을 더 쉬운 예제에서 시작하여 훈련 데이터의 복잡성을 점차 증가시킨다. 마이크로소프트는 텍스트북에서 데이터셋을 구축함으로써 이 교육 전략을 구현하였다. Phi 시리즈는 2023년 6월에 시작되어 1.3억개의 매개변수를 갖춘 컴팩트 모델인 Phi-1로 시작되었다. 이 모델은 특히 Python 코딩 작업에서 더 큰 모델을 능가하는 효과를 보여주었다. 이 성공에 기반하여 마이크로소프트는 이후 Phi-1.5를 개발하여 같은 수의 매개변수를 유지하면서 일반적인 감각과 언어 이해와 같은 분야에서 기능을 확대하였다. 시리즈는 2023년 12월에 출시된 Phi-2로 인해 더輝煌해졌다. 2.7억개의 매개변수를 갖춘 Phi-2는 추론과 언어 이해에서 인상적인 능력을 보여주었으며, 훨씬 더 큰 모델과 경쟁할 수 있는 강력한 경쟁자가 되었다.

Phi-3와 다른 작은 언어 모델 비교

Phi-3 미니는 Phi-2의 발전을 확대하여 언어 이해와 추론, 일반 지식, 일반적인 감각, 초등학교 수학 문제, 의료 질문 응답과 같은 다양한 산업 응용 분야에서 Google의 Gemma, Mistral의 Mistral, Meta의 Llama3-Instruct, GPT 3.5와 같은 다른 SLM을 능가한다. 이러한 응용 프로그램은 Phi-3 미니의卓越한 성능을 보여준다. Phi-3 미니는 다양한 작업, 포함하여 콘텐츠 생성과 특정 위치에 맞춘 활동 제안을 위해 아이폰 14에서 오프라인 테스트를 거쳤다. 이 목적으로 Phi-3 미니는 양자화라는 프로세스를 통해 1.8GB로 압축되었다. 이는 모델의 숫자 데이터를 32비트 부동 소수점 숫자에서 더 콤팩트한 형식으로 변환하여 제한된 자원 기기에 최적화한다. 이는 모델의 메모리 용량을 줄이는 것뿐만 아니라 처리 속도와 전력 효율성을 개선하여 모바일 기기에 필수적이다. 개발자는 일반적으로 TensorFlow Lite 또는 PyTorch Mobile과 같은 프레임워크를 사용하여 이 프로세스를 자동화하고 정교화한다.

기능 비교: Phi-3 미니 vs. Phi-2 미니

아래에서 Phi-3와 그 전신 Phi-2의 몇 가지 기능을 비교한다.

• 모델 아키텍처: Phi-2는 다음 단어를 예측하기 위한 트랜스포머 기반 아키텍처를 사용한다. Phi-3 미니도 트랜스포머 디코더 아키텍처를 사용하지만 Llama-2 모델 구조와 더密接하게 일치하며, 320,641개의 어휘 크기를 갖는 동일한 토크나이저를 사용한다. 이 호환성은 Llama-2를 위한 도구가 Phi-3 미니와 함께 쉽게 사용될 수 있음을 보장한다.
• 컨텍스트 길이: Phi-3 미니는 8,000개의 토큰을 지원하는 반면 Phi-2는 2,048개의 토큰을 지원한다. 이는 Phi-3 미니가 더 자세한 상호작용을 관리하고 더 긴 텍스트를 처리할 수 있음을 의미한다.
• 모바일 기기에서 로컬 실행: Phi-3 미니는 4비트로 압축되어 약 1.8GB의 메모리를 차지한다. 이는 Phi-2와 비슷하다. 아이폰 14의 A16 비오닉 칩에서 테스트되었으며, 12개 이상의 토큰을 1초에 처리하는 속도를 달성하여 Phi-2와 비슷한 조건下的 성능을 보여주었다.
• 모델 크기: Phi-3 미니는 3.8억개의 매개변수를 갖춘 반면 Phi-2는 2.7억개의 매개변수를 갖춘다. 이는 Phi-3 미니의 증가된 능력을 반영한다.
• 훈련 데이터: Phi-2와 달리 1.4조개의 토큰으로 훈련된 Phi-3 미니는 3.3조개의 토큰으로 훈련되어 복잡한 언어 패턴을 더 잘 이해할 수 있다.

Phi-3 미니의 제한 사항 해결

Phi-3 미니는 작은 언어 모델의 영역에서重大한 발전을 보여주고 있지만, 그에도 한계가 있다. Phi-3 미니의 주요 제한 사항 중 하나는 대형 언어 모델에 비해 상대적으로 작은 크기이다. 이는 광범위한 사실적인 지식을 저장하는 능력이 제한되며, 이는 독자적으로 사실적인 데이터나 전문 지식이 필요한 쿼리를 처리하는 능력을影响할 수 있다. 그러나 이 문제는 Phi-3 미니를 검색 엔진과 통합함으로써 완화될 수 있다.这样하면 모델이 실시간으로 더广泛한 정보에 접근할 수 있으며, 효과적으로 내재된 지식 제한을 보완할 수 있다. 이는 Phi-3 미니가 언어와 컨텍스트에 대한 포괄적인 이해를 갖춘 대화 상대로서 기능할 수 있지만, 정확하고 최신의 응답을 제공하기 위해 가끔 정보를 “조회”해야 할 수 있음을 의미한다.

가용성

Phi-3는 현재 여러 플랫폼에서 사용할 수 있다. 포함하여 마이크로소프트 Azure AI 스튜디오, 허깅페이스, 올라마. Azure AI에서, 모델은 배포-평가-파인튜닝 워크플로우를 포함하며, 올라마에서 랩톱에서 로컬로 실행할 수 있다. 모델은 ONNX 런타임과 윈도우 다이렉트ML을 지원하여 다양한 하드웨어 유형, 예를 들어 GPU, CPU, 모바일 기기에서 잘 작동한다. 또한, Phi-3는 NVIDIA NIM을 통해 마이크로 서비스로 제공되며, 표준 API를 통해 다양한 환경에서 쉽게 배포할 수 있으며, NVIDIA GPU에 최적화되어 있다. 마이크로소프트는 가까운 미래에 Phi-3 시리즈를 추가로 확장하여 Phi-3-스몰(7B)과 Phi-3-미디엄(14B) 모델을 제공할 계획으로, 사용자에게 품질과 비용을 균형있게 조절할 수 있는 추가적인 선택지를 제공할 수 있다.

결론

마이크로소프트의 Phi-3 미니는 모바일 사용을 위한 대형 언어 모델의 능력을 적응시킴으로써 인공지능 분야에서重大한 발전을 이루고 있다. 이 모델은 기술과의 사용자 상호작용을 더욱 빠르고 즉각적으로 향상시키며, 개인 정보 보호 기능을 강화한다. 클라우드 기반 서비스에 대한 필요성을 줄여 운영 비용을 절감하고, 헬스케어와 홈 오토메이션과 같은 분야에서 AI 응용 프로그램의 범위를 확대한다. 편향을 줄이는 커리큘럼 학습과 경쟁력 있는 성능을 유지함으로써, Phi-3 미니는 효율적이고 지속 가능한 모바일 AI를 위한 주요 도구로 발전하고 있다.