구글, Gemma 2 공개: 개발자 위한 성능, 속도, 접근성 향상

구글은 최근 Gemma 2를 공개하였다. Gemma 2는 9억(9B)과 27억(27B) 파라미터 크기로 제공되는 최신 오픈소스 경량 언어 모델이다. 이 새로운 버전은 이전 버전인 Gemma 모델보다 성능과 추론 속도가 향상되었다. Gemma 2는 구글의 Gemini 모델에서 파생된 것으로 연구자와 개발자를 위해 더 접근하기 쉽게 설계되었다. Gemma 2는 언어 처리에만 집중하며 Gemini 모델과 달리 멀티모달과 멀티링구얼 기능을 지원하지 않는다. 본 문서에서는 Gemma 2의 주요 특징과 발전, 이전 버전과 경쟁 모델과의 비교, 사용 사례와 도전 과제에 대해 살펴본다.

Gemma 2 구축

Gemma 2 모델은 디코더 전용 트랜스포머 아키텍처를 기반으로 한다. 27B 버전은 주로 영어 데이터인 13조 토큰으로 훈련되었으며, 9B 모델은 8조 토큰으로 훈련되었고, 2.6B 모델은 2조 토큰으로 훈련되었다. 이러한 토큰은 웹 문서, 코드, 과학 기사 등 다양한 소스에서 가져온다. 모델은 Gemma 1과 Gemini와 동일한 토크나이저를 사용하여 데이터 처리의 일관성을 보장한다.

Gemma 2는 지식 증류라는 방법을 사용하여 사전 훈련된다. 여기서 더 큰 사전 훈련 모델의 출력 확률에서 학습한다. 초기 훈련 후, 모델은 지시 튜닝이라는 프로세스를 통해 미세 조정된다. 이는 합성 및 인간 생성 영어 텍스트-프롬프트-응답 쌍의 혼합에 대한 감독 미세 조정(SFT)에서 시작된다. 이후 인간 피드백 강화 학습(RLHF)이 적용되어 전체 성능을 개선한다.

Gemma 2: 다양한 하드웨어에서 성능과 효율성 향상

Gemma 2는 Gemma 1보다 성능이 향상되었을 뿐만 아니라 두 배 크기의 모델과도 경쟁적으로 성능을 발휘한다. 다양한 하드웨어 설정에서 효율적으로 작동하도록 설계되었으며, 랩톱, 데스크톱, IoT 장치, 모바일 플랫폼을 포함한다. 특히 싱글 GPU와 TPU에 최적화되어 있으며, Gemma 2는 특히 자원 제한된 장치에서 효율성을 개선한다. 예를 들어, 27B 모델은 NVIDIA H100 Tensor Core GPU 또는 TPU 호스트에서 추론을 실행하는 데 탁월하여 개발자가 높은 성능을 달성하면서 하드웨어에大量 투자하지 않도록 하는 비용 효율적인 옵션이다.

또한 Gemma 2는 개발자를 위한 다양한 플랫폼과 도구에서 튜닝 기능을 강화한다. 구글 클라우드와 같은 클라우드 기반 솔루션 또는 Axolotl과 같은 인기 있는 플랫폼을 사용하는 경우, Gemma 2는 광범위한 미세 조정 옵션을 제공한다. Hugging Face, NVIDIA TensorRT-LLM, 구글의 JAX 및 Keras와 같은 플랫폼과의 통합을 통해 연구자와 개발자는 다양한 하드웨어 구성에서 최적의 성능과 효율적인 배포를 달성할 수 있다.

Gemma 2 vs. Llama 3 70B

Gemma 2와 Llama 3 70B를 비교하면, 두 모델 모두 오픈소스 언어 모델 분야에서 두드러진다. 구글 연구진은 Gemma 2 27B가 크기가 훨씬 작음에도 불구하고 Llama 3 70B와 비슷한 성능을 발휘한다고 주장한다. 또한 Gemma 2 9B는 언어 이해, 코딩, 수학 문제 해결 등 다양한 벤치마크에서 Llama 3 8B를 일관되게 능가한다.

Gemma 2의 주목할 만한 장점 중 하나는 인도어 처리 능력이다. Gemma 2는 이러한 언어를 위한 특별히 설계된 토크나이저를 사용하며, 256k 토큰의 큰 어휘를 포함하여 언어적 미묘함을 포착한다. 반면에 Llama 3는 여러 언어를 지원하지만, 제한된 어휘와 훈련 데이터로 인해 인도어 스크립트의 토큰화에 어려움을 겪는다. 이것은 Gemma 2가 이러한 언어를 다루는 작업에서 더 나은 선택이 되도록 한다.

사용 사례

Gemma 2 모델의 특성과 벤치마크 성능을 기반으로, 몇 가지 실제 사용 사례가 식별되었다.

• 멀티링구얼 어시스턴트: Gemma 2의 언어별専用 토크나이저, 특히 인도어를 위한 것은, 이러한 언어 사용자를 위한 맞춤형 멀티링구얼 어시스턴트 개발에 효과적인 도구를 제공한다. 힌디, 우르두어, 아랍어, 벵골어 등 언어별 콘텐츠 생성을 지원하는 Gemma 2는 지역 관객에게 공鳴하는 콘텐츠를 생성하는 창작자를 강화한다. 실제 사용 사례는 Gemma를 기반으로 하는 9개 인도 언어를 지원하는 멀티링구얼 어시스턴트인 Navarasa이다. 사용자는 지역 언어 규범과 미묘함을 준수하면서 지역 관객에게 공鳴하는 콘텐츠를 쉽게 생성할 수 있다.
• 교육 도구: 수학 문제 해결과 복잡한 언어 쿼리 이해 능력으로, Gemma 2는 개인화된 학습 경험을 제공하는 지능형 튜터링 시스템과 교육 앱을 개발하는 데 사용될 수 있다.
• 코딩 및 코드 지원: Gemma 2의 컴퓨터 코딩 벤치마크 성능은 코드 생성, 버그 감지, 자동 코드 리뷰에 강력한 도구로 사용될 수 있다. 자원 제한된 장치에서 잘 작동하는 능력으로 개발자는 개발 환경에 원활하게 통합할 수 있다.
• 검색 증강 생성(RAG): Gemma 2의 텍스트 기반 추론 벤치마크 성능은 다양한 도메인에서 RAG 시스템을 개발하는 데 적합하다. 의료 분야의 임상 정보 합성, 법률 AI 시스템의 법률 자문, 고객 지원을 위한 지능형 챗봇 개발, 맞춤형 교육 도구 개발을 지원한다.

제한과 도전

Gemma 2는 주목할 만한 발전을 보여주지만, 주로 훈련 데이터의 품질과 다양성과 관련된 제한과 도전을 겪는다. 언어별 토크나이저를 지원하지만, Gemma 2는 멀티링구얼 능력에 대한 특정 훈련이 부족하며, 다른 언어를 효과적으로 처리하기 위해 미세 조정이 필요하다. 모델은 명확한 구조화된 프롬프트에서 잘 작동하지만, 개방형 또는 복잡한 작업과 미묘한 언어 미묘함(예: 비꼬임, 은유적 표현)에 어려움을 겪는다. 또한 사실적 정확성이 항상 신뢰할 수 없으며, 특정 상황에서 常識적推論이 부족할 수 있다. 虚構의 위험은 계속 존재하며, 특히 의료나 CBRN 시나리오와 같은 민감한 영역에서 잘못된 정보를 생성할 수 있다. 마지막으로, Gemma 2는 텍스트 기반만 지원하며, 멀티모달 데이터 처리를 지원하지 않는다.

결론

Gemma 2는 오픈소스 언어 모델에서 주목할 만한 발전을 보여주며, 이전 버전보다 성능과 추론 속도가 향상되었다. 다양한 하드웨어 설정에서 작동하도록 설계되어 하드웨어에大量 투자하지 않아도 접근할 수 있다. 그러나, 미묘한 언어 작업과 복잡한 시나리오에서 정확성을 보장하는 데 도전이 계속된다. 법률 자문, 교육 도구와 같은 응용 분야에서 유용하지만, 개발자는 멀티링구얼 능력과 민감한 상황에서의 사실적 정확성의 제한에 주의해야 한다. 이러한 고려 사항에도 불구하고, Gemma 2는 개발자가 신뢰할 수 있는 언어 처리 솔루션을 찾을 때 가치 있는 옵션이다.