구글의 멀티모달 AI Gemini – 기술적 심층 분석

구글의 CEO인 순다르 피차이와 구글 딥마인드의 데미스 하사비스는 2023년 12월에 Gemini를 소개했다. 이 새로운 대규모 언어 모델은 구글의 다양한 제품에 통합되어 서비스와 도구를 사용하는 수백만 명에게 개선된 경험을 제공한다.

Gemini, 구글의 고급 멀티모달 AI,는 통합된 딥마인드와 브레인 AI 연구소의 협력적인 노력의 결과이다. Gemini는 이전 모델의 기반 위에 서서 더 상호 연결된 지능형 애플리케이션을 제공하는 것을 약속한다.

Gemini의 발표는 Bard, Duet AI, PaLM 2 LLM의 데뷔 이후에 이루어졌으며, 구글이 AI 혁명에서 경쟁하기 위해 노력하고 있음을 보여준다.

AI 겨울의 개념과는 달리, Gemini의 출시로 AI 스프링이 활기차게 돌아오고 있으며, 성장과 잠재력이 넘친다. ChatGPT의 등장으로 AI에 대한 관심이 높아진 지 1년이 지난 지금, 구글의 움직임은 산업의 확장이 끝나지 않았음을 보여준다.

Gemini란 무엇인가?

구글의 Gemini 모델은 텍스트, 이미지, 오디오, 비디오와 같은 다양한 데이터 유형을 처리할 수 있다. Gemini는 세 가지 버전으로 제공된다: 울트라, 프로, 나노 각 버전은 특정 애플리케이션에 맞게 조정되어 있으며, 복잡한推論부터 기기 내 사용까지 다양한 용도로 사용할 수 있다. 울트라는 다양한 작업에 탁월한 성능을 발휘하며, Bard Advanced에서 사용할 수 있으며, 프로는 성능과 자원 효율성의 균형을 제공하며, Bard에서 텍스트 프롬프트에 이미 통합되어 있다. 나노는 기기 내 배포를 위해 최적화되어 있으며, 두 가지 크기로 제공되며, 오프라인 사용을 위한 하드웨어 최적화를 제공한다.

Gemini의 아키텍처는 고유한 멀티모달 출력 기능을 제공하며, 이미지 생성을 위한 이산 이미지 토큰과 유니버설 스피치 모델의 오디오 특징을 통합하여 세련된 오디오 이해를 제공한다. 비디오 데이터를 순차적인 이미지로 처리하며, 텍스트 또는 오디오 입력과 함께 사용할 수 있는 멀티모달 기능을 보여준다.

Gemini는 텍스트, 이미지, 오디오, 비디오 시퀀스를 입력으로 지원한다

Gemini에 접근하는 방법

Gemini 1.0은 구글의 생태계에 걸쳐 배포되고 있으며, Bard는 Gemini Pro의 정교한 기능을 사용할 수 있다. 구글은 또한 Gemini를 검색, 광고, Duet 서비스에 통합하여 사용자 경험을 개선하고 더 빠르고 정확한 응답을 제공한다.

Gemini의 기능을 사용하려는 경우, 구글 AI 스튜디오와 구글 클라우드 버텍스를 통해 Gemini Pro에 접근할 수 있다. 후자는 더 많은 사용자 지정 및 보안 기능을 제공한다.

Bard에서 Gemini Pro의 향상된 기능을 경험하려는 경우, 다음 단계를 따라할 수 있다:

1. Bard로 이동: 웹 브라우저를 열고 Bard 웹사이트로 이동한다.
2. 보안 로그인: 구글 계정으로 로그인하여 보안이 보장된 경험을 제공한다.
3. 대화형 채팅: Gemini Pro의 고급 기능을 사용할 수 있다.

멀티모달리티의 힘:

Gemini의 핵심은 트랜스포머 기반 아키텍처를 사용하며, 성공적인 NLP 모델인 GPT-3와 유사하다. 그러나 Gemini의 고유한 점은 다양한 모달리티의 데이터를 처리하고 통합하는 능력이다. 이는 크로스-모달 어텐션이라는 새로운 기술을 통해 달성되며, 모델이 서로 다른 데이터 유형 간의 관계와 의존성을 학습할 수 있다.

Gemini의 주요 구성 요소는 다음과 같다:

• 멀티모달 인코더: 이 모듈은 각 모달리티의 입력 데이터를 독립적으로 처리하여 관련 특징을 추출하고 개별 표현을 생성한다.
• 크로스-모달 어텐션 네트워크: 이 네트워크는 Gemini의 핵심이며, 모델이 서로 다른 표현 간의 관계와 의존성을 학습할 수 있도록 한다.
• 멀티모달 디코더: 이 모듈은 크로스-모달 어텐션 네트워크에서 생성된 풍부한 표현을 사용하여 다양한 작업을 수행한다.

Gemini 모델은 단순히 텍스트 또는 이미지 이해에 관한 것이 아니라, 다양한 정보를 통합하여 인간이 세계를 인식하는 방식과 더ใกล운 방식으로 작동한다. 예를 들어, Gemini는 이미지 시퀀스를 분석하여 논리적 또는 공간적 순서를 결정할 수 있다. 또한 디자인 특징을 분석하여 판단을 내릴 수 있다.

Gemini의 능력은 시각적 이해에만 국한되지 않는다. Gemini는 지침을 코드로 변환하여 실제 도구를 생성할 수 있다. 이는 창의성과 기능성의 결합이 필요한 작업을 처리할 수 있는 능력을 보여준다.

Gemini의 능력: 공간推論 (출처)

Gemini의 능력은 프로그래밍 작업을 실행하는 것까지 확장된다 (출처)

Gemini의 설계는 풍부한 신경망 연구의 역사에 기반하며, 구글의 최신 TPU 기술을 사용하여 훈련된다. Gemini 울트라는 다양한 AI 도메인에서 새로운 벤치마크를 설정하며, 멀티모달推論 작업에서 뛰어난 성능을 보여준다.

Gemini는 복잡한 데이터를 분석하고 이해할 수 있는 능력으로, 실제 응용 분야에서 해결책을 제공한다. 특히 교육 분야에서, Gemini는 문제 해결을 위한 정확한 수학적 표기법을 제공할 수 있다. 이러한 능력은 교육 환경에서 AI가 학생과 교사에게 고급 도구를 제공하는 미래를 암시한다.

Gemini는 알파코드 2와 같은 에이전트를 생성하는 데 사용되며, 경쟁적인 프로그래밍 문제에서 탁월한 성능을 보여준다. 이는 Gemini가 일반적인 AI로 작동할 수 있으며, 복잡한 다단계 문제를 처리할 수 있는 능력을 보여준다.

Gemini 나노는 기기 내에서 AI의 힘을 제공하며, 요약, 읽기 이해, 코딩 및 STEM 관련 도전 과제와 같은 작업에서 인상적인 능력을 보여준다. 이러한 작은 모델은 낮은 메모리 기기에서 고급 AI 기능을 제공하기 위해 세부적으로 조정된다.

Gemini의 개발에는 훈련 알고리즘과 인프라에 대한 혁신이 포함되었으며, 구글의 최신 TPU를 사용하여 효율적인 확장과 강력한 훈련 과정을 제공했다. 이는 가장 작은 모델에서도 예외적인 성능을 제공한다.

Gemini의 훈련 데이터셋은 웹 문서, 책, 코드, 이미지, 오디오, 비디오와 같은 다양한 데이터 유형을 포함하며, 멀티모달 및 다국어 데이터셋으로 Gemini 모델이 다양한 콘텐츠 유형을 효과적으로 이해하고 처리할 수 있도록 한다.

Gemini와 GPT-4

다른 모델의 등장에도 불구하고, 구글의 Gemini가 오픈AI의 GPT-4와 어떻게 비교되는지에 대한 질문이 남아 있다. 구글의 데이터에 따르면, GPT-4는 일반적인推論 작업에서 탁월한 성능을 보여주지만, Gemini 울트라는 거의 모든 다른 영역에서 우위를 점한다.

Gemini VS GPT-4

위의 벤치마크 테이블은 다양한 작업에서 Gemini의 인상적인 성능을 보여준다. 특히, Gemini 울트라는 MMLU 벤치마크에서 90.04%의 정확도를 달성하여, 57개 주제에 걸친 다중 선택 질문에서 우수한 이해력을 보여준다.

GSM8K에서, Gemini 울트라는 94.4%의 점수를 달성하여, 초등 수학 문제에서 뛰어난 산술 처리 능력을 보여준다. 코딩 벤치마크에서, Gemini 울트라는 74.4%의 점수를 달성하여, 파이썬 코드 생성에서 강한 프로그래밍 언어 이해력을 보여준다.

DROP 벤치마크에서, Gemini 울트라는 82.4%의 점수를 달성하여, 읽기 이해력에서 뛰어난 성능을 보여준다. 한편, 일반적인推論 테스트인 HellaSwag에서, Gemini 울트라는 매우 높은 벤치마크를 설정한 GPT-4에 비해 뒤처지지 않는 성능을 보여준다.

결론

Gemini의 고유한 아키텍처와 구글의 최신 기술로, Gemini는 AI 분야에서 강력한 플레이어로 등장하며, 기존의 벤치마크를 도전한다. 울트라, 프로, 나노 버전은 각각 특정 요구에 맞게 조정되어 있으며, 복잡한推論 작업부터 기기 내 애플리케이션까지 다양한 플랫폼과 기기에 고급 AI를 제공한다.

Gemini의 구글 생태계 통합은 Bard에서 구글 클라우드 버텍스까지 다양한 서비스에서 사용자 경험을 개선할 수 있는 잠재력을 보여준다. 이는 기존 애플리케이션을 개선하는 것뿐만 아니라, 개인화된 지원, 창의적인 작업, 비즈니스 분석과 같은 새로운 AI 기반 솔루션을 제공할 수 있는 새로운 기회를 열어준다.

앞으로, AI 모델의 지속적인 발전은 연구와 개발의 중요성을 강조한다. 이러한 복잡한 모델을 훈련하고 책임감 있게 사용하는 도전은 앞으로의 주요 과제로 남아 있다.