GoogleのマルチモーダルAI Gemini – 技術的な深い掘り下げ

Sundar Pichai、GoogleのCEO、およびDemis HassabisからGoogle DeepMindは、2023年12月にGeminiを紹介しました。この新しい大規模言語モデルは、Googleの幅広い製品に統合されており、数百万人が使用するサービスやツールに波及効果をもたらす改善を提供しています。

Gemini、Googleの高度なマルチモーダルAIは、統一されたDeepMindとBrain AIラボの共同作業から生まれました。Geminiは、その前身の成果を基にしており、より相互接続されたスマートなアプリケーションのスイートを提供することを約束しています。

Google Geminiの発表は、Bard、Duet AI、PaLM 2 LLMのデビューに続くもので、GoogleがAI革命で競争するだけでなく、リードする意図を明確に示しています。

AIの冬のどかな考えに反して、Geminiの発売は、AIの春が繁栄していることを示唆しており、潜在性と成長が溢れています。ChatGPTの登場から1年が経過した今、AIの業界の拡大は終わったわけではなく、むしろ勢いが増しているようです。

Geminiとは何か

GoogleのGeminiモデルは、テキスト、画像、オーディオ、ビデオなどの多様なデータタイプを処理することができます。Ultra、Pro、Nanoの3つのバージョンがあり、それぞれが特定のアプリケーションに合わせて調整されています。Ultraは複雑なタスクに優れており、Bard Advancedで利用可能です。一方、Proはパフォーマンスとリソース効率のバランスを提供し、Bardのテキストプロンプトにすでに統合されています。Nanoは、4ビット量子化などのハードウェア最適化を備えたオフライン使用のために最適化されており、Pixel 8 Proなどのデバイスで利用できます。

Geminiのアーキテクチャは、ネイティブのマルチモーダル出力機能を備えており、画像生成のための離散画像トークンと、ニュアンスのあるオーディオ理解のためのUniversal Speech Modelのオーディオ機能を統合しています。テキストまたはオーディオ入力と交互に配置されたシーケンシャル画像データを処理する能力は、そのマルチモーダル能力を示しています。

Geminiはテキスト、画像、オーディオ、ビデオのシーケンスを入力としてサポートします

Geminiへのアクセス

Gemini 1.0は、Bardを含むGoogleのエコシステムに展開されており、Gemini Proの洗練された機能が利用可能になりました。Googleはまた、GeminiをSearch、Ads、Duetサービスに統合し、より速く、正確なレスポンスでユーザーエクスペリエンスを向上させました。

Geminiの機能を活用したい場合は、Google AI StudioとGoogle Cloud VertexでGemini Proにアクセスできます。後者は、より高度なカスタマイズとセキュリティ機能を提供します。

Gemini Proを搭載したBardの強化された機能を体験するには、以下の手順に従います：

1. Bardに移動: お好みのWebブラウザを開き、BardのWebサイトにアクセスします。
2. セキュアなログイン: Googleアカウントでサービスにログインし、シームレスでセキュアなエクスペリエンスを確保します。
3. インタラクティブなチャット: ここで、Gemini Proの高度な機能を活用できるBardを使用できます。

マルチモーダルの力:

Geminiの核心は、GPT-3などの成功したNLPモデルで使用されているトランスフォーマーベースのアーキテクチャを利用しています。ただし、Geminiの独自性は、テキスト、画像、コードなどの多様なモダリティの情報を処理および統合する能力にあります。これは、クロスモーダルアテンションと呼ばれる新しいテクニックを使用して実現されており、モデルはさまざまなタイプのデータ間の関係と依存関係を学習できます。

ここでは、Geminiの主なコンポーネントを説明します:

• マルチモーダルエンコーダー: このモジュールは、各モダリティ（例：テキスト、画像）からの入力データを独立して処理し、関連する機能を抽出し、個別の表現を生成します。
• クロスモーダルアテンションネットワーク: このネットワークはGeminiの核心であり、モデルはさまざまな表現間の関係と依存関係を学習し、それらを「会話」させ、理解を豊かにすることができます。
• マルチモーダルデコーダー: このモジュールは、クロスモーダルアテンションネットワークによって生成された豊富な表現を使用して、画像キャプション、テキストから画像の生成、コード生成などのタスクを実行します。

Geminiモデルは、単にテキストまたは画像を理解することではなく、人間が世界を認識するように、さまざまな種類の情報を統合する方法に近いものです。たとえば、Geminiは画像のシーケンスを分析し、画像内のオブジェクトの論理的または空間的な順序を決定できます。また、オブジェクトのデザイン機能を分析して判断を下すこともできます。たとえば、2台の車のうち、どちらが空気力学的に優れていますか。

Geminiの才能は、視覚的な理解にとどまらず、指示のセットをコードに変換し、カウントダウンタイマーなどの実用的なツールを作成できます。これらのツールには、動機付けのための絵文字などの創造的な要素も含まれており、ユーザーとのやり取りを向上させます。これは、創造性と機能性の組み合わせを必要とするタスクを処理する能力を示しています。这些スキルは、通常、人間独自のものと考えられています。

Geminiの機能: 空間推論 (ソース)

Geminiの機能は、プログラミングタスクの実行に拡張されます(ソース)

Geminiの洗練された設計は、ニューラルネットワーク研究の豊富な歴史に基づいており、Googleの最新のTPUテクノロジーを使用してトレーニングされています。特にGemini Ultraは、さまざまなAIドメインで新しいベンチマークを樹立し、マルチモーダル推論タスクで顕著なパフォーマンスの向上を示しています。

Geminiは、複雑なデータを解析して理解する能力を提供し、特に教育分野での実世界のアプリケーションに解決策を提供します。物理学などの問題の解決を分析して修正することができ、手書きのノートを理解して正確な数学的表記を提供することができます。これらの機能は、AIが教育環境で学生や教育者に高度なツールを提供する未来を示唆しています。

Geminiは、AlphaCode 2などのエージェントを作成するために利用されており、競争的なプログラミング問題に優れています。これは、Geminiが複雑なマルチステップ問題を処理できる汎用AIとしての潜在性を示しています。

Gemini Nanoは、毎日のデバイスにAIの力をもたらします。要約、読解力、コード、STEM関連の課題などのタスクで優れた能力を維持しています。これらの小さいモデルは、低メモリデバイスで高品質のAI機能を提供するためにファインチューンされており、AIを以前よりもアクセスしやすくしています。

Geminiの開発には、トレーニングアルゴリズムとインフラストラクチャーにおける革新が含まれていました。Googleの最新のTPUを使用して、効率的なスケーリングと堅牢なトレーニングプロセスが可能になりました。したがって、最小のモデルでも優れたパフォーマンスが保証されます。

Geminiのトレーニングデータセットは、Webドキュメント、書籍、コード、画像、オーディオ、ビデオなど、多様なデータで構成されています。このマルチモーダルでマルチリンガルのデータセットにより、Geminiモデルは幅広いコンテンツタイプを効果的に処理および理解することができます。

GeminiとGPT-4

他のモデルが登場したにもかかわらず、GoogleのGeminiが業界のベンチマークであるOpenAIのGPT-4とどのように比較されるかという疑問が多くの人にあるようです。Googleのデータによると、GPT-4は共通の常識推論タスクで優れていますが、Gemini Ultraはほぼすべての他の分野で上回っています。

Gemini VS GPT-4

上記のベンチマークテーブルは、GoogleのGemini AIがさまざまなタスクで優れたパフォーマンスを示していることを示しています。特に、Gemini UltraはMMLUベンチマークで90.04%の精度を達成し、57科目の多選択問題で優れた理解を示しています。

GSM8Kでは、Gemini Ultraは94.4%のスコアを達成し、小学校の数学問題で高度な算術処理能力を示しています。コード生成のベンチマークでは、Gemini UltraはHumanEvalのPythonコード生成で74.4%のスコアを達成し、プログラミング言語の理解が優れていることを示しています。

読解力のテストであるDROPベンチマークでは、Gemini Ultraが82.4%のスコアでトップとなり、共通の常識推論テストであるHellaSwagでは、Gemini Ultraが非常に高いベンチマークを達成していますが、GPT-4には及ばないものの、優れた成績を収めています。

結論

Geminiのユニークなアーキテクチャは、Googleの最先端テクノロジーによって支えられており、AIの分野で強力なプレーヤーとして位置付けられ、GPT-4を含む既存のモデルに挑戦しています。Ultra、Pro、Nanoの各バージョンは、複雑な推論タスクから効率的なオンデバイスアプリケーションまで、特定のニーズに合わせて調整されています。これは、Googleがさまざまなプラットフォームやデバイスで高度なAIを提供することに尽力していることを示しています。

GeminiのGoogleエコシステムへの統合は、BardからGoogle Cloud Vertexまで、ユーザーエクスペリエンスを向上させる可能性を示しています。既存のアプリケーションを改善するだけでなく、新しいAI駆動ソリューションの道を開くことを約束しています。

先へ進むにつれて、GeminiのようなAIモデルにおける継続的な進歩は、研究と開発の重要性を強調しています。こうした高度なモデルをトレーニングし、倫理的かつ責任ある使用を確保する課題は、議論の最前線にあります。