Google のマルチモーダル AI Gemini – 技術的な詳細

グーグルのCEOサンダー・ピチャイとグーグル・ディープマインドのデミス・ハサビスは、 2023 年 XNUMX 月に Gemini を導入この新しい大規模言語モデルは、Google の幅広い製品に統合されており、何百万人ものユーザーが使用するサービスやツールに波及する改善をもたらします。

Googleの高度なマルチモーダルAIであるGeminiは、DeepMindとBrain AIの統合ラボの共同研究から生まれました。Geminiは先行研究の成果を基盤に、より相互接続性と知能に優れたアプリケーションスイートを提供することを約束します。

Bard、Duet AI、PaLM 2 LLM のデビューの直後に行われた Google Gemini の発表は、AI 革命で競争するだけでなくリードするという Google の明確な意図を示しています。

AIの冬というイメージとは裏腹に、Geminiのリリースは、可能性と成長に満ちた活気あるAIの春を示唆しています。AIにとって画期的な瞬間であったChatGPTの登場から1年を振り返ると、Googleの動きは、業界の拡大がまだ終わっていないことを示しています。むしろ、その勢いは加速しつつあるのかもしれません。

ジェミニとは何ですか？

GoogleのGeminiモデルは、テキスト、画像、音声、動画など、多様なデータタイプを処理できます。3つのバージョンがあります。超, Pro, ナノ- 複雑な推論からデバイス上での使用まで、それぞれが特定のアプリケーションに合わせて調整されています。 Ultra は多面的なタスクに優れており、Bard Advanced で利用できるようになります。一方、Pro は、テキスト プロンプト用にすでに Bard に統合されており、パフォーマンスとリソース効率のバランスを提供します。 Nano はオンデバイス展開用に最適化されており、4 つのサイズがあり、Pixel 8 Pro などのデバイスでオフラインで使用するための XNUMX ビット量子化などのハードウェア最適化が特徴です。

Geminiのアーキテクチャは、ネイティブなマルチモーダル出力機能において他に類を見ないものです。画像生成には個別の画像トークンを使用し、ニュアンスのある音声理解にはUniversal Speech Modelの音声機能を統合しています。ビデオデータをテキストや音声入力と組み合わせた連続画像として処理する機能は、そのマルチモーダル性能を如実に示しています。

Gemini は、テキスト、画像、オーディオ、ビデオのシーケンスを入力としてサポートします

ジェミニへのアクセス

Gemini 1.0は、Bardを含むGoogleエコシステム全体に展開され、Gemini Proの改良された機能の恩恵を受けています。また、GoogleはGeminiを検索、広告、Duetサービスに統合し、より迅速かつ正確なレスポンスでユーザーエクスペリエンスを向上させています。

Gemini の機能を活用したいユーザーのために、Google AI Studio と Google Cloud Vertex は Gemini Pro へのアクセスを提供し、後者はより優れたカスタマイズ機能とセキュリティ機能を提供します。

Gemini Pro を活用した Bard の強化された機能を体験するには、ユーザーは次の簡単な手順を実行できます。

1. 吟遊詩人に移動: お好みの Web ブラウザを開いて、Bard Web サイトにアクセスします。
2. 安全なログイン: Google アカウントでサインインしてサービスにアクセスすると、シームレスで安全なエクスペリエンスが保証されます。
3. インタラクティブチャット: Gemini Pro の高度な機能を選択できる Bard を使用できるようになりました。

マルチモダリティの力:

Geminiは、GPT-3のような成功したNLPモデルで採用されているものと同様の、Transformerベースのアーキテクチャをコアとして採用しています。しかし、Geminiの独自性は、テキスト、画像、コードなど、複数のモダリティからの情報を処理・統合する能力にあります。これは、「Gemini」と呼ばれる革新的な技術によって実現されています。 クロスモーダルな注意これにより、モデルはさまざまな種類のデータ間の関係と依存関係を学習できるようになります。

Gemini の主要コンポーネントの内訳は次のとおりです。

• マルチモーダルエンコーダ: このモジュールは、各モダリティ (テキスト、画像など) からの入力データを個別に処理し、関連する特徴を抽出し、個別の表現を生成します。
• クロスモーダル アテンション ネットワーク: このネットワークは双子座の中心です。 これにより、モデルはさまざまな表現間の関係と依存関係を学習できるようになり、相互に「対話」して理解を深められるようになります。
• マルチモーダル デコーダ: このモジュールは、クロスモーダル アテンション ネットワークによって生成された強化された表現を利用して、画像キャプション、テキストから画像への生成、コード生成などのさまざまなタスクを実行します。

Geminiモデルは、単にテキストや画像を理解するだけではありません。人間が世界を認識する方法に非常に近い方法で、さまざまな種類の情報を統合します。例えば、Geminiは一連の画像を見て、その中にある物体の論理的または空間的な順序を判断できます。また、物体のデザイン上の特徴を分析して、例えば2台の車のうちどちらがより空気力学的に優れた形状をしているかを判断することもできます。

しかし、ジェミニの才能は視覚的な理解だけにとどまりません。一連の指示をコードに変換し、カウントダウンタイマーのような実用的なツールを作成できます。これらのツールは指示通りに機能するだけでなく、モチベーションを高める絵文字などの創造的な要素も備えており、ユーザーインタラクションを強化します。これは、創造性と機能性の融合を必要とするタスクを処理する能力を示しており、これらはしばしば人間特有のスキルとみなされます。

ジェミニの機能：空間推論（ソース)

Geminiの機能はプログラミングタスクの実行まで拡張されます(ソース)

Gemini の洗練されたデザインは、ニューラル ネットワーク研究の豊富な歴史に基づいており、Google の最先端の TPU テクノロジーをトレーニングに活用しています。 特に Gemini Ultra は、さまざまな AI ドメインで新しいベンチマークを設定し、マルチモーダル推論タスクで顕著なパフォーマンス向上を示しています。

Gemini は、複雑なデータを解析して理解する能力を備え、特に教育における現実世界のアプリケーション向けのソリューションを提供します。 手書きのメモを理解し、正確な数学的組版を提供することで、物理学などの問題の解決策を分析して修正できます。 このような機能は、AI が教育現場を支援し、学生や教育者に学習と問題解決のための高度なツールを提供する未来を示唆しています。

Geminiの能力は、競技プログラミング問題に優れたAlphaCode 2のようなエージェントの作成に活用されています。これは、Geminiが複雑で多段階的な問題を処理できる汎用AIとして機能する可能性を示しています。

Gemini Nano は AI の力を日常のデバイスにもたらし、要約や読解などのタスク、さらにはコーディングや STEM 関連の課題でも優れた能力を維持します。 これらの小型モデルは、メモリの少ないデバイスでも高品質の AI 機能を提供できるように微調整されており、高度な AI をこれまで以上に利用しやすくしています。

Gemini の開発には、Google の最新の TPU を使用したトレーニング アルゴリズムとインフラストラクチャの革新が含まれていました。 これにより、効率的なスケーリングと堅牢なトレーニング プロセスが可能になり、最小のモデルでも優れたパフォーマンスを実現できます。

Gemini のトレーニング データセットは、Web ドキュメント、書籍、コード、画像、オーディオ、ビデオなど、その機能と同じくらい多様です。 このマルチモーダルかつ多言語のデータセットにより、Gemini モデルはさまざまな種類のコンテンツを効果的に理解して処理できるようになります。

ジェミニと GPT-4

他のモデルが登場しているにもかかわらず、誰もが抱いている疑問は、GoogleのGeminiが、新しいLLMの業界ベンチマークであるOpenAIのGPT-4と比べてどうなのかということです。Googleのデータによると、GPT-4は常識推論タスクでは優れているかもしれませんが、Gemini Ultraは他のほぼすべての分野で優位に立っています。

ジェミニ VS GPT-4

上記のベンチマーク表は、Google Gemini AIが様々なタスクにおいて優れたパフォーマンスを発揮していることを示しています。特に、Gemini UltraはMMLUベンチマークにおいて90.04%という驚異的な精度を達成し、57科目にわたる多肢選択式問題において優れた理解力を示しました。

小学校の算数の問題を評価する GSM8K では、Gemini Ultra は 94.4% のスコアを獲得し、高度な算術処理スキルを示しました。 コーディング ベンチマークでは、Gemini Ultra は Python コード生成の HumanEval で 74.4% のスコアを達成しており、プログラミング言語の強力な理解を示しています。

読解力をテストする DROP ベンチマークでは、Gemini Ultra が 82.4% のスコアで再び首位に立っていました。 一方、常識的な推論テストである HellaSwag では、Gemini Ultra は見事なパフォーマンスを示しましたが、GPT-4 によって設定された非常に高いベンチマークを超えることはできませんでした。

まとめ：

Googleの最先端技術を基盤とするGeminiの独自のアーキテクチャは、AI分野における強力なプレイヤーとしての地位を確立し、GPT-4などのモデルが打ち立てた既存のベンチマークに挑戦しています。Ultra、Pro、Nanoの各バージョンは、複雑な推論タスクから効率的なデバイス内アプリケーションまで、それぞれ特定のニーズに対応しており、高度なAIを様々なプラットフォームやデバイスで利用できるようにするためのGoogleのコミットメントを示しています。

BardからGoogle Cloud Vertexに至るまで、GoogleのエコシステムへのGeminiの統合は、幅広いサービスにおけるユーザーエクスペリエンスの向上の可能性を示唆しています。既存のアプリケーションの改良だけでなく、パーソナライズされたサポート、クリエイティブな取り組み、ビジネス分析など、AIを活用したソリューションの新たな道を切り開くことも期待されます。

将来に目を向けると、Gemini のような AI モデルの継続的な進歩は、継続的な研究開発の重要性を浮き彫りにしています。 このような洗練されたモデルをトレーニングし、その倫理的かつ責任ある使用を保証するという課題は、依然として議論の最前線にあります。