人工智能
Google 的多模态 AI Gemini – 技术深度解析
Sundar Pichai，Google 的 CEO，与 Google DeepMind 的 Demis Hassabis 一起，在 2023 年 12 月 介绍了 Gemini。这个新的大型语言模型集成在 Google 广泛的产品中，提供了改进的服务和工具，惠及数百万用户。
Gemini 是 Google 先进的多模态 AI，源自 DeepMind 和 Brain AI 实验室的合作。Gemini 借鉴了其前辈的经验，承诺提供更互联和更智能的应用程序。
Google Gemini 的发布紧随 Bard、Duet AI 和 PaLM 2 LLM 的发布之后，标志着 Google 不仅要竞争，还要在 AI 革命中领先。
与 AI 冬天的概念相反，Gemini 的发布表明 AI 正处于蓬勃发展的春天，充满潜力和增长。回顾 ChatGPT 的出现已经一年了，这本身就是 AI 的一个突破性时刻，Google 的举动表明该行业的扩张远未结束；事实上，它可能刚刚开始加速。
什么是 Gemini?
Google 的 Gemini 模型能够处理多种数据类型，如文本、图像、音频和视频。它有三种版本——Ultra、Pro 和 Nano，每种版本都针对特定的应用程序，从复杂的推理到设备上的使用。Ultra 在多面任务中表现出色，将在 Bard Advanced 上提供，而 Pro 提供了性能和资源效率的平衡，已经集成到 Bard 中用于文本提示。Nano针对设备上的部署进行了优化，有两种大小，并具有像 4 位量化这样的硬件优化，用于像 Pixel 8 Pro 这样的设备上的离线使用。
Gemini 的架构在其本地多模态输出能力上是独特的，使用离散图像令牌进行图像生成，并集成了 Universal Speech Model 的音频功能以实现细致的音频理解。其处理视频数据的能力，如将视频数据作为序列图像，交织在一起的文本或音频输入，体现了其多模态能力。
Gemini 支持文本、图像、音频和视频作为输入
访问 Gemini
Gemini 1.0 正在 Google 的生态系统中推出，包括 Bard，它现在从 Gemini Pro 的精炼能力中受益。Google 还将 Gemini 集成到其搜索、广告和 Duet 服务中，通过更快、更准确的响应来增强用户体验。
对于那些渴望利用 Gemini 能力的用户，Google AI Studio 和 Google Cloud Vertex 提供了访问 Gemini Pro 的机会，后者提供了更大的自定义和安全功能。
要体验 Bard 由 Gemini Pro 提供的增强功能，用户可以按照以下简单步骤：
- 导航到 Bard：打开您喜欢的网页浏览器并前往 Bard 网站。
- 安全登录：使用您的 Google 账户登录服务，确保无缝和安全的体验。
- 交互式聊天：您现在可以使用 Bard，其中 Gemini Pro 的高级功能可以被选择。
多模态的力量：
在其核心，Gemini 利用了基于 Transformer 的架构，类似于那些在成功的 NLP 模型中使用的架构，如 GPT-3。然而，Gemini 的独特性在于其处理和集成多种模态信息的能力，包括文本、图像和代码。这是通过一种叫做 跨模态注意力 的新技术实现的，该技术允许模型学习不同类型数据之间的关系和依赖性。
以下是 Gemini 的关键组件的分解：
- 多模态编码器： 该模块独立处理每个模态的输入数据（例如文本、图像），提取相关特征并生成单独的表示。
- 跨模态注意力网络： 该网络是 Gemini 的核心。它允许模型学习不同表示之间的关系和依赖性，使它们能够“相互交谈”并丰富它们的理解。
- 多模态解码器： 该模块利用跨模态注意力网络生成的丰富表示来执行各种任务，例如图像字幕、文本到图像生成和代码生成。
Gemini 模型不仅仅是关于理解文本或图像——它是关于以一种更接近人类感知世界的方式整合不同类型的信息。例如，Gemini 可以查看一系列图像并确定对象的逻辑或空间顺序。它还可以分析对象的设计特征以做出判断，例如哪辆车具有更流线型的形状。
但 Gemini 的才能不仅仅局限于视觉理解。它可以将一组指令转换为代码，创建实用的工具，如倒计时器，不仅能按照指示正常运行，还包含创意元素，如激励表情符号，以增强用户交互。这表明它能够处理需要创造力和功能性结合的任务——这些技能通常被认为是独特的人类技能。
Gemini 的能力：空间推理 (来源)
Gemini 的能力扩展到执行编程任务（来源)
Gemini 的复杂设计基于神经网络研究的丰富历史，并利用 Google 的尖端 TPU 技术进行训练。Gemini Ultra 特别是在各种 AI 领域中设定了新的基准，展示了在多模态推理任务中的显著性能提升。
通过其分析和理解复杂数据的能力，Gemini 为现实世界的应用提供了解决方案，特别是在教育领域。它可以分析和纠正问题的解决方案，例如物理问题，通过理解手写笔记并提供准确的数学排版。这种能力表明了一个未来，AI 将在教育环境中协助学生和教育者，提供先进的工具用于学习和解决问题。
Gemini 已被利用来创建像 AlphaCode 2 这样的代理，它在竞争性编程问题中表现出色。这展示了 Gemini 作为通用 AI 的潜力，能够处理复杂的多步骤问题。
Gemini Nano 将 AI 的力量带到日常设备上，在摘要、阅读理解以及编码和 STEM 相关挑战等任务中保持着令人印象深刻的能力。这些较小的模型经过精细调优，以提供高质量的 AI 功能，适用于内存较低的设备，使先进的 AI 比以往任何时候都更容易获取。
Gemini 的开发涉及训练算法和基础设施的创新，使用 Google 的最新 TPU。这使得扩展和训练过程更加高效，确保即使是最小的模型也能提供卓越的性能。
Gemini 的训练数据集与其能力一样多样，包括网页文档、书籍、代码、图像、音频和视频。这个多模态和多语言数据集确保 Gemini 模型能够有效地理解和处理各种内容类型。
Gemini 和 GPT-4
尽管其他模型的出现，但大家都在思考 Google 的 Gemini 与 OpenAI 的 GPT-4 相比如何，GPT-4 是新 LLM 的行业基准。Google 的数据表明，虽然 GPT-4 可能在常识推理任务中表现出色，但 Gemini Ultra 在几乎所有其他领域都占有优势。
Gemini VS GPT-4
上面的基准测试表格显示了 Google 的 Gemini AI 在各种任务中的出色性能。值得注意的是，Gemini Ultra 在 MMLU 基准测试中实现了 90.04% 的准确率，表明其在多个学科的多项选择题中的理解能力。
在 GSM8K 中，评估小学数学问题，Gemini Ultra 得分为 94.4%，展示了其先进的算术处理能力。在编码基准测试中，Gemini Ultra 在 HumanEval 中实现了 74.4% 的分数，用于 Python 代码生成，表明其对编程语言的强大理解。
DROP 基准测试，用于测试阅读理解，Gemini Ultra 再次领先，得分为 82.4%。同时，在常识推理测试 HellaSwag 中，Gemini Ultra 表现出色，尽管它没有超越 GPT-4 设定的极高基准。
结论
Gemini 的独特架构，得益于 Google 的尖端技术，使其成为 AI 领域中的一名强大竞争者，挑战了 GPT-4 等模型设定的现有基准。其版本——Ultra、Pro 和 Nano——每个都针对特定的需求，从复杂的推理任务到高效的设备应用，展示了 Google 致力于使先进的 AI 跨越各种平台和设备。
Gemini 集成到 Google 的生态系统中的过程，从 Bard 到 Google Cloud Vertex，凸显了其增强用户体验的潜力，涵盖了服务的广泛范围。它不仅承诺改进现有的应用程序，还将开辟新的 AI 驱动解决方案的途径，无论是在个性化助手、创意事业还是商业分析方面。
展望未来，像 Gemini 这样的 AI 模型的持续进步凸显了持续研究和开发的重要性。训练此类复杂模型并确保其以负责任和合乎道德的方式使用的挑战仍然是讨论的焦点。
