袖珍强大：揭秘微软的 Phi-3，小型语言模型适用于手机

在人工智能领域的快速发展中，虽然趋势往往偏向更大、更复杂的模型，但微软却采取了不同的方法，推出了 Phi-3 Mini。这款小型语言模型（SLM）现在已经进入第三代，能够将大型模型的强大功能打包到一个适合手机资源约束的框架中。凭借 3.8 亿参数，Phi-3 Mini 在语言处理、推理、编码和数学等任务中匹配了大型语言模型（LLM）的性能，并通过量化针对移动设备进行了优化。

大型语言模型的挑战

微软的 Phi SLM 的开发是为了应对大型语言模型带来的重大挑战，这些挑战包括需要比消费者设备上通常可用的计算能力更强大的处理器。这使得它们在标准计算机和移动设备上使用变得复杂，并引发了环境问题，因为它们在训练和运行过程中会消耗大量能量。此外，它们还存在延续偏见的风险，因为它们的训练数据集很大且复杂。这些因素还会影响它们在实时应用中的响应速度，并使更新变得更加困难。

Phi-3 Mini：在个人设备上简化 AI，增强隐私和效率

Phi-3 Mini 被战略性地设计为一种成本有效和高效的替代方案，用于将高级 AI 直接集成到个人设备（如手机和笔记本电脑）上。这种设计实现了更快、更直接的响应，增强了用户与技术的交互。
Phi-3 Mini 能够直接在移动设备上处理复杂的 AI 功能，从而减少对云服务的依赖，增强实时数据处理。这对于需要立即处理数据的应用程序（如移动医疗、实时语言翻译和个性化教育）至关重要。该模型的成本效益不仅降低了运营成本，还扩大了 AI 在各个行业（包括新兴市场，如可穿戴技术和家居自动化）的应用潜力。通过直接在本地设备上处理数据，Phi-3 Mini 提升了用户隐私，这对于管理个人健康和金融服务等敏感信息的领域至关重要。此外，该模型的低能耗有助于实现环境可持续的 AI 运营，符合全球可持续发展努力。

Phi 的设计哲学和演变

Phi 的设计哲学 基于课程学习的概念，这种概念从儿童通过逐渐增加挑战性的例子来学习的教育方法中汲取灵感。主要思想是从简单的例子开始 AI 的训练，然后逐渐增加训练数据的复杂性。微软通过构建一个从教科书中提取的数据集（如他们的研究 “Textbooks Are All You Need” 中所述）来实施这一教育策略。Phi 系列于 2023 年 6 月推出，首先推出了 Phi-1，这是一个紧凑的模型，拥有 13 亿参数。该模型迅速证明了其有效性，特别是在 Python 编码任务中，它超越了更大、更复杂的模型。继此之后，微软开发了 Phi-1.5，它保持了相同的参数数量，但在常识推理和语言理解等领域扩大了其能力。该系列在 2023 年 12 月发布的 Phi-2 中达到了新的高度，拥有 27 亿参数，展示了其在推理和语言理解方面的出色能力，使其成为更大型模型的强劲竞争者。

Phi-3 与其他小型语言模型的比较

在其前身的基础上，Phi-3 Mini 通过在多种工业应用中超越其他小型语言模型（如 Google 的 Gemma (GOOGL ) 、Mistral 的 Mistral、Meta 的 Llama3-Instruct 和 GPT 3.5）而展现了其进步。这些应用包括语言理解和推理、常识推理、数学问题和医疗问题回答，展示了其在这些领域的卓越性能。Phi-3 Mini 还在 iPhone 14 上进行了离线测试，用于内容创作和提供特定位置的活动建议。为了此目的，Phi-3 Mini 已被压缩到 1.8GB，使用了一种称为 量化 的过程，这使得模型适用于资源有限的设备。这种过程通过将模型的数值数据从 32 位浮点数转换为更紧凑的格式（如 4 位整数）来优化模型，不仅减少了模型的内存占用，还提高了处理速度和能效，这对于移动设备至关重要。

Phi-3 Mini 与 Phi-2 Mini 的功能比较

以下，我们比较了 Phi-3 和其前身 Phi-2 的一些特性。

• 模型架构：Phi-2 采用了基于变换器的架构，旨在预测下一个词。Phi-3 Mini 也采用了变换器解码器架构，但更接近 Llama-2 模型结构，使用相同的分词器，词汇表大小为 320,641。这使得为 Llama-2 开发的工具可以轻松适配用于 Phi-3 Mini。
• 上下文长度：Phi-3 Mini 支持的上下文长度为 8,000 个令牌，远远大于 Phi-2 的 2,048 个令牌。这使得 Phi-3 Mini 能够处理更详细的交互和更长的文本段。
• 在移动设备上本地运行：Phi-3 Mini 可以被压缩到 4 位，占用约 1.8GB 的内存，类似于 Phi-2。在 iPhone 14 上进行了测试，Phi-3 Mini 达到了每秒超过 12 个令牌的处理速度，匹配了 Phi-2 在类似条件下的性能。
• 模型大小：Phi-3 Mini 拥有 3.8 亿参数，规模大于 Phi-2 的 2.7 亿参数，反映了其增强的能力。
• 训练数据：与 Phi-2 相比，Phi-3 Mini 的训练数据集更大，达到 3.3 万亿令牌，使其能够更好地掌握复杂的语言模式。

解决 Phi-3 Mini 的局限性

虽然 Phi-3 Mini 在小型语言模型领域表现出显著的进步，但它并非完美无缺。Phi-3 Mini 的主要限制之一是其相对于大型语言模型而言较小的规模，这限制了它存储大量事实知识的能力。这可能会影响它独立处理需要大量具体事实数据或专家知识的查询的能力。然而，这可以通过将 Phi-3 Mini 与搜索引擎集成来缓解，这样模型就可以实时访问更广泛的信息，有效地弥补其固有的知识局限性。

可用性

Phi-3 现在可在多个平台上使用，包括 Microsoft Azure AI Studio (MSFT ) 、Hugging Face 和 Ollama。在 Azure AI 上，模型包含了部署、评估和微调的工作流，而在 Ollama 上，可以在笔记本电脑上本地运行。该模型针对 ONNX Runtime 进行了优化，并支持 Windows DirectML，确保它可以在各种硬件类型（如 GPU、CPU 和移动设备）上顺畅运行。此外，Phi-3 通过 NVIDIA NIM (NVDA ) 提供为微服务，配备了标准 API，易于在不同环境中部署，并针对 NVIDIA GPU 进行了优化。微软计划在不久的将来进一步扩展 Phi-3 系列，添加 Phi-3-small（7B）和 Phi-3-medium（14B）模型，为用户提供更多选择，以平衡质量和成本。

结论

微软的 Phi-3 Mini 正在人工智能领域取得重大进展，通过将大型语言模型的力量适配到移动设备上。该模型通过更快的实时处理和增强的隐私功能提高了用户与设备的交互。它减少了对基于云的服务的需求，降低了运营成本，并扩大了人工智能在医疗保健、家居自动化等领域的应用范围。凭借对课程学习的关注和竞争性的性能，Phi-3 Mini 正在成为高效和可持续的移动 AI 的关键工具，微妙地改变着我们与技术的日常交互。