口袋大小的强大工具：推出 Microsoft 的 Phi-3，适合您手机的语言模型

在快速发展的人工智能领域，虽然趋势往往倾向于更大、更复杂的模型，但微软在 Phi-3 Mini 上采用了不同的方法。这 小语言模型（SLM）现已进入第三代，将大型模型的强大功能打包到一个框架中，以适应智能手机严格的资源限制。 Phi-3.8 Mini 拥有 3 亿个参数，其性能可与 大型语言模型 （法学硕士）跨越各种任务，包括语言处理、推理、编码和数学，并通过量化为移动设备上的高效操作量身定制。

大型语言模型的挑战

Microsoft 的 Phi SLM 的开发是为了应对 LLM 带来的重大挑战，LLM 需要比消费设备上通常可用的计算能力更强的计算能力。这种高要求使得它们在标准计算机和移动设备上的使用变得复杂，由于它们在训练和操作期间的能源消耗而引发了环境问题，并且由于其庞大而复杂的训练数据集而存在长期存在偏差的风险。这些因素还会损害模型在实时应用程序中的响应能力，并使更新更具挑战性。

Phi-3 Mini：简化个人设备上的人工智能以增强隐私和效率

Phi-3 迷你 其战略性设计旨在提供一种经济高效的替代方案，将先进的人工智能直接集成到手机和笔记本电脑等个人设备上。这种设计有助于更快、更即时的响应，增强用户在日常场景中与技术的交互。

Phi-3 Mini 使复杂的人工智能功能能够直接在移动设备上处理，从而减少对云服务的依赖并增强实时数据处理。此功能对于需要立即数据处理的应用程序至关重要，例如移动医疗、实时语言翻译和个性化教育，有助于促进这些领域的进步。该模型的成本效益不仅降低了运营成本，还扩大了人工智能在各个行业集成的潜力，包括可穿戴技术和家庭自动化等新兴市场。 Phi-3 Mini 可以直接在本地设备上进行数据处理，从而增强用户隐私。这对于管理个人健康和金融服务等领域的敏感信息至关重要。此外，该模型的低能源需求有助于环境可持续的人工智能运营，与全球可持续发展努力保持一致。

设计理念和 Phi 的演变

菲的设计理念 是基于以下概念 课程学习，它的灵感来自于儿童通过逐渐更具挑战性的例子来学习的教育方法。主要思想是从更简单的例子开始训练人工智能，并随着学习过程的进展逐渐增加训练数据的复杂性。微软通过根据教科书构建数据集来实施这一教育策略，如他们的研究中所详述的“教科书就是你所需要的”。 Phi 系列于 2023 年 1 月推出，从 Phi-1.3 开始，这是一个拥有 XNUMX 亿个参数的紧凑模型。该模型很快就证明了其功效，特别是在 Python 编码任务中，它的性能优于更大、更复杂的模型。基于这一成功，微软最近开发了 Φ1.5，它保持了相同数量的参数，但扩大了其在常识推理和语言理解等领域的能力。该系列一经推出便大放异彩 Φ2 2023 年 2.7 月。Phi-2 拥有 XNUMX 亿个参数，在推理和语言理解方面展示了令人印象深刻的技能，使其成为与更大的模型相比的强大竞争对手。

Phi-3 与其他小语言模型

Phi-3 Mini 在其前身的基础上进行了扩展，超越了其他 SLM，例如 谷歌的杰玛, 米斯特拉尔的米斯特拉尔, Meta 的 Llama3-指令及 通用技术 3.5，在各种工业应用中。这些应用程序包括语言理解和推理、常识、常识推理、小学数学应用题和医学问答，与这些模型相比，表现出了卓越的性能。 Phi-3 Mini 还在 iPhone 14 上进行了各种任务的离线测试，包括内容创建和提供针对特定位置的活动建议。为此，Phi-3 Mini 已使用称为“压缩”的过程压缩至 1.8GB 量化，它通过将模型的数值数据从 32 位浮点数转换为更紧凑的格式（如 4 位整数）来优化资源有限设备的模型。这不仅减少了模型的内存占用，还提高了处理速度和电源效率，这对于移动设备至关重要。开发人员通常使用诸如 TensorFlow Lite or PyTorch手机，结合内置的量化工具来自动化和完善这个过程。

功能比较：Phi-3 Mini 与 Phi-2 Mini

下面，我们将 Phi-3 与其前身 Phi-2 的一些功能进行比较。

• 模型架构：Phi-2 在基于变压器的架构上运行，旨在预测下一个单词。 Phi-3 Mini 还采用了 Transformer 解码器架构，但与 Llama-2 模型结构更加一致，使用相同的分词器，词汇量为 320,641。这种兼容性确保为 Llama-2 开发的工具可以轻松适应 Phi-3 Mini。
• 上下文长度：Phi-3 Mini 支持 8,000 个令牌的上下文长度，这比 Phi-2 的 2,048 个令牌大得多。这一增强使 Phi-3 Mini 能够管理更详细的交互并处理更长的文本。
• 在移动设备上本地运行：Phi-3 Mini可以压缩到4位，占用内存约1.8GB，与Phi-2类似。它在配备 A14 Bionic 芯片的 iPhone 16 上离线运行测试，实现了每秒超过 12 个令牌的处理速度，与类似条件下的 Phi-2 性能相当。
• 型号尺寸：Phi-3.8 Mini 拥有 3 亿个参数，其规模比拥有 2 亿个参数的 Phi-2.7 更大。这反映了其能力的增强。
• 训练数据：与使用 2 万亿个令牌进行训练的 Phi-1.4 不同，Phi-3 Mini 接受了更大的 3.3 万亿个令牌集的训练，使其能够更好地掌握复杂的语言模式。

解决 Phi-3 Mini 的局限性

虽然 Phi-3 Mini 在小语言模型领域展示了显着进步，但它也并非没有局限性。与大规模语言模型相比，Phi-3 Mini 的尺寸较小，其主要限制是其存储大量事实知识的能力有限。这可能会影响其独立处理需要深度特定事实数据或详细专家知识的查询的能力。然而，可以通过将 Phi-3 Mini 与搜索引擎集成来缓解这一问题。这样模型就可以实时访问更广泛的信息，有效弥补其固有的知识局限性。这种集成使 Phi-3 Mini 能够像一个能力很强的对话者一样工作，尽管他对语言和上下文有全面的掌握，但偶尔可能需要“查找”信息以提供准确和最新的响应。

订购

Phi-3 现在可在多个平台上使用，包括 微软Azure人工智能工作室, 拥抱脸及 奥拉马。在 Azure AI 上，该模型包含部署-评估-微调工作流程，而在 Ollama 上，它可以在笔记本电脑上本地运行。该模型是为 ONNX运行时 和支持 Windows DirectML，确保它在各种硬件类型（例如 GPU、CPU 和移动设备）上都能正常运行。此外，Phi-3 通过以下方式作为微服务提供： 英伟达NIM，配备标准 API，可轻松跨不同环境进行部署，并专门针对 NVIDIA GPU 进行了优化。微软计划在不久的将来进一步扩展Phi-3系列，增加Phi-3-small (7B)和Phi-3-medium (14B)型号，为用户提供额外的选择来平衡质量和成本。

底线

微软的 Phi-3 Mini 通过将大型语言模型的强大功能应用于移动用途，在人工智能领域取得了重大进展。该模型通过更快、实时的处理和增强的隐私功能改善了用户与设备的交互。它最大限度地减少了对基于云的服务的需求，降低了运营成本，并扩大了医疗保健和家庭自动化等领域的人工智能应用范围。 Phi-3 Mini 专注于通过课程学习减少偏见并保持竞争表现，正在发展成为高效且可持续的移动人工智能的关键工具，巧妙地改变了我们日常与技术互动的方式。