AI 模型与平台
反思 70B：具有自我纠正认知和领先性能的 LLM
将 Unite.AI 添加到您在 Google 上的首选来源
反思 70B 是由 HyperWrite 开发的开源大型语言模型（LLM）。该模型引入了一种新的 AI 认知方法，这可能会改变我们与 AI 系统交互和依赖的方式，在从语言处理到高级问题解决的各个领域。
利用 反思调优，一种开创性的技术，允许模型实时自我评估和纠正自己的错误，反思 70B 已经迅速崛起，超越了像 GPT-4 和 Claude 3.5 Sonnet 这样的专有模型，在包括 MMLU、MATH 和 HumanEval 在内的多个基准测试中。
反思 70B 建立在强大的 Llama 3.1-70B 架构之上，但其自我改进机制使其与众不同。通过迭代的反思、错误检测和输出改进，模型以前所未有的方式模仿人类认知，推动了 AI 可以实现的界限。因此，反思 70B 不仅提供无与伦比的准确性，还提供了对其决策过程的更深入的见解，这对于需要透明度和精度的应用至关重要。
什么是反思 70B
在其核心，反思 70B 建立在 Meta 的开源 Llama 3.1-70B 指令模型 之上。然而，真正使其与众不同的，是其独特的能力，即参与类似人类反思的过程——因此得名。这种能力源于一种称为 “反思调优” 的技术，它使模型能够识别和纠正自己的错误，从而提高其准确性和可靠性。
Matt Shumer，HyperWrite 的 CEO，推出了反思 70B，并大胆宣称它是 “世界上最强大的开源 AI 模型。” 但是什么使这个模型如此特别，它又如何与行业巨头如 GPT-4 和 Claude 3.5 Sonnet 相比？让我们探索一下。
理解选择性反思调优：AI 训练中的范式转变
选择性 反思调优 引入了一种指令调优方法，目标是提高指令数据的质量和其与被调优的学生模型的兼容性。传统方法通常专注于提高数据本身，但忽略了增强的数据对如何与模型的学习目标保持一致。选择性反思调优弥补了这一差距，通过教师模型和学生模型之间的合作，教师模型反思数据并提供改进的指令响应对，学生模型评估和选择最适合其训练需求的改进。
该过程包括两个关键阶段：
- 选择性指令反思：教师模型反思给定样本的指令并生成改进的指令响应对。学生模型然后根据 指令遵循难度 (IFD) 评估新的指令是否有益。IFD 评分评估样本对学生模型的难度，确保只保留挑战模型的数据。
- 选择性响应反思：在此阶段，教师模型反思第一阶段生成的响应。学生模型使用 反转指令遵循难度 (r-IFD) 评估这些响应，测量学生模型根据响应推断指令的可行性。这确保响应不仅改进模型的推理，还与学生模型的现有知识保持一致。
通过应用 IFD 和 r-IFD，选择性反思调优生成的数据对不仅具有挑战性，还具有可行性，提高了指令调优过程的效率，而无需额外的数据集。结果是更 样本高效 和 高性能 的 LLM，它超越了许多更大的模型。
思维架构：反思 70B 如何 “思考”
反思 70B 的底层架构将 AI 推理提升到一个新的水平，通过将思维过程分为多个阶段。每个阶段都允许模型通过自我反思迭代改进，类似于人类认知：
- 初始数据和响应：模型首先生成对给定指令的响应。该初始输出类似于标准 LLM 输出。
- 选择性指令反思：生成初始响应后，模型进入 指令反思阶段。教师模型反思原始指令并建议改进。这些建议然后由学生模型使用 IFD 评分 进行评估，以确定新的指令响应对是否更适合进一步调优。
- 选择性响应反思：反思指令后，模型转向改进响应本身。在这里，教师模型根据更新的指令生成新的响应。学生模型使用 r-IFD 评分 评估新的响应是否有助于更有效地推断指令。
- 最终指令调优：一旦选择了最佳的指令响应对，它将被添加到用于调优模型的最终数据集中。该多阶段过程确保只包括最有效和最连贯的指令响应对在调优数据中。
这种 结构化反思 过程允许用户看到模型如何迭代其思维过程，创建透明度并显著提高复杂任务中的准确性和一致性。
基准测试卓越：反思 70B 在行动
反思 70B 使用选择性反思调优不仅提供了更复杂的训练过程，还在多个基准测试中实现了行业领先的性能。通过其迭代自我评估机制，模型超越了规模更大的专有模型。
- MMLU（大规模多任务语言理解）：反思 70B 获得了 72.2% 的分数，超越了其他大型开源模型，如 LLaMA 2。
- 数学基准：在数学推理任务中，模型比 GPT-4 和 Claude 3.5 有显著优势，展示了其在处理复杂问题解决场景的优势。
- IFEval 和 GSM8K：反思 70B 也在 IFEval 中表现出色，其中评估了其指令响应的一致性，并在 GSM8K 中表现出色，GSM8K 是一个数学问题解决基准。自我反思调优使模型能够更有效地处理复杂和细致的问题，而不是其更大的竞争对手。
通过利用选择性反思调优，反思 70B 表明 规模并不是实现高性能的唯一因素。自我纠正和反思的能力导致了 更强、更连贯的推理，使其能够超越具有更多参数的模型。
sRecycled WizardLM 7B 与其他模型的性能比较
现实世界应用：利用反思 70B 的潜力
反思 70B 的实时错误纠正和透明决策为各个领域开启了新的可能性。以下是一些现实世界的应用案例：
复杂问题解决
反思 70B 的优势在于处理复杂问题。考虑一个具有挑战性的数学查询：
<p>用户："解方程：2x^2 + 5x - 3 = 0" 反思 70B：</p> <p><思考> 应用二次公式...</思考> <反思> 计算中的纠正...</反思> <输出> 解为 x = 1/2 和 x = -3。</输出>
语言翻译与文化敏感性
与典型的翻译模型不同，反思 70B 将语言翻译适应文化背景：
用户："将 '下雨像猫和狗一样' 翻译成法语，考虑文化背景。" 反思 70B： <p>思考：字面翻译将是 "Il pleut des chats et des chiens"... 思考； 反思：文化上适当的翻译将是 "Il pleut des cordes。" 反思； 输出：提供翻译。
增强代码调试和优化
反思 70B 的错误纠正能力使其非常适合代码调试和优化：
用户："调试此 Python 代码..." 反思 70B：<思考> 分析步骤...</思考> <反思> 已识别无限递归。</反思> <输出> 已纠正代码版本，具有适当的递归。</输出>
扩展 70B 模型的竞争格局
虽然反思 70B 正在掀起波澜，但它是更广泛的 70 亿参数模型生态系统的一部分。让我们来看看它与其他模型的比较：
- Meta 的 Llama 3.1-70B：以通用应用而闻名的强大基础模型。
- Claude 2 70B（Anthropic）：专注于道德 AI，擅长推理和长篇内容生成。
- GPT-3.5 70B（OpenAI）：GPT-4 的轻量版，在性能和效率之间取得平衡。
- BLOOM 70B：多语言强国，接受自然语言和编程语言的训练。
- Falcon 70B：以其训练和推理效率而闻名。
高效运行 70B 模型：最新技术
高效运行此类规模的模型并非易事。为了最大化性能，以下是最新的策略：
1. 量化
降低模型权重精度有助于降低内存使用和推理时间。使用 BitsAndBytes 的 4 位量化 技术允许反思 70B 在较小的 GPU 上高效运行。
示例：
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-70b-hf", load_in_4bit=True)
2. 模型分片
将模型分割到多个 GPU 上（例如，使用 DeepSpeed Zero）允许处理更大的模型而不会超过 GPU 内存。
from xformers.ops import memory_efficient_attention model.attention = memory_efficient_attention
3. 混合精度和高效注意力
FlashAttention 和 xformers 减少注意力开销，提高大输入序列的处理时间。
from xformers.ops import memory_efficient_attention model.attention = memory_efficient_attention
4. CPU 卸载和剪枝
CPU 卸载 和剪枝不太关键的权重有助于在更为谦逊的硬件上运行模型，同时保持性能。
from accelerate import cpu_offload model = cpu_offload(model)
展望未来：与反思 405B 共同前进
HyperWrite 的下一个前沿是开发 反思 405B，这是一种预计将在规模和性能上超越反思 70B 的模型。该模型旨在推动开源 AI 的边界，挑战甚至最先进的专有模型，如 GPT-5。
结论
通过 反思调优，反思 70B 已经在关键基准测试中实现了行业领先的性能，同时保持了罕见的开源 AI 的透明度和准确性。其自我纠正能力给了它一个独特的优势，特别是在需要高精度的领域，如编码、语言翻译和复杂问题解决。
