人工智能
大型语言模型应用指南
大型语言模型（LLMs）在过去几年中迅速崛起，彻底改变了自然语言处理和人工智能领域。从聊天机器人到搜索引擎再到创意写作辅助工具，LLMs正在各个行业推动尖端应用的发展。然而，构建有用的LLM-based产品需要专门的技能和知识。本指南将为您提供一个全面而易于理解的概述，涵盖了利用LLMs巨大潜力的关键概念、架构模式和实用技能。
什么是大型语言模型及其重要性?
LLMs是一类深度学习模型，它们是在大量文本语料库上预训练的，能够生成类似人类的文本并以前所未有的水平理解自然语言。与传统的NLP模型相比，LLMs不依赖于规则和注释，而是通过预测句子中的掩码词来学习语言技能。这种基础性质使得它们能够为广泛的下游NLP任务进行微调。
LLMs代表了人工智能领域的范式转变，并使得以前难以实现的应用成为可能。例如，聊天机器人可以使用LLMs进行自由形式的对话，而不是依赖于脆弱的手工编码规则。LLMs的强大功能源自三个关键创新：
- 数据规模：LLMs是在互联网规模的语料库上训练的，包含数十亿个词汇。例如，GPT-3的训练数据有45TB的文本数据，这提供了广泛的语言覆盖。
- 模型大小：LLMs具有数十亿个参数，能够吸收所有这些数据。大的模型容量是实现普遍性的关键。
- 自监督：LLMs不需要昂贵的人工标注，而是通过自监督目标来训练，这些目标从原始文本中创建“伪标签”数据。这使得大规模预训练成为可能。
掌握LLMs的知识和技能将使您能够创新新的NLP解决方案和产品。
应用LLMs的关键概念
虽然LLMs具有令人难以置信的能力，但有效地利用它们需要理解关键概念，如提示、嵌入、注意力和语义检索。
提示与其说是输入和输出，不如说是控制LLMs的上下文指令，用于定义任务。例如，要总结一段文本，我们会提供这样的提示：
“段落：[要总结的文本] 总结：”
然后，模型会在输出中生成总结。提示工程对于有效地控制LLMs至关重要。
嵌入
词嵌入将词表示为密集向量，编码语义含义，允许进行数学运算。LLMs使用嵌入来理解词的上下文。
像Word2Vec和BERT这样的技术创建了可以重用的嵌入模型。Word2Vec开创了使用浅层神经网络来学习嵌入的方法，通过预测相邻的词来实现。BERT通过遮蔽词并基于双向上下文来预测它们，生成了深层上下文嵌入。
最近的研究已经发展了嵌入，以捕获更多的语义关系。谷歌的MUM模型使用VATT变换器来生成实体感知的BERT嵌入。Anthropic的宪法AI学习了对社会背景敏感的嵌入。多语言模型，如mT5，通过同时在100多种语言上预训练来生成跨语言嵌入。
注意力
注意力层允许LLMs在生成文本时关注相关的上下文。多头自注意力是变换器分析长文本中词关系的关键。
例如，问答模型可以学习为找到答案相关的输入词分配更高的注意力权重。视觉注意力机制关注图像的相关区域。
最近的变体，如稀疏注意力，通过减少冗余的注意力计算来提高效率。像GShard这样的模型使用专家混合注意力来实现更高的参数效率。通用变换器引入了深度循环，使得可以建模更长期的依赖关系。
了解注意力创新为扩展模型能力提供了见解。
检索
大型向量数据库称为语义索引存储文档的嵌入，以便高效地进行相似性搜索。检索通过允许外部上下文来增强LLMs。
强大的近似最近邻算法，如HNSW、LSH和PQ，使得即使有数十亿个文档，也可以快速进行语义搜索。例如，Anthropic的Claude LLM使用HNSW在5亿文档索引上进行检索。
混合检索将密集嵌入和稀疏关键字元数据相结合，以提高召回率。像REALM这样的模型直接优化嵌入以进行检索目标，使用双编码器。
最近的工作还探索了文本、图像和视频之间的跨模式检索，使用共享的多模式向量空间。掌握语义检索可以解锁新的应用，如多媒体搜索引擎。
架构模式
虽然模型训练仍然复杂，但使用预训练的LLMs更加容易，使用经过验证的架构模式：
文本生成管道
利用LLMs进行生成文本应用：
- 提示工程来定义任务
- LLM生成原始文本
- 安全过滤器来捕获问题
- 后处理以进行格式化
例如，论文写作辅助工具将使用定义论文主题的提示，生成LLM的文本，过滤掉不合理的内容，然后拼写检查输出。
搜索和检索
通过以下方式构建语义搜索系统：
- 将文档语料库索引到向量数据库中以进行相似性搜索
- 接受搜索查询并通过近似最近邻查找找到相关的命中
- 将命中作为上下文输入到LLM中，以总结和综合答案
这利用了检索来扩展LLM的上下文，而不是仅仅依赖LLM的有限上下文。
多任务学习
与其训练单独的LLM专家，不如训练一个模型来学习多个技能：
- 提示来定义每个任务
- 联合微调跨任务
- 在LLM编码器上添加分类器来进行预测
这提高了整体模型性能并降低了训练成本。
混合人工智能系统
将LLMs和更符号化的人工智能相结合：
- LLMs处理开放式语言任务
- 基于规则的逻辑提供约束
- 结构化知识以知识图的形式表示
- LLM和结构化数据在“美德循环”中相互丰富
这结合了神经方法的灵活性和符号方法的鲁棒性。
应用LLMs的关键技能
在了解这些架构模式之后，让我们深入探讨将LLMs应用于实践的技能：
提示工程
有效地提示LLMs对于应用至关重要。关键技能包括：
- 将任务定义为自然语言指令和示例
- 控制提示的长度、具体性和语音
- 根据模型输出迭代地改进提示
- 根据领域（如客户支持）策划提示集合
- 研究人机交互原理
提示既是艺术也是科学——预计会通过经验逐步改进。
编排框架
使用LangChain、Cohere等框架来简化LLM应用开发，这些框架使得将模型链接到管道、与数据源集成以及抽象基础设施变得容易。
LangChain提供了一个模块化的架构来组合提示、模型、预/后处理器和数据连接器，创建可定制的工作流。Cohere提供了一个工作室来自动化LLM工作流，具有GUI、REST API和Python SDK。
这些框架利用了以下技术：
- 变换器分片来跨GPU拆分上下文以处理长序列
- 异步模型查询以实现高吞吐量
- 缓存策略，如最近最少使用（LRU），来优化内存使用
- 分布式跟踪来监视管道瓶颈
- A/B测试框架来运行比较评估
- 模型版本管理和发布管理以进行实验
- 扩展到云平台，如AWS SageMaker，以实现弹性容量
AutoML工具，如Spell，优化提示、超参数和模型架构。AI Economist调整API消费的定价模型。
评估和监控
评估LLM性能在部署之前至关重要：
- 通过准确性、流畅性、连贯性等指标来衡量整体输出质量
- 使用GLUE、SuperGLUE等基准，包含NLU/NLG数据集
- 通过框架如scale.com和LionBridge启用人工评估
- 使用Weights & Biases等工具监控训练动态
- 使用LDA主题建模等技术分析模型行为
- 使用FairLearn和WhatIfTools等库检查偏差
- 持续运行针对关键提示的单元测试
- 使用WhyLabs等工具跟踪真实世界的模型日志和漂移
- 使用TextAttack和Robustness Gym等库进行对抗性测试
最近的研究提高了人工评估的效率，使用平衡配对和子集选择算法。像DELPHI这样的模型使用因果图和梯度掩蔽来抵御对抗性攻击。负责任的人工智能工具仍然是一个活跃的创新领域。
多模态应用
超越文本，LLMs开启了多模态智能的新前沿：
- 将LLMs条件化为图像、视频、语音和其他模态
- 统一的多模态变换器架构
- 跨媒体类型的跨模态检索
- 生成字幕、视觉描述和摘要
- 多模态连贯性和常识
这扩展了LLMs的能力，从语言推广到对物理世界的推理。
总结
大型语言模型代表了人工智能能力的新时代。掌握它们的关键概念、架构模式和实践技能，将使您能够创新新的智能产品和服务。LLMs降低了创建能够自然语言系统的门槛——只要有合适的专业知识，您就可以利用这些强大的模型来解决现实世界的问题。
