Connect with us

人工智能

什么是 NLU(自然语言理解)?

mm

自然语言理解(NLU) 是自然语言处理中一个更大主题中的技术概念。NLU 是将自然、人类语言翻译成计算机可以解释的格式的过程。基本上,在计算机可以处理语言数据之前,它必须理解数据。

NLU 的技术包括使用常见的语法和语法规则,以使计算机能够理解自然人类语言的含义和上下文。这些技术的最终目标是,使计算机能够像人类一样对语言有“直觉”的理解,能够像人类一样编写和理解语言,而不需要不断地参考单词的定义。

定义 NLU(自然语言理解)

计算机科学家和 NLP 专家使用许多技术来使计算机能够理解人类语言。这些技术大多属于“语法分析”类别。语法分析技术包括:

  • 词干提取
  • 词根提取
  • 词语分割
  • 解析
  • 形态学分割
  • 句子分割
  • 词性标注

这些语法分析技术通过应用语法规则来对一组单词进行分析,并尝试使用这些规则来推导出含义。相比之下,NLU 通过使用“语义分析”技术来运作。

语义分析将计算机算法应用于文本,尝试理解单词在其自然上下文中的含义,而不是依赖于基于规则的方法。短语的语法正确性/错误性并不一定与短语的有效性相关。可能存在语法正确但无意义的短语,也可能存在语法错误但有意义的短语。为了区分单词中最有意义的方面,NLU 应用了多种技术,以较少地依赖语法结构和规则来捕捉一组单词的含义。

NLU 是一个不断演变和变化的领域,被认为是人工智能中的一个难题。各种技术和工具正在被开发,以使机器能够理解人类语言。大多数 NLU 系统都有一些共同的核心组件,例如语言词典、文本解析器和语法规则,以指导文本表示的创建。系统还需要语义理论来启用对表示的理解。有各种语义理论被用来解释语言,例如随机语义分析或天真语义。

常见的 NLU 技术包括:

命名实体识别是识别“命名实体”的过程,例如人、重要的地方/事物。命名实体识别通过区分基本概念和文本中的引用来运作,识别命名实体并将其放入类别中,例如位置、日期、组织、人、作品等。基于语法规则的有监督模型通常用于执行命名实体识别任务。

词义消歧是确定单词在其上下文中出现的含义或意义的过程。词义消歧通常使用词性标注器来上下文化目标单词。词义消歧的有监督方法包括使用支持向量机和基于内存的学习。然而,大多数词义消歧模型都是半监督模型,使用标记和未标记的数据。

NLU(自然语言理解)示例

NLU 的常见示例包括自动推理、自动票据路由、机器翻译和问答。

自动推理

自动推理 是一门旨在使机器具有逻辑或推理能力的学科。它是认知科学的一个分支,旨在根据医疗诊断或程序/自动地解决数学定理来进行推理。NLU 被用来帮助收集和分析信息,并根据信息生成结论。

自动票据路由

NLU 经常被用于自动化客户服务任务。当生成客户服务票据时,聊天机器人和其他机器可以解释客户需求的基本性质,并将其路由到正确的部门。公司每天都会收到成千上万的支持请求,因此 NLU 算法在优先处理票据和使支持代理能够更高效地处理它们方面非常有用。

机器翻译

准确地将语音或文本从一种语言翻译成另一种语言是很困难的。事实上,机器翻译 是 NLP 和 NLU 中最困难的问题之一。许多机器翻译系统依赖于语言规则来翻译语言,但研究人员正在寻求更复杂的翻译方法。NLU 机器翻译尝试通过保留目标文本相关的上下文和语义信息来实现更准确的翻译。最准确的机器翻译系统将语言规则与从文本中提取语义含义的算法相结合。

问答

语音识别使用 NLU 技术,使计算机能够 理解自然语言提出的问题。NLU 被用来使设备的用户能够以自然语言获得响应,而不是提供一系列可能的答案。当您向数字助手提问时,NLU 被用来帮助机器理解问题,根据特征(如识别的实体和之前语句的上下文)选择最合适的答案。

博客作者和程序员,专攻 Machine Learning Deep Learning 领域。Daniel 希望帮助他人利用 AI 的力量为社会做好事。