AI 101
NLU(자연어 이해)란 무엇입니까?
자연어 이해(NLU) 자연어 처리라는 더 큰 주제 내의 기술적 개념입니다. NLU는 자연스럽고 인간적인 단어를 번역하는 프로세스입니다. 컴퓨터가 해석할 수 있는 형식으로. 기본적으로 컴퓨터가 언어 데이터를 처리하려면 먼저 데이터를 이해해야 합니다.
NLU 기술에는 컴퓨터가 인간의 자연 언어의 의미와 맥락을 이해할 수 있도록 공통 구문 및 문법 규칙을 사용하는 것이 포함됩니다. 이러한 기술의 궁극적인 목표는 컴퓨터가 언어에 대한 "직관적인" 이해를 갖게 되어 단어의 정의를 계속 참조하지 않고도 사람이 하는 것처럼 언어를 쓰고 이해할 수 있게 되는 것입니다.
NLU 정의(자연어 이해)
컴퓨터 과학자와 NLP 전문가가 컴퓨터가 인간의 언어를 이해할 수 있도록 하기 위해 사용하는 수많은 기술이 있습니다. 대부분의 기술은 "구문 분석" 범주에 속합니다. 구문 분석 기술에는 다음이 포함됩니다.
- 표제어화
- 형태소
- 단어 분할
- 파싱
- 형태학적 세분화
- 문장 깨기
- 품사 태깅의 일부
이러한 구문 분석 기술은 단어 그룹에 문법 규칙을 적용하고 이러한 규칙을 사용하여 의미를 도출하려고 시도합니다. 반대로 NLU는 "의미 분석" 기술을 사용하여 작동합니다.
의미론적 분석은 컴퓨터 알고리즘을 텍스트에 적용하여 규칙 기반 접근 방식에 의존하는 대신 자연스러운 맥락에서 단어의 의미를 이해하려고 시도합니다. 문구의 문법적 정확성/부정확성이 반드시 문구의 타당성과 상관관계가 있는 것은 아닙니다. 문법적으로 맞지만 의미가 없는 구가 있을 수 있고, 문법적으로 틀리지만 의미가 있는 구가 있을 수 있습니다. 단어의 가장 의미 있는 측면을 구별하기 위해 NLU는 문법 구조와 규칙에 덜 의존하면서 단어 그룹의 의미를 파악하기 위한 다양한 기술을 적용합니다.
NLU는 진화하고 변화하는 분야이며 AI의 어려운 문제 중 하나로 간주됩니다. 기계가 인간의 언어를 이해할 수 있도록 다양한 기술과 도구가 개발되고 있습니다. 대부분의 NLU 시스템에는 공통된 특정 핵심 구성 요소가 있습니다. 텍스트 표현 생성을 안내하는 일부 유형의 텍스트 파서 및 문법 규칙과 마찬가지로 언어의 어휘집이 필요합니다. 시스템은 또한 표현의 이해를 가능하게 하는 의미 이론을 필요로 합니다. 언어를 해석하는 데 사용되는 확률론적 의미론적 분석이나 나이브 의미론과 같은 다양한 의미론적 이론이 있습니다.
일반적인 NLU 기술은 다음과 같습니다.
명명된 엔터티 인식은 사람 및 중요한 장소/사물인 "명명된 엔터티"를 인식하는 프로세스입니다. 명명된 엔터티 인식은 텍스트 본문에서 기본 개념과 참조를 구별하고 명명된 엔터티를 식별하고 위치, 날짜, 조직, 사람, 작업 등과 같은 범주에 배치하여 작동합니다. 문법 규칙을 기반으로 하는 감독 모델은 일반적으로 NER를 수행하는 데 사용됩니다. 작업.
단어 의미 명확화는 단어가 나타나는 맥락을 기반으로 단어의 의미 또는 의미를 결정하는 프로세스입니다. 단어 의미 명확화는 대상 단어를 맥락화하기 위해 종종 품사 태거를 사용합니다. 단어 의미 명확성을 위한 감독 방법에는 지원 벡터 머신 사용자와 메모리 기반 학습이 포함됩니다. 그러나 대부분의 단어 의미 명확성 모델은 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터를 모두 사용하는 준지도 모델입니다.
NLU(자연어 이해)의 예
NLU의 일반적인 예로는 자동 추론, 자동 티켓 라우팅, 기계 번역 및 질문 응답이 있습니다.
자동화된 추론
자동화된 추론 기계에 일종의 논리나 추론을 부여하는 것을 목표로 하는 학문입니다. 의학적 진단을 기반으로 추론하거나 프로그래밍 방식/자동으로 수학 정리를 해결하려고 노력하는 인지 과학의 한 분야입니다. NLU는 정보를 수집 및 분석하고 정보를 기반으로 결론을 생성하는 데 사용됩니다.
자동 티켓 라우팅
NLU는 고객 서비스 작업을 자동화하는 데 자주 사용됩니다. 고객 서비스 티켓이 생성되면 챗봇과 기타 기계가 고객 요구 사항의 기본 특성을 해석하여 올바른 부서로 라우팅할 수 있습니다. 회사는 매일 수천 건의 지원 요청을 받기 때문에 NLU 알고리즘은 티켓의 우선 순위를 지정하고 지원 상담원이 이를 보다 효율적인 방식으로 처리할 수 있도록 하는 데 유용합니다.
기계 번역
음성이나 텍스트를 한 언어에서 다른 언어로 정확하게 번역하는 것은 어렵습니다. 사실은, 기계 번역 NLP 및 NLU에서 가장 어려운 문제 중 하나입니다. 많은 기계 번역 시스템은 언어 간 번역을 위해 언어 규칙에 의존하지만 연구자들은 언어 간 번역을 위한 보다 정교한 방법을 추구하고 있습니다. NLU 기계 번역은 대상 텍스트와 관련된 문맥 및 의미론적 정보를 보존하여 보다 정확한 번역을 가능하게 하려고 시도합니다. 가장 정확한 기계 번역 시스템은 언어 규칙을 의미론적 의미를 추출하는 알고리즘과 결합합니다.
질문 답변
음성 인식은 NLU 기술을 사용하여 컴퓨터가 질문을 이해하다 자연어로 포즈를 취했습니다. NLU는 장치 사용자에게 가능한 답변 목록을 제공하는 대신 자연어로 응답을 제공하는 데 사용됩니다. 디지털 비서에게 질문을 할 때 NLU는 기계가 질문을 이해하도록 돕고 인식된 엔터티 및 이전 진술의 컨텍스트와 같은 기능을 기반으로 가장 적절한 답변을 선택합니다.
