์ธ๊ณต์ง๋ฅ
NLU (์์ฐ์ด ์ดํด)๋ ๋ฌด์์ธ๊ฐ?
자연어 이해 (NLU)는 자연어 처리의 더 큰 주제 내에서 기술적인 개념입니다. NLU는 자연어를 컴퓨터가 해석할 수 있는 형식으로 번역하는 과정입니다. 본질적으로, 컴퓨터가 언어 데이터를 처리하기 전에 데이터를 이해해야 합니다.
NLU를 위한 기술에는 컴퓨터가 자연어의 의미와 맥락을 이해할 수 있도록 하는 공통 구문과 문법 규칙을 사용하는 것이 포함됩니다. 이러한 기술의 궁극적인 목표는 컴퓨터가 언어를 인간과 같은 방식으로 직관적으로 이해하여, 단어의 정의를不断 참조하지 않고 언어를 작성하고 이해할 수 있도록 하는 것입니다.
NLU (자연어 이해) 정의
컴퓨터가 인간 언어를 이해할 수 있도록 하는 여러 가지 기술이 있습니다. 대부분의 기술은 “구문 분석” 범주에 속합니다. 구문 분석 기술에는:
- lemmatization
- stemming
- 단어 분할
- 파싱
- 형태론적 분할
- 문장 분할
- 품사 태깅
이러한 구문 분석 기술은 단어 그룹에 문법 규칙을 적용하고 이러한 규칙을 사용하여 의미를 도출하려고 합니다. 반면에, NLU는 “의미 분석” 기술을 사용하여 작동합니다.
의미 분석은 컴퓨터 알고리즘을 텍스트에 적용하여, 규칙 기반 접근 방식에 의존하는 대신 자연어의 맥락에서 단어의 의미를 이해하려고 합니다. 구절의 문법적 오류는 필수적으로 구절의 유효성과 상관관계가 없습니다. 문법적으로 올바르지만 무의미한 구절과 문법적으로 올바르지 않지만 의미가 있는 구절이 있을 수 있습니다. 단어의 가장 의미 있는 측면을 구별하기 위해, NLU는 구문 구조와 규칙에 덜 의존하여 단어 그룹의 의미를 포착하도록 설계된 다양한 기술을 적용합니다.
NLU는 발전하고 있는 분야이며, AI의 어려운 문제 중 하나로 간주됩니다. 기계가 인간 언어를 이해할 수 있도록 하는 다양한 기술과 도구가 개발되고 있습니다. 대부분의 NLU 시스템에는 공통의 핵심 구성 요소가 있습니다. 언어에 대한 어휘가 필요하며, 텍스트 파서와 언어 생성을 위한 문법 규칙도 필요합니다. 시스템은 또한 의미를 이해할 수 있도록 의미론 이론이 필요합니다. 언어를 해석하는 데 사용되는 다양한 의미론 이론이 있습니다. 예를 들어, 확률적 의미 분석 또는 순진한 의미론이 있습니다.
일반적인 NLU 기술에는:
명명된 엔티티 인식은 사람, 중요한 장소/사물과 같은 “명명된 엔티티”를 인식하는 과정입니다. 명명된 엔티티 인식은 본질적인 개념과 참조를 식별하여, 위치, 날짜, 조직, 사람, 작품 등과 같은 카테고리에 명명된 엔티티를 배치함으로써 작동합니다. 명명된 엔티티 인식 작업을 수행하기 위해 일반적으로 문법 규칙을 기반으로 하는 감독 모델이 사용됩니다.
단어 의미 구분은 단어가 나타나는 맥락에 따라 단어의 의미 또는 의미를 결정하는 과정입니다. 단어 의미 구분은 목표 단어를 맥락화하기 위해 일반적으로 품사 태거를 사용합니다. 단어 의미 구분의 감독 방법에는 지원 벡터 기계와 메모리 기반 학습의 사용이 포함됩니다. 그러나 대부분의 단어 의미 구분 모델은 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터를 모두 사용하는 반감독 모델입니다.
NLU (자연어 이해) 예시
NLU의 일반적인 예로는 자동推論, 자동 티켓 라우팅, 기계 번역, 질문 응답이 있습니다.
자동推論
자동推論은 기계에 논리 또는 추론의 형태를 제공하는 것을 목표로 하는 분야입니다. 이것은 인지 과학의 한 가지 분支으로, 의료 진단 또는 수학적 정리를 프로그래밍 방식으로/자동으로 해결하려고 합니다. NLU는 정보를 수집하고 분석하여 정보를 기반으로 결론을 도출하는 데 도움이 됩니다.
자동 티켓 라우팅
NLU는 일반적으로 고객 서비스 작업을 자동화하는 데 사용됩니다. 고객 서비스 티켓이 생성되면, 챗봇 및 기타 기계는 고객의 기본적인需求의 본질을 해석하고 올바른 부서로 라우팅할 수 있습니다. 회사에서는 매일 수천 건의 지원 요청을 받으므로, NLU 알고리즘은 티켓을 우선순위로 지정하고 지원 에이전트가 더 효율적인 방식으로 처리할 수 있도록 유용합니다.
기계 번역
언어 간의 언어 또는 텍스트를 정확하게 번역하는 것은 어렵습니다. 실제로, 기계 번역은 NLP 및 NLU에서 가장 어려운 문제 중 하나입니다. 많은 기계 번역 시스템은 언어를 번역하기 위해 언어 규칙을 사용합니다. 그러나 연구자들은 언어 간에 번역하는 더 정교한 방법을 추구하고 있습니다. NLU 기계 번역은 대상 텍스트와 관련된 맥락 및 의미 정보를 보존하여 더 정확한 번역을 가능하게 합니다. 가장 정확한 기계 번역 시스템은 언어 규칙과 의미를 추출하는 알고리즘을 결합합니다.
질문 응답
음성 인식은 컴퓨터가 자연어로 제기된 질문을 이해하도록 NLU 기술을 사용합니다. NLU는 사용자에게 자연어로 응답을 제공하는 데 사용되며, 이전 문장의 맥락과 같은 기능과 함께 인식된 엔티티를 기반으로 가장 적절한 답변을 선택합니다. 디지털 어시스턴트에게 질문을 할 때, NLU는 기계가 질문을 이해하고 이전 문장의 맥락과 같은 기능과 함께 인식된 엔티티를 기반으로 가장 적절한 답변을 선택하는 데 도움이 됩니다.
