NLP(자연어 처리)란 무엇인가?

자연어 처리(NLP)는 컴퓨터가 인간의 언어를 처리, 분석, 해석, 추론할 수 있는 기술과 도구의 연구와 적용입니다. NLP는 언어학과 컴퓨터 과학 gibi 여러 분야에서 확립된 기술을 결합한 상호학문적 분야입니다. 이러한 기술은 AI와 함께 사용되어 챗봇과 디지털 어시스턴트를 만들 수 있습니다.

자연어 처리의背後에 있는 이유, 사용되는 몇 가지 기술, 그리고 NLP의 일반적인 사용 사례를 살펴보겠습니다.

자연어 처리(NLP)가 중요한 이유

컴퓨터가 인간의 언어를 해석하려면, 컴퓨터가 조작할 수 있는 형태로 변환되어야 합니다. 그러나 이것은 단순히 텍스트 데이터를 숫자로 변환하는 것만큼 간단하지 않습니다. 텍스트 문서의 의미를 도출하려면 수백 또는 수천 개의 단어로 구성된 텍스트에서 패턴을 추출해야 합니다. 이것은 쉽지 않은 작업입니다. 인간의 언어를 해석하는 데 적용할 수 있는 硬性 규칙은 거의 없습니다. 예를 들어, 동일한 단어 집합은 문맥에 따라 다른 의미를 가질 수 있습니다. 인간의 언어는 복잡하고 souvent 모호한 것이며, 진심으로 또는 비꼬아 말할 수 있습니다.

尽管如此, 단어와 문자를 해석할 때 사용할 수 있는 몇 가지 일반적인 지침이 있습니다. 예를 들어, 문자 “s”는 복수형을 나타내는 데 사용됩니다. 이러한 일반적인 지침을 함께 사용하여 텍스트에서 의미를 추출하고, 기계 학습 알고리즘이 해석할 수 있는 특징을 생성해야 합니다.

자연어 처리는 비정형 데이터를 정형 데이터로 변환할 수 있는 다양한 알고리즘의 적용을 포함합니다. 이러한 알고리즘이 잘못 적용되면 컴퓨터는 텍스트에서 올바른 의미를 도출하지 못할 수 있습니다. 이것은 종종 언어 간 번역에서 볼 수 있습니다. 여기서 문장의 정확한 의미가 종종 손실됩니다. 기계 번역은 최근 몇 년 동안 크게 개선되었지만, 기계 번역 오류는 여전히 자주 발생합니다.

자연어 처리(NLP) 기술

Photo: Tamur via WikiMedia Commons, Public Domain (https://commons.wikimedia.org/wiki/File:ParseTree.svg)

자연어 처리에서 사용되는 많은 기술은 두 가지 범주 중 하나에 속할 수 있습니다: 구문 또는 의미론. 구문 기술은 단어의 순서를 다루는 기술입니다. 의미론 기술은 단어의 의미를 다루는 기술입니다.

구문 NLP 기술

구문 예로는 다음이 있습니다:

• lemmatization
• 형태론적 분할
• 품사 태깅
• 구문 분석
• 문장 분할
• stemming
• 단어 분할

lemmatization은 단어의 다양한 변형을 단일 형태로 줄이는 것을 의미합니다. lemmatization은 시제나 복수형을 단순화하여, 예를 들어 “feet”을 “foot”으로, “stripes”를 “stripe”으로 만듭니다. 이러한 단순화된 단어 형태는 알고리즘이 문서의 단어를 해석하기 쉽게 만듭니다.

형태론적 분할은 단어를 형태소 또는 단어의 기본 단위로 분할하는 과정입니다. 이러한 단위는 독립적으로 단어가 될 수 있는 자유 형태소와 접두사 또는 접미사입니다.

품사 태깅은 단순히 입력 문서의 모든 단어가 어떤 품사인지 식별하는 과정입니다.

구문 분석은 문장의 모든 단어를 분석하고, 그들을 형식적인 문법 레이블 또는 문법 분석과 관련시키는 것을 의미합니다.

문장 분할, 또는 문장 경계 분할은 문장이 시작되고 끝나는 위치를 결정하는 것을 의미합니다.

stemming은 단어를 단어의 근본 형태로 줄이는 과정입니다. 예를 들어, “connected”, “connection”, “connections”는 모두 “connect”로 줄어들 수 있습니다.

단어 분할은 큰 텍스트 조각을 작은 단위로 나누는 과정입니다. 이러한 단위는 단어 또는 근본 형태 또는 lemmatized 단위일 수 있습니다.

의미론 NLP 기술

의미론 NLP 기술에는 다음이 포함됩니다:

• 명명된 实体 인식
• 자연어 생성
• 단어 의미 구분

명명된 实体 인식은 미리 정의된 범주 중 하나에 속하는 특정 텍스트 부분을 태깅하는 것을 의미합니다. 미리 정의된 범주에는 날짜, 도시, 장소, 회사, 개인 등이 포함됩니다.

자연어 생성은 데이터베이스를 사용하여 정형 데이터를 자연어로 변환하는 것을 의미합니다. 예를 들어, 날씨 통계와 같은 온도와 풍속을 요약하여 자연어로 표현할 수 있습니다.

단어 의미 구분은 단어가 나타나는 문맥에 따라 단어에 의미를 할당하는 것을 의미합니다.

자연어 처리를 위한 딥 러닝 모델

일반적인 다층 퍼셉트론은 순차적 데이터의 해석을 처리할 수 없습니다. 순차적 데이터에서 정보의 순서가 중요합니다. 이러한 순서의 중요성을 다루기 위해, 이전 시간 단계의 정보를 보존하는 신경 네트워크 유형을 사용합니다.

순환 신경 네트워크는 이전 시간 단계의 데이터를 루프하여, 현재 시간 단계의 가중치를 계산할 때 이전 데이터를 고려합니다. 본질적으로, RNN에는 3개의 매개변수가 있습니다. 이전 숨겨진 상태를 기반으로 하는 매트릭스, 현재 입력을 기반으로 하는 매트릭스, 그리고 숨겨진 상태와 출력 사이의 매트릭스입니다. RNN은 이전 시간 단계의 정보를 고려할 수 있으므로, 이전 단어를 고려하여 단어의 의미를 해석할 수 있습니다.

또 다른 유형의 딥 러닝 아키텍처는 장단기 기억(LSTM) 네트워크입니다. LSTM 네트워크는 RNN과 구조가 비슷하지만, 몇 가지 구조上的 차이로 인해 RNN보다 성능이 좋습니다. 이러한 네트워크는 RNN에서 자주 발생하는 폭발하는 그래디언트 문제를 피할 수 있습니다.

이러한 깊은 신경 네트워크는 단방향 또는 양방향일 수 있습니다. 양방향 네트워크는 현재 단어 이전의 단어뿐만 아니라 이후의 단어도 고려할 수 있습니다. 이것은 더 높은 정확도를 제공하지만, 계산적으로 더 비용이 많이 듭니다.

자연어 처리의 사용 사례

Photo: mohammed_hassan via Pixabay, Pixabay License (https://pixabay.com/illustrations/chatbot-chat-application-artificial-3589528/)

자연어 처리는 인간의 언어를 분석하고 조작하는 것이므로, 매우 다양한 응용 분야가 있습니다. 자연어 처리의 가능한 응용 분야에는 챗봇, 디지털 어시스턴트, 감성 분석, 문서 조직, 재능 채용, 그리고 의료 등이 포함됩니다.

Amazon의 Alexa와 Google (GOOGL ) Assistant와 같은 챗봇과 디지털 어시스턴트는 음성 인식 및 합성 플랫폼의 예입니다. 이러한 디지털 어시스턴트는 음성 명령을 해석하고 응답하는 데 자연어 처리를 사용합니다. 이러한 디지털 어시스턴트는 사람들에게 다양한 작업을 도와주어, 사람들은 인지적인 작업을 다른 기기로 옮겨서, 뇌의 일부를 다른 중요한 일에 사용할 수 있습니다. 예를 들어, 아침에银行에 가는 가장 좋은 경로를 찾는 대신, 디지털 어시스턴트에게 찾도록 할 수 있습니다.

감성 분석은 자연어 처리 기술을 사용하여 사람들의 반응과 감정을 연구하는 것입니다. 문장의 감성을 해석하여, 제품에 대한 리뷰가 좋거나 나쁘는지 판단할 수 있습니다. 이것은 회사에 제품이 어떻게 수신되는지에 대한 중요한 정보를 제공할 수 있습니다.

텍스트 문서를 자동으로 조직하는 것은 자연어 처리의 또 다른 응용 분야입니다. Google과 Yahoo와 같은 회사들은 이메일 문서를 분류하기 위해 자연어 처리 알고리즘을 사용합니다. 또한 이러한 기술을 사용하여 스팸을 식별하고, 받는 사람의 받은 편지함에 도달하지 않도록 합니다.

그룹은 또한 자연어 처리 기술을 사용하여 잠재적인 직원 채용을 식별하고, 관련된 기술을 기반으로 찾습니다. 채용 관리자는 또한 지원자 목록을 정렬하기 위해 자연어 처리 기술을 사용합니다.

자연어 처리 기술은 또한 의료 분야에서 사용되고 있습니다. 자연어 처리는 질병의 발견을 개선하는 데 사용될 수 있습니다. 의료 기록을 분석하고, 자연어 처리 알고리즘을 사용하여 증상을 추출하여, 가능한 진단을 제안할 수 있습니다. Amazon의 Comprehend Medical 플랫폼은 의료 기록을 분석하고, 질병과 치료를 추출하는 예입니다. 자연어 처리의 의료 응용 분야는 또한 정신 건강에 확장됩니다. 예를 들어, WoeBot과 같은 앱은 인지 행동 치료를 기반으로 하는 다양한 불안 관리 기술을 사용자에게 제공합니다.