인공 지능
NLP(자연어 처리)란 무엇입니까?
자연 언어 처리 (NLP) 컴퓨터가 인간의 언어를 처리, 분석, 해석 및 추론할 수 있도록 하는 기술과 도구를 연구하고 적용하는 것입니다. NLP는 학제간 분야이며 언어학 및 컴퓨터 과학과 같은 분야에서 확립된 기술을 결합합니다. 이러한 기술은 AI와 함께 Google 어시스턴트 및 Amazon의 Alexa와 같은 챗봇 및 디지털 비서를 만드는 데 사용됩니다.
자연어 처리의 근거, NLP에 사용되는 일부 기술, NLP의 몇 가지 일반적인 사용 사례를 살펴보는 시간을 갖도록 하겠습니다.
자연어 처리(NLP)가 중요한 이유
컴퓨터가 인간의 언어를 해석하기 위해서는 컴퓨터가 조작할 수 있는 형태로 변환되어야 합니다. 그러나 이것은 텍스트 데이터를 숫자로 변환하는 것처럼 간단하지 않습니다. 인간의 언어에서 의미를 도출하려면 텍스트 문서를 구성하는 수백, 수천 개의 단어에서 패턴을 추출해야 합니다. 이것은 쉬운 일이 아닙니다. 인간 언어의 해석에 적용할 수 있는 엄격하고 빠른 규칙은 거의 없습니다. 예를 들어 정확히 같은 단어 집합이 문맥에 따라 다른 것을 의미할 수 있습니다. 인간의 언어는 복잡하고 종종 모호하며, 진술은 성실하거나 냉소적으로 말할 수 있습니다.
그럼에도 불구하고 단어와 문자를 해석할 때 사용할 수 있는 몇 가지 일반적인 지침이 있습니다. 예를 들어 항목이 복수임을 나타내는 데 사용되는 문자 "s"가 있습니다. 이러한 일반 지침은 텍스트에서 의미를 추출하고 기계 학습 알고리즘이 해석할 수 있는 기능을 생성하기 위해 서로 협력하여 사용해야 합니다.
자연어 처리에는 비정형 데이터를 가져와 이를 정형 데이터로 변환할 수 있는 다양한 알고리즘을 적용하는 작업이 포함됩니다. 이러한 알고리즘이 잘못된 방식으로 적용되면 컴퓨터는 텍스트에서 올바른 의미를 도출하지 못하는 경우가 많습니다. 이는 문장의 정확한 의미가 종종 상실되는 언어 간 텍스트 번역에서 종종 볼 수 있습니다. 지난 몇 년 동안 기계 번역이 크게 개선되었지만 기계 번역 오류는 여전히 자주 발생합니다.
자연어 처리(NLP) 기술
사진: WikiMedia Commons, Public Domain을 통한 Tamur(https://commons.wikimedia.org/wiki/File:ParseTree.svg)
의 많은 기법 자연어 처리에 사용되는 언어는 구문 또는 의미론의 두 범주 중 하나에 배치될 수 있습니다. 구문 기술은 단어의 순서를 다루는 기술이고 의미론 기술은 단어의 의미를 포함하는 기술입니다.
구문 NLP 기술
구문의 예는 다음과 같습니다.
- 정리
- 형태학적 분할
- 품사 태깅
- 파싱
- 문장 깨기
- 줄기
- 단어 분할
표제어 추출은 단어의 다양한 억양을 단일 형식으로 증류하는 것을 말합니다. 원형 복원은 시제 및 복수형과 같은 것을 취하여 단순화합니다. 예를 들어 "발"은 "발"이 될 수 있고 "줄무늬"는 "줄무늬"가 될 수 있습니다. 이 단순화된 단어 형식을 사용하면 알고리즘이 문서의 단어를 더 쉽게 해석할 수 있습니다.
형태학적 분할은 단어를 형태소 또는 단어의 기본 단위로 나누는 과정입니다. 이 단위는 무료와 같은 것입니다. 형태소 (단어로 단독으로 사용할 수 있음) 및 접두사 또는 접미사.
품사 태깅 입력 문서의 모든 단어가 품사 중 어느 부분인지 식별하는 과정입니다.
파싱 문장의 모든 단어를 분석하고 공식 문법 레이블과 연관시키거나 모든 단어에 대해 문법 분석을 수행하는 것을 말합니다.
문장이 깨지거나 문장 경계 분할, 문장의 시작과 끝을 결정하는 것을 말합니다.
줄기 단어를 단어의 어근 형태로 줄이는 과정입니다. 예를 들어 연결됨, 연결 및 연결은 모두 "연결"로 파생됩니다.
단어 분할 큰 텍스트 조각을 작은 단위(단어 또는 어간 추출/표형 추출 단위)로 나누는 과정입니다.
시맨틱 NLP 기법
시맨틱 NLP 기술에는 다음과 같은 기술이 포함됩니다.
- 명명 된 개체 인식
- 자연어 생성
- 단어 감지 명확화
명명 된 개체 인식 여러 사전 설정 그룹 중 하나에 배치할 수 있는 특정 텍스트 부분에 태그를 지정하는 작업이 포함됩니다. 미리 정의된 범주에는 날짜, 도시, 장소, 회사 및 개인과 같은 항목이 포함됩니다.
자연 언어 생성 데이터베이스를 사용하여 구조화된 데이터를 자연어로 변환하는 프로세스입니다. 예를 들어 온도, 풍속과 같은 날씨에 대한 통계는 자연어로 요약될 수 있습니다.
단어 의미 명확화는 단어가 나타나는 문맥에 따라 텍스트 내의 단어에 의미를 부여하는 프로세스입니다.
NLP용 딥러닝 모델
일반 다층 퍼셉트론은 정보의 순서가 중요한 순차적 데이터의 해석을 처리할 수 없습니다. 순차 데이터에서 순서의 중요성을 다루기 위해 훈련에서 이전 시간 단계의 정보를 보존하는 일종의 신경망이 사용됩니다.
재발 신경망 신경망의 유형입니다. 이전 타임스텝의 데이터 루프 오버, 현재 시간 단계의 가중치를 계산할 때 이를 고려합니다. 기본적으로 RNN에는 순방향 훈련 과정에서 사용되는 세 가지 매개 변수가 있습니다. 이전 숨겨진 상태를 기반으로 한 행렬, 현재 입력을 기반으로 한 행렬, 숨겨진 상태와 출력 사이에 있는 행렬입니다. RNN은 이전 시간 단계의 정보를 고려할 수 있기 때문에 단어의 의미를 해석할 때 문장의 이전 단어를 고려하여 텍스트 데이터에서 관련 패턴을 추출할 수 있습니다.
텍스트 데이터를 처리하는 데 사용되는 또 다른 유형의 딥 러닝 아키텍처는 다음과 같습니다. 장단기 기억(LSTM) 네트워크. LSTM 네트워크는 구조상 RNN과 유사하지만 아키텍처의 일부 차이로 인해 RNN보다 성능이 더 좋은 경향이 있습니다. 그들은 RNN을 사용할 때 종종 발생하는 특정 문제를 피합니다. 그래디언트 폭발 문제.
이러한 심층 신경망은 단방향 또는 양방향일 수 있습니다. 양방향 네트워크는 현재 단어 앞에 오는 단어뿐만 아니라 그 뒤에 오는 단어도 고려할 수 있습니다. 이렇게 하면 정확도가 높아지지만 계산 비용이 더 많이 듭니다.
자연어 처리(NLP)의 사용 사례
사진: pixabay, pixabay 라이선스(https://pixabay.com/illustrations/chatbot-chat-application-artificial-3589528/)를 통한 mohammed_hassan
자연어 처리는 인간 언어의 분석 및 조작을 포함하기 때문에 응용 범위가 엄청나게 넓습니다. NLP의 가능한 응용 프로그램에는 챗봇, 디지털 비서, 감정 분석, 문서 구성, 인재 채용 및 의료가 포함됩니다.
Amazon의 Alexa 및 Google Assistant와 같은 챗봇 및 디지털 비서는 NLP를 사용하여 음성 명령을 해석하고 응답하는 음성 인식 및 합성 플랫폼의 예입니다. 이러한 디지털 어시스턴트는 다양한 작업을 수행하는 사람들을 도와 인지 작업 중 일부를 다른 장치로 오프로드하고 두뇌의 일부를 다른 더 중요한 일에 사용할 수 있도록 합니다. 바쁜 아침에 은행으로 가는 최적의 경로를 찾는 대신 디지털 비서에게 맡기면 됩니다.
감정 분석 언어 사용을 통해 전달되는 현상에 대한 사람들의 반응과 감정을 연구하기 위해 NLP 기술을 사용하는 것입니다. 제품에 대한 리뷰가 좋은지 나쁜지 해석하는 것과 같이 진술의 감정을 포착하면 제품이 어떻게 받아들여지고 있는지에 대한 실질적인 정보를 회사에 제공할 수 있습니다.
텍스트 문서를 자동으로 구성하는 것은 NLP의 또 다른 응용 프로그램입니다. Google 및 Yahoo와 같은 회사는 NLP 알고리즘을 사용하여 이메일 문서를 분류하고 "소셜" 또는 "프로모션"과 같은 적절한 저장소에 넣습니다. 또한 이러한 기술을 사용하여 스팸 식별 받은편지함에 도달하지 못하도록 합니다.
그룹은 또한 NLP 기술을 개발하여 잠재적인 고용을 식별하고 관련 기술을 기반으로 찾는 데 사용하고 있습니다. 고용 관리자는 또한 NLP 기술을 사용하여 지원자 목록을 정렬하는 데 도움을 주고 있습니다.
NLP 기술은 또한 의료를 향상시키는 데 사용되고 있습니다. NLP는 질병 탐지를 개선하는 데 사용할 수 있습니다. NLP 알고리즘으로 건강 기록을 분석하고 증상을 추출하여 가능한 진단을 제안하는 데 사용할 수 있습니다. 건강 기록을 분석하고 질병과 치료법을 추출하는 Amazon의 Comprehend Medical 플랫폼이 그 한 예입니다. NLP의 의료 적용은 정신 건강에도 적용됩니다. 앱이 있습니다 WoeBo와 같은t는 인지행동치료에 기반한 다양한 불안 관리 기법을 통해 사용자와 대화합니다.
