Что такое NLP (Обработка Естественного Языка)?

Обработка Естественного Языка (NLP) – это изучение и применение техник и инструментов, которые позволяют компьютерам обрабатывать, анализировать, интерпретировать и рассуждать о человеческом языке. NLP – это междисциплинарная область, которая сочетает техники, установленные в таких областях, как лингвистика и компьютерные науки. Эти техники используются в сочетании с ИИ для создания чат-ботов и цифровых помощников, таких как Google Assistant и Amazon’s (AMZN ) Alexa.

Давайте потратим некоторое время на изучение основ Natural Language Processing, некоторых техник, используемых в NLP, и некоторых общих случаев использования NLP.

Почему Обработка Естественного Языка (NLP) имеет значение

Чтобы компьютеры могли интерпретировать человеческий язык, они должны быть преобразованы в форму, которую компьютер может манипулировать. Однако это не так просто, как преобразование текстовых данных в числа. Чтобы получить смысл из человеческого языка, необходимо извлечь закономерности из сотен или тысяч слов, составляющих текстовый документ. Это не простая задача. Есть несколько жестких и быстрых правил, которые можно применить к интерпретации человеческого языка. Например, один и тот же набор слов может иметь разные значения в зависимости от контекста. Человеческий язык – это сложная и часто двусмысленная вещь, и высказывание может быть произнесено с искренностью или сарказмом.

Несмотря на это, есть некоторые общие рекомендации, которые можно использовать при интерпретации слов и символов, таких как использование символа “s” для обозначения того, что предмет является множественным. Эти общие рекомендации должны быть использованы в сочетании друг с другом, чтобы извлечь смысл из текста, создать функции, которые алгоритм машинного обучения может интерпретировать.

Обработка Естественного Языка включает применение различных алгоритмов, способных принимать неструктурированные данные и преобразовывать их в структурированные данные. Если эти алгоритмы применяются неправильно, компьютер часто не может получить правильный смысл из текста. Это можно часто наблюдать при переводе текста между языками, где точный смысл предложения часто теряется. Хотя машинный перевод значительно улучшился за последние несколько лет, ошибки машинного перевода все еще происходят часто.

Техники Обработки Естественного Языка (NLP)

Фото: Tamur via WikiMedia Commons, Public Domain (https://commons.wikimedia.org/wiki/File:ParseTree.svg)

Многие техники, используемые в обработке естественного языка, можно разделить на две категории: синтаксис или семантика. Синтаксические техники – это техники, которые связаны с порядком слов, а семантические техники – это техники, которые связаны с значением слов.

Синтаксические Техники NLP

Примеры синтаксиса включают:

• Лемматизация
• Морфологическая сегментация
• Маркировка частей речи
• Парсинг
• Разделение предложений
• Стемминг
• Сегментация слов

Лемматизация заключается в своде различных форм слова к единой форме. Лемматизация берет такие вещи, как времена и множественные формы, и упрощает их, например, “feet” может стать “foot”, а “stripes” может стать “stripe”. Эта упрощенная форма слова делает его легче для алгоритма интерпретировать слова в документе.

Морфологическая сегментация – это процесс деления слов на морфемы или базовые единицы слова. Эти единицы – это такие вещи, как свободные морфемы (которые могут стоять самостоятельно как слова) и префиксы или суффиксы.

Маркировка частей речи – это просто процесс определения, какая часть речи каждое слово в входном документе.

Парсинг – это анализ всех слов в предложении и корреляция их с формальными грамматическими метками или грамматическим анализом всех слов.

Разделение предложений, или сегментация границ предложений, – это определение того, где начинается и заканчивается предложение.

Стемминг – это процесс уменьшения слов до корневой формы слова. Например, “connected”, “connection” и “connections” все будут уменьшены до “connect”.

Сегментация слов – это процесс деления больших кусков текста на небольшие единицы, которые могут быть словами или стеммированными/лемматизированными единицами.

Семантические Техники NLP

Семантические техники NLP включают техники, такие как:

• Распознавание именованных сущностей
• Генерация естественного языка
• Разрешение неоднозначности слов

Распознавание именованных сущностей включает маркировку определенных частей текста, которые могут быть помещены в одну из нескольких предопределенных групп. Предопределенные категории включают такие вещи, как даты, города, места, компании и люди.

Генерация естественного языка – это процесс использования баз данных для преобразования структурированных данных в естественный язык. Например, статистика о погоде, такая как температура и скорость ветра, может быть суммирована с помощью естественного языка.

Разрешение неоднозначности слов – это процесс присвоения значения словам в тексте на основе контекста, в котором они появляются.

Глубокие Модели Обучения для NLP

Регулярные многослойные перцептроны не способны обрабатывать интерпретацию последовательных данных, где порядок информации важен. Чтобы справиться с важностью порядка в последовательных данных, используется тип нейронной сети, который сохраняет информацию из предыдущих временных шагов в обучении.

Рекуррентные Нейронные Сети – это типы нейронных сетей, которые замыкают данные из предыдущих временных шагов, принимая их во внимание при расчете весов текущего временного шага. По сути, РНН имеют три параметра, которые используются во время прямого прохода обучения: матрица, основанная на предыдущем скрытом состоянии, матрица, основанная на текущем входе, и матрица, которая находится между скрытым состоянием и выходом. Поскольку РНН могут принимать во внимание информацию из предыдущих временных шагов, они могут извлечь релевантные закономерности из текстовых данных, принимая во внимание более ранние слова в предложении при интерпретации значения слова.

Другой тип глубокой архитектуры обучения, используемый для обработки текстовых данных, – это сеть с долгой краткосрочной памятью (LSTM). Сети LSTM аналогичны РНН по структуре, но благодаря некоторым различиям в их архитектуре они склонны работать лучше, чем РНН. Они избегают конкретной проблемы, которая часто возникает при использовании РНН, называемой проблемой взрыва градиента.

Эти глубокие нейронные сети могут быть либо унидирекциональными, либо бидирекциональными. Бидирекциональные сети способны принимать во внимание не только слова, которые предшествуют текущему слову, но и слова, которые следуют за ним. Хотя это приводит к более высокой точности, оно более вычислительно дорого.

Случаи Использования Обработки Естественного Языка (NLP)

Фото: mohammed_hassan via Pixabay, Pixabay License (https://pixabay.com/illustrations/chatbot-chat-application-artificial-3589528/)

Поскольку Обработка Естественного Языка включает анализ и манипуляцию человеческими языками, она имеет невероятно широкий спектр применения. Возможные применения NLP включают чат-ботов, цифровых помощников, анализ настроений, организацию документов, подбор персонала и здравоохранение.

Чат-боты и цифровые помощники, такие как Amazon’s Alexa и Google Assistant, – это примеры платформ распознавания и синтеза голоса, которые используют NLP для интерпретации и ответа на голосовые команды. Эти цифровые помощники помогают людям с широким спектром задач, позволяя им передать некоторые из своих когнитивных задач на другое устройство и освободить часть своего мозга для более важных вещей. Вместо того, чтобы искать лучший маршрут в банк в忙ой утро, мы можем просто попросить наш цифровой помощник сделать это.

Анализ настроений – это использование техник NLP для изучения реакций и чувств людей на явление, выраженных через их язык. Захват настроения высказывания, например, интерпретация того, является ли обзор продукта хорошим или плохим, может предоставить компаниям значительную информацию о том, как их продукт принимается.

Автоматическая организация текстовых документов – еще одно применение NLP. Компании, такие как Google и Yahoo, используют алгоритмы NLP для классификации электронных писем, помещая их в соответствующие папки, такие как “социальное” или “промо”. Они также используют эти техники для определения спама и предотвращения его попадания в ваш почтовый ящик.

Группы также разработали техники NLP для определения потенциальных кандидатов на работу, находя их на основе соответствующих навыков. Менеджеры по найму также используют техники NLP для помощи в сортировке списка заявителей.

Техники NLP также используются для улучшения здравоохранения. NLP может быть использована для улучшения обнаружения заболеваний. Медицинские записи могут быть проанализированы, и симптомы могут быть извлечены алгоритмами NLP, которые затем могут быть использованы для предложения возможных диагнозов. Одним из примеров этого является платформа Amazon Comprehend Medical, которая анализирует медицинские записи и извлекает заболевания и методы лечения. Применения NLP в здравоохранении также распространяются на психическое здоровье. Есть приложения, такие как WoeBot, которое проводит пользователей через различные техники управления тревогой, основанные на когнитивно-поведенческой терапии.