Quantum Stat Создает NLP Колабораторию

В январе мы рассказали о выпуске базы данных «Big Bad NLP Database» от Quantum Stat, которая содержит сотни разных наборов данных для разработчиков машинного обучения. Это было большое событие для обработки естественного языка (NLP), и теперь компания создала «The Super Duper NLP Repo».

Коллаборатория NLP от Quantum Stat

The Super Duper NLP Repo

По словам Рики Косты, генерального директора Quantum Stat, необходимость в новой базе данных возникла из-за развития отрасли NLP. В результате Quantum Stat начала искать новые решения и предоставлять разработчикам прямой доступ к коду.

Рики Коста дал интервью Unite.AI, которое можно найти здесь.

База данных The Super Duper NLP Repo содержит более 100 блокнотов Colab, которые запускают код машинного обучения для различных задач NLP. Блокноты Colab помогают распространять различные модели и предоставляют разработчикам возможность экспериментировать, поскольку они предоставляют бесплатный GPU/TPU на серверах Google.

Разметка новой базы данных аналогична предыдущей и легко воспринимается. Она включает название блокнота, дату его добавления, описание, модель, задачу, создателя и ссылку для открытия в Colab.

По словам компании, блокноты в базе данных поступают как от независимых, так и от промышленных исследователей ИИ. Среди них есть TensorFlow, Hugging Face и DeepPavlov.

С помощью блокнотов можно запустить многие модели, включая BERT, TD, CNN и GPT-2. Есть много задач, таких как классификация, генерация текста, вложения, диалог, анализ настроений и перевод речи.

По словам Рики Косты в посте на Medium, «Мы продолжили с тем же сообщественным подходом, чтобы иметь место, где разработчики могли бы внести свой вклад в код, посвященный быстро развивающейся области NLP. Если у вас есть блокнот, который вы хотите поделиться, вы всегда можете нажать большую красную кнопку».

Обработка Естественного Языка

Обработка естественного языка занимается компьютерами и человеческим языком. Техники и инструменты используются для того, чтобы компьютеры могли обрабатывать, интерпретировать и анализировать человеческий язык, и эта область заимствует знания из других областей, таких как лингвистика, информатика, информационная инженерия и искусственный интеллект.

Человеческий язык должен быть сначала преобразован, чтобы сделать его возможным для компьютера манипулировать им. В конечном итоге машина сможет читать и понимать человеческий язык, а также выводить из него смысл.

Обработка естественного языка делает большие успехи благодаря доступу к данным и увеличению вычислительной мощности. Некоторые области, которые используют обработку естественного языка, включают здравоохранение, финансы, СМИ и человеческие ресурсы.

Есть много других применений обработки естественного языка, таких как чат-боты, цифровые помощники, организация документов, анализ настроений и набор персонала. В случае цифровых помощников, таких как Alexa от Amazon , обработка естественного языка используется для интерпретации голосовых команд и ответа соответственно. Реальная сила этого заключается в том, что это позволяет пользователю назначать когнитивные задачи технологии, что позволяет индивиду сосредоточиться на других областях.

Когда речь идет об анализе настроений, техники обработки естественного языка помогают устанавливать связи между использованием языка и реакциями и чувствами людей. Компании могут использовать это, чтобы узнать такие вещи, как то, как продукт принимается пользователями.

Коллаборатория NLP от Quantum Stat помогает объединить все это в одном месте. Разработчики могут полагаться на The Super Duper NLP Repo как на возможность исследовать и экспериментировать с разными моделями, и она отформатирована в очень информативной и легко воспринимаемой форме. Возможно, ее главная сила заключается в том, что она также предоставляет платформу для независимых исследователей ИИ.