Quantum Stat Lança “Big Bad NLP Database”

A Quantum Stat lançou seu “Big Bad NLP Database” em um grande passo para a processamento de linguagem natural (NLP). O banco de dados contém centenas de conjuntos de dados diferentes para que os desenvolvedores de aprendizado de máquina os utilizem.

De acordo com a empresa, eles fornecem soluções para iniciativas de NLP e IA. Eles fazem isso por meio de serviços como pré-processamento, desenvolvimento de aplicativos web, abordagem multifacetada que inclui aprendizado de máquina e redes neurais profundas, gerenciamento de chatbot e diálogo, e seu novo banco de dados NLP.

A empresa também realiza pesquisas primárias e secundárias para ajudar as pessoas a analisar os desenvolvimentos dentro das indústrias.

Central Hub de Dados NLP

A decisão de criar o banco de dados, que é a maior biblioteca de dados de processamento de linguagem natural do mundo, surgiu da necessidade de um hub central para armazenar dados NLP. A empresa visava torná-lo mais facilmente acessível e pesquisável do que a alternativa, que frequentemente exige que os pesquisadores procurem em várias bibliotecas de terceiros.

A empresa vem desenvolvendo o banco de dados por várias semanas; atualmente, eles têm cerca de 200 conjuntos de dados. Há uma variedade de conjuntos de dados diferentes, não apenas os clássicos. A empresa incluiu conjuntos de dados como CommonCrawl e Penn Treebank.

Além de uma variedade de bancos de dados diferentes, vêm tarefas NLP diferentes. Há aquelas que se concentram na classificação e resposta a perguntas, mas também há conjuntos de dados para texto-para-SQL, reconhecimento de fala e multimodal.

A Quantum Stat deseja que o banco de dados seja impulsionado pela comunidade, com contribuições dos usuários. A empresa abriu suas portas para que qualquer pessoa envie um novo conjunto de dados ou recomende alterações.

Outro foco é adicionar conjuntos de dados que diversifiquem a linguagem, afastando-se do inglês. Seu objetivo é tornar a biblioteca mais global e acessível a outros.

Ao entrar no “Big Bad NLP Database”, um usuário será confrontado com um layout limpo e organizado. O nome do conjunto de dados é listado, seguido pela linguagem e uma descrição detalhada. Ele também lista instâncias, formato, tarefa, ano de criação e criador. Cada banco de dados tem um link de download para seguir.

Variedos Bancos de Dados

Um encontrará bancos de dados como o conjunto de dados de Séries Temporais Diárias de Jornais Históricos, que contém o conteúdo diário de jornais nos EUA e no Reino Unido de 1836 a 1922; Conjunto de Dados SciQ, que contém 13.679 perguntas de exame de ciência crowdsourced nos campos de Física, Biologia e Química; CommonCrawl, que contém os dados de 25 bilhões de páginas da web; e MovieLens, um conjunto de dados que contém 22.000.000 de classificações e 580.000 tags para 33.000 filmes por 240.000 usuários.

O impressionante banco de dados da Quantum Stat surge em um momento em que os pesquisadores exigem conjuntos de dados maiores e mais diversificados devido aos avanços no aprendizado profundo. Devido à grande quantidade de dados contida na linguagem humana, cada conjunto de dados único torna um pouco mais fácil processar. O avanço do NLP depende desses bancos de dados, e a Quantum Stat contribuiu para acelerar esse avanço reunindo tantos conjuntos de dados em um só espaço.

O NLP será importante em muitos aspectos da sociedade. Ele pode ajudar a prever doenças com base em registros de saúde eletrônicos e no discurso de um paciente, ajudar as empresas a descobrir o que os clientes estão dizendo sobre um produto e identificar notícias falsas em um mundo onde elas são comuns.

A tecnologia está avançando extremamente rapidamente, e não levará muito tempo para que ela seja capaz de lidar com essas aplicações complexas.