量子统计发布“大坏NLP数据库”

量子统计发布了他们的“大坏NLP数据库”，这是自然语言处理（NLP）领域的一个重大进步。该数据库包含数百个不同的数据集，供机器学习开发人员使用。

根据公司的说法，他们为NLP和AI项目提供解决方案。他们通过诸如预处理、Web应用开发、多面向方法（包括机器学习和深度神经网络）、聊天机器人和对话管理以及他们的新NLP数据库等服务来实现这一目标。

该公司还进行初级和次级研究，以帮助个人分析行业发展。

NLP数据的中央枢纽

创建数据库的决定源于需要一个中央枢纽来存储NLP数据。该公司旨在使其比替代方案更容易访问和搜索，替代方案通常需要研究人员搜索多个第三方库。

该公司已经开发了数据库数周，现在有大约200个数据集。有各种不同的数据集，不仅仅是经典的。该公司包括CommonCrawl和Penn Treebank等数据集。

随着不同数据库的出现，也有不同的NLP任务。有些任务专注于分类和问答，但也有用于文本到SQL、语音识别和多模态的数据集。

量子统计希望数据库是社区驱动的，用户可以贡献。该公司已经开放大门，允许任何人发送新数据集或推荐更改。

另一个重点是添加语言多样化的数据集，摆脱仅限英语的局限。他们的目标是使图书馆更加全球化和易于他人访问。

进入“大坏NLP数据库”后，用户将看到一个干净且组织良好的布局。数据集的名称将被列出，接着是语言和详细描述。它还列出了实例、格式、任务、创建年份和创建者。每个数据库都有一个下载链接。

各种数据库

您将遇到诸如历史报纸每日世界时间序列数据集（包含1836年至1922年美国和英国报纸的每日内容）、SciQ数据集（包含13,679个众包科学考试问题，涵盖物理、生物和化学等领域）、CommonCrawl（包含25亿个网页的数据）和MovieLens（包含240,000个用户对33,000部电影的22,000,000个评分和580,000个标签）等数据库。

量子统计令人印象深刻的数据库出现在研究人员需要更大、更多样化的数据集的时期，因为深度学习已经取得了进步。由于人类语言中包含大量数据，每个独特的数据集都使处理变得更容易。NLP的进步依赖于这些数据库，量子统计通过在一个空间中收集了这么多数据集，从而加速了这一进步。

NLP将在社会的许多方面发挥重要作用。它可以帮助根据电子健康记录和患者的言语预测疾病，帮助公司了解客户对产品的看法，并在虚假新闻泛滥的世界中识别虚假新闻。

该技术正在非常迅速地发展，不久将能够处理这些复杂的应用。