AIスタートアップのDiffbotが全てのパブリックインターネットを読み込み、事実に基づいたテキスト生成を追求する

OpenAIがGPT-2とGPT-3言語モデルを通じて達成した最近の自然言語処理とテキスト生成の進歩は、人間が書いたように見えるテキストを生成することができ、印象的なものであった。ただし、これらのモデルは自然な音のするテキストを書くことができても、事実に基づいたテキストを書くことができない。高度な言語モデルは、生成されたテキスト内の主張の真実性に注意を払わずに、文脈で最も意味のある単語から文を組み立てる。MITテクノロジーレビューの報告によると、Diffbotというスタートアップは、インターネットからできるだけ多くの事実を抽出することでこの問題を解決しようとしている。

Diffbotは、スプレッドシートの自動入力や文の自動補完などの実用的テキスト生成タスクでAIをより役立たせることを目指しているスタートアップである。AIが生成するテキストが信頼できるものであるためには、AI自身が信頼できるものでなければならないし、事実と虚構の区別を理解できなければならない。Diffbotがテキスト生成プログラムに事実に基づいた文を生成する能力を与えるアプローチは、ほぼ全てのパブリックウェブから大量のテキストを収集することから始まる。Diffbotは複数の言語のテキストを解析し、テキストを事実に基づいたトリプレットのセットに分割する。例えば、ビル・ゲイツとマイクロソフトに関する事実は次のように表現されるかもしれない。

ビル・ゲイツはマイクロソフトの創設者である。マイクロソフトはコンピュータ技術会社である。

Diffbotはこれらの短い事実をすべて結合して知識グラフを作成する。知識グラフは概念間の関係のウェブを作成し、関係に基づいて新しい結論を導き出すのに役立つ。言い換えると、知識グラフはデータの相互接続を使用し、機械学習アルゴリズムが知識ドメインをモデル化するのを助ける。知識グラフは実際には数十年前から存在しており、多くの初期のAI研究者は、AIが人間の世界を理解するための重要なツールであると考えていた。しかし、知識グラフは通常手作業で作成されていたが、これは難しい作業であった。知識グラフの作成を自動化することで、AIは概念をより深く理解し、事実に基づいたテキストを生成することができる。

Googleは数年前に知識グラフを使用して始めた。知識グラフは、人気のあるトピックを検索したときに情報の要約を提供するのを助ける。Diffbotは、人気のあるトピックだけでなく、すべてのトピックに対して同じことを行おうとしている。これには、Googleやマイクロソフトが行っているように、全てのパブリックウェブをクロールして、巨大な知識グラフを作成する必要がある。Diffbotは全てのウェブをスキャンし、知識グラフを新しい情報で更新する。4〜5日ごとに更新され、1ヶ月で約1億〜1.5億のエントリが追加される。

Diffbotは通常のウェブクローラーと異なり、ウェブサイトのテキストを読み取るのではなく、コンピュータビジョンアルゴリズムを使用してウェブページの生のピクセルを抽出する。ビデオ、画像、記事、ディスカッションデータをページから抽出する。ウェブページの重要な要素を特定し、3つの部分からなる事実のスキーマに従って、多くの言語で事実を抽出する。

現在、Diffbotは有料と無料の両方のアクセスを提供している。研究者は無料でグラフにアクセスできるが、DuckDuckGoやSnapchatなどの企業はテキストの要約とトレンドニュースアイテムの抽出に使用している。一方、NikeやAdidasは、偽物の製品を販売しているサイトを見つけるためにプラットフォームを使用している。これは、Diffbotが実際に靴を販売しているサイトと、ただ話し合いをしているサイトを区別できるからである。

将来的には、Diffbotは機能を拡大し、プラットフォームに自然言語インターフェースを追加して、ほぼどんな質問にも答えられるようにする予定である。さらに、Diffbotの機能を、GPT-3のような強力な言語合成モデルと組み合わせることが理想である。