Andersonの視点

GoogleはGPT-3のようなクエリシステムを検討している、検索結果なしで

公開日 2021年5月10日

更新日 2026年5月25日

著者

Martin Anderson

Unite.AI を Google の優先ソースに追加

Googleの4人の研究者による新しい論文では、ユーザーの質問に権威的に答えることができる「専門家」システムを提案しています。このシステムは、GPT-3が普及したように、検索結果のリストを表示せずに答えることができます。

論文「Rethinking Search: Making Experts out of Dilettantes」では、現在の検索結果をリスト形式で表示する方式は「認知的負担」であると指摘し、自然言語処理システム（NLP）が権威的に答える能力を向上させることを提案しています。

提案された「専門家」モデルの下で、数千の検索結果ソースが言語モデルに組み込まれ、ユーザーが評価してナビゲートするための探索リソースとして明示的に利用できることはありません。ソース：https://arxiv.org/pdf/2105.02274.pdf

論文では、GPT-3のような深層学習オートレグレッシブ言語モデルから得られる多ドメインオラクル応答のタイプを改善することを提案しています。主な改善点は、モデルが回答に影響を与えたソースを正確に引用できることと、回答を「妄想」させたり、存在しないソース資料を発明したりしないことです。

多ドメイントレーニングと機能

さらに、提案された言語モデルは「すべての情報検索タスクのための単一モデル」として特徴付けられ、画像やテキストなどのさまざまなドメインでトレーニングされます。また、知識の出典についての理解が必要です。これは、GPT-3スタイルのアーキテクチャでは欠けている機能です。

「索引を単一の統一モデルに置き換えるには、モデル自体がドキュメント識別子の宇宙についての知識を持っている必要があります。つまり、伝統的な索引と同様に、モデルはドキュメント識別子についての知識を持っている必要があります。一つの方法は、伝統的な言語モデルから離れて、用語間、用語とドキュメント、ドキュメント間の関係を共同でモデル化するコーパスモデルに移行することです。」

上の画像は、ユーザーの問い合わせに対する3つのアプローチを示しています。左側は、Googleのアルゴリズム検索結果の言語モデルが「ベストアンサー」を選択して優先順位付けしていますが、多くの結果のトップ結果として残しています。中央は、GPT-3スタイルの会話応答で、権威的に話していますが、主張を裏付ける資料やソースを示していません。右側は、提案された専門家システムで、ランク付けされた検索結果から「ベストレスポンス」を直接教示的な答えに組み込み、学術スタイルの脚注引用（元の画像には表示されていません）で回答を裏付けるソースを示しています。

有害で不正確な結果の除去

研究者は、検索索引の動的で継続的に更新される性質が、このようなマシンラーニングモデルを完全に複製することに挑戦を与えることを指摘しています。たとえば、モデルが信頼できるソースとして直接トレーニングされた場合、その影響を除去する（たとえば、ソースが信用できないと判断された場合）は、SERPからURLを除去するよりも困難になる可能性があります。なぜなら、トレーニング中にデータ概念が抽象化され、広く表現される可能性があるからです。

中央集権型専門家オラクルの攻撃面

中央集権型モデルが新しいデータを継続的に吸収して一般化することで、検索問い合わせの攻撃面が変化する可能性があります。

現在、攻撃者は、誤情報や悪意のあるコードを含むドメインまたはページに高ランクを取得することで利益を得ることができます。より不透明な「専門家」オラクルの下で、ユーザーを攻撃ドメインに誘導する機会は減少しますが、有害なデータ攻撃を注入する可能性は増大します。

AGIではない

研究者は、このようなシステムは人工一般知能（AGI）としては考えにくいと強調しています。また、自然言語処理の文脈で、普遍的な専門家応答の可能性について議論しています。

論文では、高品質な回答の5つの要件を示しています。

1：権威
現在のランキングアルゴリズムと同様に、「権威」は、権威のあるドメインからの引用によって得られます。研究者は次のように述べています。

「回答は、高度な権威を持つソースからコンテンツを生成する必要があります。これは、シーケンス間のより明示的な接続とドキュメントのメタデータを確立することが非常に重要な理由の1つです。コーパス内のすべてのドキュメントに権威性スコアが付与されている場合、そのスコアはモデルをトレーニングする際、回答を生成する際、またはその両方で考慮される必要があります。」

2：透明性

研究者は次のように述べています。

「可能な限り、ユーザーに提示される情報の出典をユーザーに提供する必要があります。これが情報の一次ソースですか？それ以外の場合、一次ソースは何ですか？」

3：偏りの処理

論文では、事前トレーニング済み言語モデルは、実証的な真実を評価するのではなく、データの優勢な傾向を一般化し、優先順位付けするように設計されていると指摘しています。また、この指示により、モデルは攻撃を受けやすくなります（2016年にマイクロソフトの人種差別的なチャットボットが発生したように）。

4：多様な視点の促進

論文では、多様な視点を確保するメカニズムも提案しています。

「生成された回答は、多様な視点を表現する必要がありますが、極端なものであってはなりません。たとえば、論争的なトピックに関する質問の場合、トピックの両側が公平かつバランスのとれた方法でカバーされる必要があります。これは明らかにモデル偏りの問題に関連しています。」

5：アクセシブルな言語

論文では、権威ある回答が別の言語で提供される場合に、正確な翻訳を提供することの重要性を強調しています。また、回答は「可能な限り平易な言葉で」書かれるべきであると提案しています。

5：アクセシブルな言語

これは、公平な方法で表現されるべきであるということです。これは明らかにモデル偏りの問題に関連しています。5：アクセシブルな言語

これは、公

Martin Anderson

機械学習のライターであり、ヒューマンイメージシンセシスのドメインスペシャリスト。Metaphysic.aiの研究コンテンツ責任者を務めていたが、DNEGのBrahma.aiへの統合により解散した。
Portfolio site： martinanderson.ai
Contact：martin@martinanderson.ai

Unite.AI

GoogleはGPT-3のようなクエリシステムを検討している、検索結果なしで

多ドメイントレーニングと機能

有害で不正確な結果の除去

中央集権型専門家オラクルの攻撃面

AGIではない

2：透明性

3：偏りの処理

4：多様な視点の促進

5：アクセシブルな言語

もっと見る