ディープマインド：AIは人間の認知的限界を継承する可能性があり、正式な教育から利益を得る可能性がある

ディープマインドとスタンフォード大学の新しい共同研究によると、AIは抽象的な推論において人間と同じレベルでしかない可能性があります。機械学習モデルは、実世界の人間の例から推論アーキテクチャを取得するため、実践的なコンテキストに根ざした人間の認知的限界によって制約されるからです。

これは、多くの人が機械学習システムから期待している優れた「青空」の思考と知的創造の質への障壁を表す可能性があります。また、AIは人間の経験を反映し、人間が形成した境界の中で推論する傾向があることを示しています。

研究者は、AIモデルは抽象的な推論の前訓練から利益を得る可能性があると示唆しています。彼らはこれを「正式な教育」と例えています。

論文には以下のように記載されています：

「人間は不完全な推論者である。私たちは、世界に対する理解と一致する実体や状況について最も効果的に推論する。」

「私たちの実験は、言語モデルがこれらの行動パターンを反映することを示しています。言語モデルは、論理的な推論タスクで不完全に実行されますが、この実行はコンテンツとコンテキストに依存します。最も注目すべきは、人間が失敗する状況で、これらのモデルもしばしば失敗することです — 刺激が抽象的すぎるか、世界に対する理解と矛盾するときに。」

テスト

人間は、実践的な例を通じて抽象的な概念を学習します。言語学習者が語彙や言語規則を記憶するのと同じ方法で、「暗示された重要性」が役立ちます。

最も単純な例は、物理学の抽象的な原理を「旅行シナリオ」を使って教えることです。

研究者は、超大規模なNLPモデルの抽象的な推論能力をテストするために、人間にも挑戦的な3つのテストを設計しました。

最初のタスクは、自然言語推論（NLI）に関するもので、主題（人間または言語モデル）が2つの文を受け取り、1つの文がもう1つの文から導かれるかどうかを判断する必要があります。

研究者は、Chinchilla（70億パラメーターモデル）と7B（7億パラメーターモデルのバージョン）をテストし、次のことを発見しました。

「これは、強いコンテンツバイアスを示しています。モデルは、論理の規則に従って文を完成させるのではなく、先入観に従って文を完成させます。」

シルロギズム

2番目のタスクは、より複雑な挑戦、シルロギズム — 2つの真の文が3番目の文を意味するかのように見える議論です。

ここで、人間は非常に失敗しやすく、論理原則を示すために設計された構成が、人間の「信念」によってすぐに混乱し、矛盾するようになります。

研究者は、1983年の研究で、参加者がシルロギズムの結論が彼らの信念と一致するかどうかに影響を受けることを示しています。

「参加者は、90%の時間、無効なシルロギズムを有効であると間違って言った。彼らは、抽象的な推論よりも信念に頼っていました。」

ワソン・セレクション・タスク

3番目のテストは、さらに挑戦的なワソン・セレクション・タスクの論理問題で、言語モデルがさまざまなバリエーションを解く必要があります。

ワソン・タスクは、1968年に設計され、非常に単純なように見えます。参加者は4枚のカードを見せられ、任意のルール（「カードに「D」が書かれている場合、反対側に「3」が書かれている」など）を教えられます。

参加者は、ルールが真か偽かを確認するために、どのカードを裏返す必要があるかを尋ねられます。

正解は、カード「D」と「7」を裏返すことです。

研究者は、人間の参加者が「D」を選択する可能性は高いですが、「3」ではなく「7」を選択する可能性は低いことを発見しました。

正式な教育

論文の結果は、超大規模NLPシステムの推論能力を私たちの限界の文脈で示しています。私たちが人間である限り、モデルも私たちと同じ限界を持つ可能性があります。

研究者は、人間が正式な教育を受けているという利点があることを示しています。言語モデルは、人間の文化によって生成された言語を模倣するように訓練されるだけです。

「私たちの結果は、コンテンツの影響が、人間の文化によって生成された言語を模倣するように大きなトランスフォーマーを訓練するだけで生じる可能性があることを示しています。」

「言語モデルと人間は、コンテンツバイアスに到達しますが、異なるアーキテクチャ、経験、訓練目標から到達します。」

研究者は、純粋な推論の「導入訓練」が言語モデルのパフォーマンスを向上させる可能性があることを示しています。また、言語モデルは、抽象的なレベルで指示に従うように訓練または調整されることも示しています。

さらに、言語モデルは自身の出力を検証、修正、または偏見をなくすことができることも示しています。