動物から学ぶ強化学習システムの「コモンセンス」

ロンドン帝国大学、ケンブリッジ大学、Google (GOOGL ) DeepMindなどの研究所のAI研究者は、強化学習システムのパフォーマンスを向上させるためのインスピレーションを動物から得ようとしています。CellPress Reviewsに掲載された共同論文「Artificial Intelligence and the Common Sense of Animals」では、研究者は、動物の認知が強化学習エージェントとタスクおよび環境のエンジニアリングのための有用なベンチマークと評価方法を提供することを主張しています。

AI研究者とエンジニアは、長年にわたり、生物学的ニューラルネットワークからインスピレーションを得てアルゴリズムを設計してきました。行動科学と神経科学の原理を使用してアルゴリズムの構造を情報に基づいています。しかし、神経科学/行動科学分野から得られるヒントのほとんどは人間に基づいており、幼児や赤ちゃんの認知が焦点となっています。AI研究者はまだ動物モデルから多くを学んでおらず、動物の認知は重要なブレークスルーにつながる可能性のある未開拓の資源です。

ディープ強化学習システムは、試行錯誤のプロセスを通じてトレーニングされ、強化学習エージェントが望ましい目標を達成するのに近づくたびに報酬が与えられます。これは、動物に望ましいタスクを実行させるために食物を報酬として使用するのと似ています。生物学者と動物認知専門家は、犬、熊、リス、豚、カラス、イルカ、猫、鼠、ゾウ、タコなどのさまざまな動物の認知能力を評価するために多くの実験を実施しました。多くの動物は印象的な知能を示し、一部の動物、たとえばゾウとイルカは、心の理論を持っているかもしれません。

動物認知に関する研究を調べることで、AI研究者は問題に対するさまざまなアプローチを検討することができます。ディープ強化学習がより強力で洗練されたものになると、強化学習の分野の専門家であるAI研究者は、強化学習エージェントの認知能力をテストする新しい方法を模索しています。研究論文では、研究チームは、霊長類や鳥類で実施された実験の種類について言及し、同様のタスクを実行できるシステムを設計することを目指しており、AIに「コモンセンス」のようなものを与えることを目指しています。論文の著者によると、彼らは「RLエージェントが、まだ開発されていないアーキテクチャを使用して、豊富な仮想環境との長時間の相互作用を通じて必要なものを習得するアプローチを提唱しています」。

VentureBeatの報告によると、AI研究者は、コモンセンスは人間に独自の特性ではなく、物理的な世界の基本的な特性、たとえば物体が占める空間、物体の動きの制約、原因と結果の理解に依存していることを主張しています。動物は実験室での研究でこれらの特性を示しています。たとえば、カラスは物体が永久に存在することを理解しており、種子が他の物体によって隠されている場合でも種子を回収できます。

強化学習システムにこれらの特性を与えるには、研究者は、適切なアーキテクチャと組み合わせて、学習した原則を他のタスクに転移できるエージェントを生成するタスクを作成する必要があると主張しています。研究者は、エージェントがわずか数回の例に接した後にも概念を理解できるようにする、数回学習を使用する必要があると主張しています。これは、従来の強化学習エージェントのトレーニングに使用される数百または数千の試行とは対照的です。

研究チームは、現代のいくつかの強化学習エージェントが複数のタスクを解決することを学習できるが、基本的な原則の転移を必要とするタスクもあることを説明しています。しかし、強化学習エージェントが「コモンセンス」という抽象的な概念を学習できるかどうかは明らかではありません。もしもそのような概念を学習できるエージェントが存在する場合、コンテナの概念を理解しているかどうかを判断できるテストが必要になります。

DeepMindは、強化学習エージェントの開発とテストの新しい方法に積極的に取り組んでいます。先月行われたスタンフォードHAIカンファレンスで、DeepMindの神経科学研究責任者であるMatthew Botvinickは、機械学習研究者とエンジニアが他の科学分野と協力する必要性を強調しました。Botvinickは、AI分野における心理学と神経科学との間の学際的な協力の重要性を、「知能の三角測量：神経科学、心理学、AIの融合」というタイトルの講演で強調しました。