AIは、研究者がどの論文が再現可能かを判断するのを助ける可能性がある、再現可能性の危機に取り組むことを目指している

近年、学者や研究者は、再現可能性の危機について注目している。多くの研究は、研究の再現時に同じ結果をもたらさないことが多く、科学界は、発見がしばしば過大評価されていることを心配している。この問題は、心理学や人工知能などのさまざまな分野に影響を及ぼしている。人工知能分野では、多くの非査読論文が印象的な結果を主張しているが、他の研究者によって再現できない。問題に対処し、再現できない研究の数を減らすために、研究者は、どの論文が再現可能かを判断することを目的としたAIモデルを設計した。

フォーチュン誌の報道によると、ノースウェスタン大学のケロッグ経営大学院と複雑系研究所の研究チームが発表した新しい論文では、再現可能な研究と再現できない研究を区別できるディープラーニングモデルが紹介されている。如果AIシステムが再現可能な研究と再現できない研究を信頼性高く区別できる場合、大学、研究機関、企業、その他の組織が、数千の研究論文の中から、最も有用で信頼できる論文を判断するのに役立つ可能性がある。

ノースウェスタン大学のチームが開発したAIシステムは、研究者が通常研究の有効性を判断するために使用する経験的・統計的な証拠を使用していない。代わりに、自然言語処理技術を使用して、論文の信頼性を量化しようとしている。システムは、論文の著者が使用する言語のパターンを抽出し、一部のワードパターンは他のパターンよりも信頼性が高いことを発見した。

研究チームは、1960年代から存在する心理学研究に基づいて、人間が自分のアイデアに対する自信のレベルを言葉で伝えることが多いという考え方を利用した。研究者は、論文の著者が、自分の研究結果に対する自信のレベルを、無意識に言葉で伝えている可能性があると考えた。研究者は、2回のトレーニングを実施し、異なるデータセットを使用した。最初のトレーニングでは、約200万の科学論文の要約を使用し、2回目のトレーニングでは、心理学の論文の再現可能性を判断するために設計されたプロジェクト「心理学の再現可能性プロジェクト」から、完全な論文を使用した。

テスト後、研究者は、心理学や経済学などのさまざまな分野から集めた数百の論文にモデルを適用した。研究者は、自分のモデルが、通常研究の結果を再現するかどうかを判断するために使用される統計技術よりも、論文の再現可能性についてより信頼性の高い予測を提供することを発見した。

ケロッグ経営大学院の教授であるブライアン・ウッツィは、フォーチュン誌に、AIモデルが将来、研究者が結果を再現する可能性を判断するのを助けることができるかもしれないと語った。しかし、研究チームは、モデルが学習したパターンや詳細については不確実である。機械学習モデルのブラックボックス性は、AI研究における一般的な問題であり、他の科学者がモデルを使用することをためらう原因となる可能性がある。

ウッツィは、研究チームがモデルを使用して、新型コロナウイルス危機に対処し、科学者がウイルスをより迅速に理解し、どの研究結果が有望であるかを判断するのを助けることを希望していると語った。ウッツィはフォーチュン誌に次のように述べた。

「私たちは、このモデルをCOVID-19問題に適用し始めたい。現在、多くのことが緩和されており、以前の研究の強固な基礎を築く必要がある。しかし、どの研究が再現可能で、どれが再現できないのかは不明である。私たちには、再現を待つ時間がない」

ウッツィと他の研究者は、さらに自然言語処理技術を使用してモデルを改善したいと考えている。企業の収益に関する電話会議のトランスクリプトを分析するために開発した技術も含まれる。研究チームは、約3万件の電話会議トランスクリプトのデータベースを構築し、手がかりを分析する予定である。如果チームが成功したモデルを構築できる場合、分析家や投資家がツールを使用するよう説得できる可能性があり、モデルとその技術のための新しい用途の道が開かれる可能性がある。