AIは、研究者がどの論文を再現できるかを判断するのを助けることができ、再現可能性の危機に対処しようとしている

近年、学者や研究者は「再現/再現可能性の危機」と呼ばれるものに注目している。多くの研究は、研究の再現が試みられたときに同じ有意な結果を与えられないため、科学界は、発見がしばしば過大評価されていることを心配している。この問題は、心理学や人工知能などのさまざまな分野に影響を及ぼしている。人工知能の分野では、多くの非査読論文が印象的な結果を主張しているが、他の研究者はこれを再現できない。問題に対処し、再現できない研究の数を減らすために、研究者はどの論文が再現できるかを判断することを目的としたAIモデルを設計した。

フォーチュン誌の報道によると、ノースウェスタン大学のケロッグ経営大学院と複雑系研究所の研究チームが発表した新しい論文は、再現可能である可能性のある研究と再現不可能な研究を区別できる深層学習モデルを提示している。如果AIシステムが再現可能な研究と再現不可能な研究を信頼性高く区別できる場合、大学、研究機関、企業、その他の組織が数千の研究論文をフィルタリングして、最も有用で信頼できる論文を判断するのを助けることができる。

ノースウェスタン大学のチームが開発したAIシステムは、研究者が通常研究の有効性を判断するために使用する経験的/統計的な証拠の種類を使用していない。モデルは、実際には自然言語処理技術を使用して論文の信頼性を量化しようとしている。システムは、論文の著者が使用する言語のパターンを抽出し、一部のワードパターンは他のパターンよりも信頼性が高いことを発見した。

研究チームは、1960年代から存在する心理学研究に基づいて、人々は自分の考えに対する自信のレベルを言葉で伝えることが多いことを発見した。この考えに基づいて、研究者は、論文の著者が自分の研究結果に対する自信を書くときに、無意識に信号を送る可能性があると考えた。研究者は2回のトレーニングを行い、異なるデータセットを使用した。最初のモデルは、約200万の科学論文の要約でトレーニングされ、2回目のトレーニングでは、心理学の論文の再現可能性を判断することを目的としたプロジェクト「心理学の再現可能性プロジェクト」からフルペーパーでトレーニングされた。

テスト後、研究者は、心理学や経済学などのさまざまな分野の数百の論文のコレクションにモデルを適用した。研究者は、モデルが論文の再現可能性について、通常研究の結果が再現できるかどうかを判断するために使用される統計技術よりも、より信頼性の高い予測を与えたことを発見した。

ケロッグ経営大学院の教授であるブライアン・ウッツィは、フォーチュン誌に、AIモデルが将来、研究者が結果が再現される可能性を判断するのを助けるために使用されることを希望しているが、研究チームは、モデルが学習したパターンや詳細については不確実であると説明した。マシンラーニングモデルは「ブラックボックス」であることが多いのは、AI研究における一般的な問題であるが、これは他の科学者がモデルを使用することをためらう原因となる可能性がある。

ウッツィは、研究チームがモデルを新型コロナウイルス危機に対処するために使用したいと考えていると説明した。科学者がウイルスをより迅速に理解し、どの研究結果が有望であるかを判断するのを助けることができるからである。 ウッツィはフォーチュン誌に次のように述べた：

「私たちは、現在多くのことが緩和されているコロナウイルス問題に対処するために、このモデルを適用し始めたい。どの先行研究が再現されるかが不明であり、再現に時間がない。」

ウッツィと他の研究者は、さらに自然言語処理技術を使用してモデルを改善したいと考えている。企業の収益に関する電話会議のトランスクリプトを分析するために開発した技術も含まれる。研究チームは、約3万の電話会議のトランスクリプトのデータベースを構築し、これを分析してヒントを得る予定である。如果チームが成功したモデルを構築できる場合、分析家や投資家にツールを使用するよう説得することができ、モデルとその技術の他の革新的な使用法への道が開かれる可能性がある。