AI가 연구자들에게 어떤 논문이 재현될 수 있는지 결정하는 데 도움이 될 수 있으며, 재현 가능성 위기를 해결하기 위해 노력하고 있다.

최근 몇 년 동안 학자와 연구자들은 재현/재현 가능성 위기라고 불리는 문제에 점점 더 많은 관심을 기울이고 있다. 많은 연구는 연구의 재현을 시도할 때 동일한 유의미한 결과를 얻지 못하고, 결과적으로 과학 커뮤니티는 종종 결과가 과장된다는 것을 우려한다. 이 문제는 심리학과 인공 지능과 같은 다양한 분야에 영향을 미친다. 인공 지능 분야에서는 많은 비 同行 심사 논문이 ấn tượng적인 결과를 주장하지만 다른 연구자들이 재현할 수 없다. 이 문제를 해결하고 비재현 가능한 연구의 수를 줄이기 위해 연구자들은 재현 가능한 논문을 결정하는 데 도움이 될 수 있는 AI 모델을 설계했다.

Fortune에 따르면, Kellog 경영 대학과 Northwestern 대학의 복잡계 연구소의 연구자 팀이 발표한 새로운 논문은 재현 가능한 연구와 비재현 가능한 연구를 구별할 수 있는 深層 학습 모델을 제시한다. AI 시스템이 재현 가능한 연구와 비재현 가능한 연구를 신뢰성 있게 구별할 수 있다면, 대학, 연구소, 회사 및 기타 기관이 수천 개의 연구 논문을 필터링하여 가장 유용하고 신뢰할 수 있는 논문을 결정하는 데 도움이 될 수 있다.

Northwestern 팀이 개발한 AI 시스템은 연구의 유효성을 확인하는 데 일반적으로 사용되는 경험적/통계적 증거를 사용하지 않는다. 모델은 실제로 자연어 처리 기술을 사용하여 논문의 신뢰성을量化하려고 한다. 시스템은 논문 저자의 언어에서 패턴을 추출하고 일부 단어 패턴이 다른 패턴보다 더 높은 신뢰성을 나타낸다는 것을 발견했다.

연구 팀은 1960년대부터 심리학 연구를 통해 사람들이 자신의 아이디어에 대한 자신감 수준을 표현하는 방식으로 언어를 사용한다는 것을 알게 되었다. 이 아이디어를 발전시켜, 연구자들은 논문을 작성할 때 저자가 자신의 연구 결과에 대한 자신감을 무의식적으로 신호할 수 있다고 생각했다. 연구자들은 두 번의 훈련을 수행했으며, 다른 데이터 세트를 사용했다. 처음에는 모델이 약 200만 개의 과학 논문 초록에서 훈련되었으며, 두 번째에는 재현 가능성 프로젝트: 심리학에서 가져온 전체 논문에서 훈련되었다.

테스트 후, 연구자들은 모델을 심리학, 경제학 등 다양한 분야의 수백 개의 논문에 적용했다. 연구자들은 모델이 통계적 기법보다 논문의 재현 가능성을 더 신뢰성 있게 예측할 수 있었다.

연구자이자 Kellog 경영 대학 교수인 Brian Uzzi는 Fortune에 말하길, 그는 AI 모델이 언젠가 연구자들이 결과를 재현할 가능성을 확인하는 데 도움이 될 수 있기를 희망하지만, 연구 팀은 모델이 어떤 패턴과 세부 사항을 학습했는지 불확실하다고 말했다. 기계 학습 모델이 종종 블랙 박스라는 사실은 인공 지능 연구에서 일반적인 문제이지만, 이 사실은 다른 과학자가 모델을 사용하는 것을 주저하게 할 수 있다.

Uzzi는 연구 팀이 모델을 코로나19 위기를 해결하는 데 사용하길 희망한다고 말했다. 과학자들이 바이러스에 대한 연구 결과를 더 신속하게 이해하고, 어느 연구 결과가 유망한지 결정하는 데 도움이 될 수 있다. Uzzi는 Fortune에 말하길:

“우리는 이 문제에 적용하기 시작하고 싶다. 현재 많은 것들이 느슨해지고, 우리는 이전 연구의 강력한基础 위에 세워야 한다. 어떤 이전 연구가 재현될 수 있는지, 재현되지 않는지 불분명하다. 우리는 재현에 시간이 없다.”

Uzzi와 다른 연구자들은 추가적인 자연어 처리 기술을 사용하여 모델을 개선하길 희망한다. 그들은 기업의 실적에 대한 통화 기록을 분석하는 데 사용되는 기술을 포함하여 여러 기술을 개발했다. 연구 팀은 이미 약 3만 개의 통화 기록을 수집하여 분석할 계획이다. 팀이 성공적인 모델을 개발할 수 있다면, 분석가와 투자자가 도구를 사용하도록 설득할 수 있을 것이며, 이는 모델과 그 기술을 사용하는 다른 혁신적인 방법으로 이어질 수 있다.