์ธ๊ณต์ง๋ฅ
AI๋ ์ฐ๊ตฌ์๋ค์ด ์ด๋ค ๋ ผ๋ฌธ์ด ์ฌํ๋ ์ ์๋์ง ๊ฒฐ์ ํ๋ ๋ฐ ๋์์ด ๋ ์ ์์ผ๋ฉฐ, ์ฌํ ์๊ธฐ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ๋ ธ๋ ฅํ๊ณ ์๋ค.
최근 몇 년 동안 학자들과 연구자들은 복제/재현 위기라고 불리는 문제에 점점 더 많은 관심을 기울이고 있다. 많은 연구는 연구의 복제를 시도할 때 동일한 유의미한 결과를 내지 못하며, 그 결과 과학계는 연구 결과가 종종 과장된다는 것을 우려한다. 이 문제는 심리학과 인공 지능과 같은 다양한 분야에 영향을 미친다. 인공 지능 분야에서는 많은 비 同行평가 논문이 다른 연구자들이 재현할 수 없는 인상적인 결과를 주장하며 출판된다. 문제를 해결하고 재현할 수 없는 연구의 수를 줄이기 위해 연구자들은 어떤 논문이 재현될 수 있는지 결정하기 위한 인공 지능 모델을 설계했다.
Fortune에 따르면, Northwestern University의 Kellog School of Management와 Institute of Complex Systems의 연구 팀이 발표한 새로운 논문은 재현할 수 있는 연구와 재현할 수 없는 연구를 потен적으로 결정할 수 있는 深層 학습 모델을 제시한다. 인공 지능 시스템이 재현할 수 있는 연구와 재현할 수 없는 연구를 신뢰성 있게 구분할 수 있다면, 대학, 연구소, 회사 및 기타 기관이 수천 개의 연구 논문을 필터링하여 가장 유용하고 신뢰할 수 있는 논문을 결정하는 데 도움이 될 수 있다.
Northwestern 팀이 개발한 인공 지능 시스템은 연구의 유효성을 확인하기 위해 연구자들이 일반적으로 사용하는 경험적/통계적 증거의 유형을 사용하지 않는다. 모델은 실제로 자연어 처리 기술을 사용하여 논문의 신뢰성을量化하려고 한다. 시스템은 논문의 저자가 사용한 언어에서 패턴을 추출하며, 일부 단어 패턴이 다른 패턴보다 더 큰 신뢰성을 나타낸다.
연구 팀은 1960년대부터 심리학 연구를 이용했으며, 사람들이 종종 자신의 아이디어에 대한 자신감 수준을 사용하는 단어를 통해 전달한다는 것을 발견했다. 이 아이디어를 사용하여 연구자들은 논문을 작성할 때 자신들의 연구 결과에 대한 자신감을 무의식적으로 신호할 수 있다고 생각했다. 연구자들은 두 번의 훈련을 실시했으며, 다른 데이터 세트를 사용했다. 처음에는 모델이 약 200만 개의 과학 논문 초록으로 훈련되었으며, 두 번째에는 재현 가능성 프로젝트: 심리학에서 가져온 전체 논문으로 훈련되었다.
테스트 후에 연구자들은 심리학 및 경제학과 같은 다양한 분야에서 수백 개의 다른 논문에 모델을 적용했다. 연구자들은 모델이 일반적으로 사용되는 통계적 기술보다 논문의 재현 가능성에 대한 더 신뢰할 수 있는 예측을 제공한다는 것을 발견했다.
Kellog School of Management의 연구자이자 교수인 Brian Uzzi는 Fortune에 말하길, 그는 인공 지능 모델이 언젠가 연구자들이 결과가 재현될 가능성을 확인하는 데 도움이 될 수 있기를 희망하지만, 연구 팀은 모델이 어떤 패턴과 세부 사항을 학습했는지 불확실하다고 말했다. 기계 학습 모델이 종종 블랙 박스라는 사실은 인공 지능 연구에서 일반적인 문제이지만, 이는 다른 과학자가 모델을 사용하는 것을 주저하게 할 수 있다.
Uzzi는 연구 팀이 모델을 코로나19 위기와 같은 문제에 적용하여 과학자들이 바이러스를 더 빠르게 이해하고 어떤 연구 결과가 유망한지 결정하는 데 도움이 되기를 희망한다고 말했다. Uzzi는 Fortune에 말했다.:
“우리는 COVID 문제와 같은 문제에 이를 적용하기 시작하고 싶습니다. 현재 많은 것이 느슨해지고 있으며, 우리는 이전 연구의 강력한 기초 위에 구축해야 합니다. 어떤 이전 연구가 재현될지 재현되지 않을지 불분명하며, 우리는 재현에 시간이 없습니다.”
Uzzi와 다른 연구자들은 모델을 개선하기 위해 추가적인 자연어 처리 기술을 사용하려고 한다. 이는 팀이 기업의 실적에 대한 전화 통화 기록을 분석하기 위해 개발한 기술을 포함한다. 연구 팀은 이미 약 30,000개의 전화 통화 기록을 분석하여 단서를 찾기 위해 데이터베이스를 구축했다. 팀이 성공적인 모델을 구축할 수 있다면, 분석가와 투자자들이 도구를 사용하도록 설득할 수 있을 것이며, 이는 모델과 그 기술을 위한 다른 혁신적인 사용으로 이어질 수 있다.
