์ค๋ฆฌ
์ฐ๊ตฌ์๋ค์ ๋ฐ์ดํฐ์ ํธํฅ์ ๊ทน๋ณตํ๊ธฐ ์ํด ์ ๊ฒฝ๊ณผํ์๋ฅผ ์ฐพ๊ณ ์๋ค
MIT, 하버드 대학교, 후지츠(Fujitsu, Ltd.)의 연구팀은 기계 학습 모델이 데이터셋 편향을 극복할 수 있는 방법을 찾고 있다. 그들은 인공 신경망이 이전에 본 적 없는 객체를 인식하도록 학습할 수 있는지 여부에 영향을 미치는 교육 데이터를 연구하기 위해 신경과학적 접근 방식을 사용했다.
이 연구는 Nature Machine Intelligence에 발표되었다.
교육 데이터의 다양성
연구 결과는 교육 데이터의 다양성이 신경망이 편향을 극복할 수 있는지 여부에 영향을 미친다는 것을 보여주었다. 그러나 데이터 다양성은 네트워크의 성능에 부정적인 영향을 미칠 수도 있다. 연구자들은 또한 신경망을 훈련하는 방법이 편향된 데이터셋을 극복할 수 있는지 여부에 영향을 미칠 수 있다고 밝혔다.
Xavier Boix는 뇌 및 인지 과학 부문(BCS) 및 뇌, 마음, 기계 센터(CBMM)의 연구 과학자이다. 그는 또한 이 논문의 선임 저자이다.
“신경망은 데이터셋 편향을 극복할 수 있다. 이는 권장할 만하다. 그러나 여기서의 주요 결론은 데이터 다양성을 고려해야 한다는 것이다. 우리는 단순히 많은 원시 데이터를 수집하면 목적을 달성할 수 있다고 생각하는 것을 멈춰야 한다. 우리는 데이터셋을 설계할 때非常 주의해야 한다”고 Boix는 말했다.
팀은 새로운 접근 방식을 개발하기 위해 신경과학자의 마음을 수용했다. Boix에 따르면, 실험에서 제어된 데이터셋을 사용하는 것이 일반적이므로 팀은 다양한 객체의 이미지를 포함하는 데이터셋을 구축했다. 그런 다음 조합을 제어하여 일부 데이터셋은 다른 데이터셋보다 더 다양했다. 한 관점에서만 객체를 보여주는 이미지로 구성된 데이터셋은 덜 다양하며, 여러 관점에서 객체를 보여주는 이미지로 구성된 데이터셋은 더 다양하다.
연구자들은 이러한 데이터셋을 사용하여 이미지 분류를 위한 신경망을 훈련했다. 그런 다음 훈련 중에 네트워크가 본 적 없는 객체 또는 관점을 식별하는 데 얼마나 좋은지 연구했다.
그들은 더 다양한 데이터셋이 네트워크가 새로운 이미지 또는 관점을 일반화하는 데 더 잘 도움이 되며, 이는 편향을 극복하는 데 중요하다는 것을 발견했다.
“그러나 데이터 다양성이 항상 더 좋다는 것은 아니다. 여기에는 긴장이 있다. 신경망이 이전에 본 적 없는 새로운 것을 인식하는 데 더 잘하는 경우, 이미 본 것을 인식하는 데 더 어려워진다”고 Boix는 말했다.
신경망 훈련 방법
팀은 또한 각 작업을 별도로 훈련한 모델이 두 작업을 함께 훈련한 모델보다 편향을 극복하는 데 더 잘 도움이 된다는 것을 발견했다.
“결과는 정말 놀라웠다. 실제로, 우리는 이 실험을 처음으로 수행했을 때, 그것이 버그라고 생각했다. 그것이 실제 결과라는 것을 깨달을 때까지 몇 주가 걸렸다. 그것은 너무 예상치 못했기 때문이다”라고 Boix는 계속했다.
보다 깊은 분석은 이 과정에서 뉴런 전문성이 관여한다는 것을 보여주었다. 신경망이 이미지에서 객체를 인식하도록 훈련될 때, 두 가지 유형의 뉴런이 나타난다. 하나의 뉴런은 객체 범주를 인식하는 데 전문적이고, 다른 하나는 관점을 인식하는 데 전문적이다.
전문 뉴런은 네트워크가 별도로 작업을 수행하도록 훈련될 때 더 두드러진다. 그러나 네트워크가 두 작업을 동시에 수행하도록 훈련될 때, 일부 뉴런은 희석된다. 즉, 하나의 작업에 전문적이지 않으며, 혼동될 가능성이 더 크다.
“그러나 다음 질문은, 이러한 뉴런이 어떻게 그곳에 있는가이다. 신경망을 훈련시키고, 학습 과정에서 나타난다.誰도 네트워크의 아키텍처에 이러한 유형의 뉴런을 포함하도록 지시하지 않았다. 그것이 매혹적인 것이다”라고 Boix는 말했다.
연구자들은 향후 연구에서 이 질문을 탐구하고, 새로운 접근 방식을 더 복잡한 작업에 적용할 예정이다.
