연구자들은 데이터셋 편향을 극복하기 위해 신경과학자를 찾고 있다

MIT, 하버드 대학, 후지쯔(Fujitsu) 연구팀은 기계 학습 모델이 데이터셋 편향을 극복할 수 있는 방법을 찾기 위해 노력했다. 그들은 인공 신경망이 이전에 본 적 없는 객체를 인식할 수 있는지 여부에 영향을 미치는 훈련 데이터의 영향을 연구하기 위해 신경과학적 접근 방식을 사용했다.

이 연구는 Nature Machine Intelligence에 발표되었다.

훈련 데이터의 다양성

연구 결과는 훈련 데이터의 다양성이 신경망이 편향을 극복할 수 있는지 여부에 영향을 미친다는 것을 보여주었다. 그러나 데이터 다양성은 또한 네트워크의 성능에 부정적인 영향을 미칠 수 있다. 연구자들은 또한 신경망을 훈련하는 방법이 편향된 데이터셋을 극복할 수 있는지 여부에 영향을 미칠 수 있다고 밝혔다.

자비에르 보익스(Xavier Boix)는 뇌과학 및 인지과학부(Brain and Cognitive Sciences) 및 뇌, 마음, 기계 센터(Center for Brains, Minds, and Machines)의 연구 과학자이다. 그는 또한 이 논문의 선임 저자이다.

“신경망은 데이터셋 편향을 극복할 수 있다. 그러나 주요 결론은 데이터 다양성을 고려해야 한다는 것이다. 우리는 단순히 많은 원시 데이터를 수집하면 그게 우리에게 도움이 될 것이라고 생각하는 것을停止해야 한다. 우리는 데이터셋을 설계할 때 매우 주의해야 한다”고 보익스는 말했다.

연구팀은 새로운 접근 방식을 개발하기 위해 신경과학자의 마음을 열었다. 보익스에 따르면, 실험에서 제어된 데이터셋을 사용하는 것이 일반적이므로 연구팀은 다양한 객체의 이미지로 구성된 데이터셋을 구축했다. 그런 다음 조합을 제어하여 일부 데이터셋은 다른 데이터셋보다 더 다양했다. 하나의 관점에서만 객체를 보여주는 이미지로 구성된 데이터셋은 다양성이 낮은 반면, 여러 관점에서 객체를 보여주는 이미지로 구성된 데이터셋은 다양성이 더 높다.

연구자들은 이러한 데이터셋을 사용하여 이미지 분류를 위한 신경망을 훈련시켰다. 그런 다음 훈련 중에 보지 못한 관점에서 객체를 식별하는 데 얼마나 좋은지 연구했다.

그들은 더 다양한 데이터셋이 네트워크가 새로운 이미지 또는 관점을 일반화하는 데 더 잘 도움이 된다는 것을 발견했다. 이는 편향을 극복하는 데 중요하다.

“그러나 데이터 다양성이 항상 더 좋다는 것은 아니다. 여기에는 긴장関係이 있다. 신경망이 새로운 것을 인식하는 데 더 잘 동작하면, 이미 본 것을 인식하는 데 더 어려워질 것이다”고 보익스는 말했다.

신경망 훈련 방법

연구팀은 또한 각 작업에 대해 별도로 훈련된 모델이 함께 훈련된 모델보다 편향을 극복하는 데 더 잘 동작한다는 것을 발견했다.

“결과는 정말 놀라웠다. 실제로 우리는 이 실험을 처음했을 때 버그라고 생각했다. 그것이 실제 결과라는 것을 깨달을 때까지 수주가 걸렸다”고 보익스는 계속했다.

보다 깊은 분석은 이 과정에서 뉴런 전문성이 관여한다는 것을 보여주었다. 신경망이 이미지에서 객체를 인식하도록 훈련될 때 두 가지 유형의 뉴런이 나타난다. 하나의 뉴런은 객체 카테고리를 인식하는 데 전문화되고, 다른 하나는 관점을 인식하는 데 전문화된다.

전문가 뉴런은 네트워크가 별도로 작업을 수행하도록 훈련될 때 더 두드러진다. 그러나 네트워크가 동시에 두 가지 작업을 수행하도록 훈련될 때 일부 뉴런은 희석된다. 즉, 하나의 작업에 전문화되지 않으며 혼동될 가능성이 더 높다.

“그러나 다음 질문은, 이러한 뉴런이 어떻게 나타났는가이다. 신경망을 훈련시키고, 그들은 학습 과정에서 나타난다. 네트워크에 이러한 유형의 뉴런을 포함하도록 지시한 사람은 아무도 없다. 그것이 가장 흥미로운 것이다”고 보익스는 말했다.

연구자들은 이 질문을 해결하기 위해 향후 연구를 수행할 예정이며, 새로운 접근 방식을 더 복잡한 작업에 적용할 계획이다.