구글 연구진, AI 모델을 저해하는 과소사양 문제 발견

최근 구글의 연구진은 AI 모델의 실패 원인 중 하나로 과소사양을 지적하였다. 이는 기계 학습 모델이 실제 환경에서 다르게 수행하는 이유 중 하나이다.

기계 학습 모델은 실제 환경에서 수행할 때 실패하는 경우가 많다. 이는 데이터의 차이, 즉 모델을 개발하는 데 사용된 데이터와 실제 환경에서 사용되는 데이터의 차이 때문이다. 예를 들어, 고화질 이미지 데이터로 훈련된 컴퓨터 비전 모델은 저화질 카메라로 촬영된 데이터에서는 수행이 어려울 수 있다.

MIT Technology Review에 따르면, 구글의 40명 연구진은 기계 학습 모델의 성능이 실제 환경에서 크게 달라지는 또 다른 이유를 발견하였다. 이는 “과소사양”이라고 하는 통계적 개념으로, 관찰된 현상에 여러 가지 가능한 원인이 있지만 모델이 모두 설명하지 못하는 경우를 말한다. 연구진의 리더인 Alex D’Amour는 이 문제가 많은 기계 학습 모델에서 발생한다고 말했다.

기계 학습 모델을 훈련하는 일반적인 방법은 모델에大量의 데이터를 제공하여 패턴을 추출하고, 이후에 모델이 보지 못한 예제를 제공하여 예측하도록 하는 것이다. 모델이 일정 수준의 정확도를 달성하면 훈련이 완료된 것으로 간주한다.

구글 연구진은 모델이 실제 환경에서 일반화할 수 있도록 더 많은 노력이 필요하다고 주장한다. 기계 학습 모델을 훈련하는 전통적인 방법은 여러 가지 모델을 생성할 수 있지만, 이러한 모델은 모두 훈련 데이터에서 잘 수행하지만 실제 환경에서 다르게 수행할 수 있다. 모델의 노드에 할당된 랜덤 값이 다르거나, 훈련 데이터가 선택되거나 표현되는 방식이 다르기 때문이다. 이러한 차이들은 작고 무시할 수 있지만, 실제 환경에서 큰 차이를 유발할 수 있다.

과소사양은 모델이 실제 환경에서 잘 수행하지 못하는 이유 중 하나이다. 이는 모델이 실제 환경에서 실패할 수 있지만, 훈련 데이터에서 잘 수행하는 경우를 말한다.

연구진은 과소사양의 영향을 평가하기 위해 여러 가지 모델을 검증하였다. 모든 모델은 동일한 훈련 과정을 거쳤으며, 이후에 실제 환경에서 수행하는 차이를 평가하기 위해 여러 가지 테스트를 수행하였다. 한 예로, 50개의 이미지 인식 시스템을 동일한 훈련 데이터로 훈련하였다. 모델은 모두 동일하지만, 랜덤하게 할당된 신경망 값이 달랐다. 모델은 ImageNet-C와 ObjectNet을 사용하여 테스트하였다. ImageNet-C는 원래 이미지 데이터를 대조 및 밝기 조정하여 생성한 데이터이다. ObjectNet은 일상적인 물체를 비정상적인 방향 및 상황에서 촬영한 이미지이다. 모든 모델은 훈련 데이터에서 잘 수행했지만, 실제 환경에서 수행은 크게 달랐다.

연구진은 두 가지 자연어 처리 시스템과 여러 가지 컴퓨터 비전 모델에서도 유사한 결과를 얻었다. 모든 모델은 훈련 데이터에서 잘 수행했지만, 실제 환경에서 수행은 크게 달랐다.

Alex D’Amour는 기계 학습 연구자와 엔지니어가 모델을 실제 환경에서 테스트하기 전에 더 많은 스트레스 테스트를 수행해야 한다고 주장한다. 이는 실제 환경에서 모델이 수행하는 것을 평가하기 위해 실제 데이터를 사용하여 테스트를 수행해야 하기 때문이다. 과소사양 문제를 해결하는 한 가지 방법은 여러 가지 모델을 생성하고, 실제 환경에서 수행하는 모델을 선택하는 것이다. 이는 많은 시간과 자원을 필요로 하지만, 특히 의료 환경에서 모델의 안전성이 중요한 경우에 이는 가치 있는 노력일 수 있다. D’Amour는 MIT Technology Review를 통해 다음과 같이 설명하였다.

“우리는 모델의 요구 사항을 정확히 지정하는 데 더 나은 방법을 찾아야 한다. 종종 모델이 실제 환경에서 실패할 때까지 요구 사항을 알 수 없기 때문이다.”