앤드류 응이 기계 학습의 과적합 문화를 비판하다

앤드류 응, 지난 10년 동안 기계 학습 분야에서 가장 영향력 있는 목소리 중 하나는 현재 기계 학습 분야가 모델 아키텍처의 혁신보다 데이터에 더 중점을 두고 있으며, 특히 ‘과적합’ 결과를 일반화된 솔루션 또는 발전으로 묘사하는 것을 허용하는 정도에 대해 우려를 표명하고 있다.

이것은 기계 학습 문화에 대한 포괄적인 비판으로, 이 분야의最高 권위자之一에서 나온 것으로, 기계 학습 분야의 불안정한 장기 비즈니스 투자로 특징지어지는 분야에서 신뢰에 대한 영향을 미친다. 이는 60년 동안 세 번의 비즈니스 신뢰도 붕괴의 우려로 특징지어지는 분야에서 발생한다.

응은 스탠퍼드 대학교 교수이기도 하며, deeplearning.ai의 공동 설립자이기도 하다. 그는 3월에 deeplearning.ai의 사이트에 글을 올렸는데, 이는 최근 그의 연설을 두 가지 핵심 추천 사항으로 요약한 것이다:

첫째, 연구 커뮤니티는 데이터 정리가 기계 학습의 80%의 도전이라고 불평하는 것을停止하고, 강력한 MLOps 방법론과 관행을 개발하는 일을 시작해야 한다.

둘째, 연구 커뮤니티는 데이터를 기계 학습 모델에 과적합시키는 ‘쉬운 승리’에서 벗어나야 한다.这样하면 모델은 특정 데이터셋에서 잘 작동하지만, 일반화하거나 널리 배포할 수 있는 모델을 생성하지 못한다.

데이터 아키텍처 및 큐레이션의 도전을 수용하기

응은 “제 생각에는 데이터 준비가 우리의 80%의 일이면, 데이터 품질을 보장하는 것이 기계 학습 팀의 중요한 일이 된다”고 썼다.

그는 계속해서 말했다:

‘엔지니어가 데이터셋을 개선하는 최好的 방법을 우연히 발견하는 것을 기대하는 대신, AI 시스템을 구축하는 것을 더 반복 가능하고 체계적으로 만드는 MLOps 도구를 개발할 수 있기를 희망한다.

‘MLOps는 초기 단계의 분야이며, 사람들은 다르게 정의한다. 하지만 나는 MLOps 팀과 도구의 가장 중요한 조직 원칙은 프로젝트의 모든 단계에서 데이터의 일관성과 높은 품질의 흐름을 보장하는 것이라고 생각한다. 이것은 많은 프로젝트가 더 원활하게 진행될 수 있도록 도와줄 것이다.’

4월 말에 줌을 통해 생중계된 Q&A 세션에서, 응은 방사선학을 위한 기계 학습 분석 시스템의 적용 부족에 대해 말했다:

“결과적으로, 스탠퍼드 병원에서 데이터를 수집한 다음, 같은 병원에서 훈련하고 테스트하면, 알고리즘이 특정 조건을 감지하는 데 인간 방사선과의 비교할 수 있는 연구를 발표할 수 있다.

“…[하지만] 같은 모델, 같은 AI 시스템을 다른 병원으로 가져가면, 다른 기계와 다른 이미징 프로토콜을 사용하는 기술자가 있다면, 데이터가漂移하여 AI 시스템의 성능이 크게 저하된다. 반면, 인간 방사선사는 다른 병원으로 가서도 잘 작동한다.”

과적합의 해결책은 아니다

과적합은 기계 학습 모델이 특정 데이터셋의 특이성에 맞게 설계될 때 발생한다. 이것은 특정 데이터셋에서 좋은 결과를 생산하는 가중치를 지정하는 것을 포함할 수 있다. 그러나 이러한 매개변수는 데이터셋의 특이성에 따라 정의될 수 있다. 예를 들어, 수집된 정보의 특정 해상도 또는 다른 특이성에 따라 정의될 수 있다.

이러한 매개변수는 실제로 데이터셋의 ‘非데이터’ 측면에 따라 정의될 수 있다. 이러한 매개변수는 이후 데이터셋에서 재발하지 않을 수 있다.

과적합은 데이터 아키텍처 또는 모델 설계의 유연성을 무작위로 넓히는 것만으로는 해결할 수 없는 문제이다. 실제로 필요한 것은 다양한 데이터 환경에서 잘 작동하는 널리 적용 가능한 특성이다. 이것은 더 어려운 도전이다.

일반적으로 이러한 종류의 ‘과적합’은 Ng가 최근에 설명한 문제와 같은 문제를 일으킨다. 여기서 기계 학습 모델은 보지 못한 데이터에서 실패한다. 그러나 모델이 실패하는 이유는 데이터 또는 데이터 형식이 원래 훈련 세트와 다르기 때문이 아니라, 모델이 너무 유연하기 때문이다.

2020년 말에 발표된 논문 Underspecification Presents Challenges for Credibility in Modern Machine Learning은 이 관행에 대해 강한 비판을 제기했다. 이 논문에는 Google와 MIT를 포함한 여러 기관의 40명 이상의 기계 학습 연구자와 과학자가 참여했다.

이 논문은 ‘shortcut learning’을 비판하며, 과적합 모델이 모델 훈련을 시작하는 임의의 시드 포인트에 따라 무작위한 방향으로 진행할 수 있음을 관찰한다. 기고자는 다음과 같이 말한다:

‘우리는 실제 기계 학습 파이프라인에서 과적합이 普遍적임을 보았다. 실제로, 과적합으로 인해 중요한 결정의 상당한 측면이 매개변수 초기화에 사용되는 임의의 시드와 같은 임의의 선택에 의해 결정된다.’

문화의 변화를 경제적으로 분석하기

응은 학술적 자격을 갖추고 있지만, 공중학자와는 거리가 멀다. 그는 구글 브레인과 Coursera의 공동 설립자이며, 바이두의 빅데이터와 AI의 전 최고 과학자이기도 하다. 또한, 랜딩 AI의 설립자이기도 하며, 이 회사는 새로운 스타트업에 1억 7,500만 달러를 관리한다.

그는 “모든 AI, 의료 분야가 아닌 모든 분야에서 개념 증명에서 생산까지의 격차가 있다”고 말했다. 이것은 불확실한 장기 비즈니스 투자로 특징지어지는 분야에서 경고의 메시지로 의도되었다. 이 분야는 정의와 범위의 문제로 고통을 겪고 있다.

그러나 특정 환경에서 잘 작동하지만 다른 환경에서 실패하는 독점적인 기계 학습 시스템은 산업 투자에 대한 보상을 나타낼 수 있다. ‘과적합 문제’를 직업적 위험으로 묘사하는 것은 개방형 연구에 대한 기업 투자를 монет화하는 방법을 제공하며, 복제가 가능하지만 문제가 있는 독점적 시스템을 생성할 수 있다.

이 접근법이 장기적으로 효과가 있는지 여부는 기계 학습의 실제 혁신이 계속해서 더 큰 투자를 요구하는지 여부와, 모든 생산적인 이니셔티브가 FAANG로 이전하는지 여부, 그리고 호스팅 및 운영에 필요한 막대한 자원에 따라 결정된다.

oach would work in the long term depends on the extent to which real breakthroughs in machine learning continue to require ever-greater levels of investment, and whether or not all productive initiatives will inevitably migrate to FAANG to some extent, due to the colossal resources necessary for hosting and operations.