구글의 새로운 뉴럴 탱전트 라이브러리, 데이터 과학자에게 “전례 없는” 모델 인사이트 제공

구글은 기계 학습의 블랙 박스를 열어 給 데이터 과학자에게 기계 학습 시스템이 작동하는 방식에 대한 더 많은 통찰력을 제공하기 위해 새로운 오픈 소스 라이브러리를 설계했습니다. VentureBeat에 따르면, 구글 연구 팀은 이 라이브러리가 기계 학습 모델이 작동하는 방식에 대한 “전례 없는” 통찰력을 제공할 수 있다고 말합니다.

신경망은 다양한 방식으로 데이터를 변환하는 수학적 함수를 포함하는 뉴런으로 작동합니다. 네트워크의 뉴런은 레이어로 연결되어 있으며, 신경망에는 깊이와 너비가 있습니다. 신경망의 깊이는 레이어의 수로 제어되며, 네트워크의 다른 레이어는 뉴런 간의 연결을 조정하여 데이터가 레이어 간에 이동하는 방식에 영향을 미칩니다. 레이어의 뉴런 수는 레이어의 너비입니다. 구글 연구 엔지니어 Roman Novak와 구글의 선임 연구 과학자 Samuel S. Schoenholz에 따르면, 모델의 너비는 규칙적이고 반복 가능한 행동과 밀접한 관련이 있습니다. 두 연구자는 블로그 게시글에서 뉴런 네트워크를 더 넓게 하면 행동이 더 규칙적이고 해석하기 쉬워진다고 설명했습니다.

가우시안 프로세스라고 하는 다른 유형의 기계 학습 모델이 있습니다. 가우시안 프로세스는 다변량 정규 분포로 나타낼 수 있는 확률적 프로세스입니다. 가우시안 프로세스에서는 모든 변수 집합/유한 선형 결합이 정규 분포를 따릅니다. 이는 매우 복잡한 변수 간 상호 작용을 해석 가능한 선형 대수 방정식으로 나타낼 수 있으며, 따라서 이 렌즈를 통해 AI의 행동을 연구할 수 있습니다. 기계 학습 모델과 가우시안 프로세스의 관계는 무엇일까요? 무한히 넓은 기계 학습 모델은 가우시안 프로세스에 수렴합니다.

그러나 기계 학습 모델을 가우시안 프로세스의 렌즈를 통해 해석하는 것은 모델의 무한 너비 한계를 도출하는 복잡한 계산을 요구합니다. 이러한 계산을 더 쉽고 빠르게 하기 위해 구글 연구 팀은 뉴럴 탱전트를 설계했습니다. 뉴럴 탱전트를 사용하면 데이터 과학자가 몇 줄의 코드로 여러 무한 너비 네트워크를 동시에 학습할 수 있습니다. 여러 신경망은 종종 동일한 데이터셋에서 학습되고 예측이 평균화되어 개별 모델에서 발생할 수 있는 문제에 대한 더 강력한 예측을 제공합니다. 이러한 기술을 앙상블 학습이라고 합니다. 앙상블 학습의 단점 중 하나는 종종 계산적으로 비용이 많이 든다는 것입니다. 그러나 무한히 넓은 네트워크를 학습하면 앙상블은 가우시안 프로세스로 설명되고 분산과 평균을 계산할 수 있습니다.

세 가지 다른 무한 너비 신경망 아키텍처가 비교되었으며, 비교 결과는 블로그 게시글에 발표되었습니다. 일반적으로 가우시안 프로세스에 의해 구동되는 앙상블 네트워크의 성능은 정상적인 유한 신경망 성능과 유사합니다.

연구 팀은 블로그 게시글에서 다음과 같이 설명합니다.

“유한 신경망과 마찬가지로 무한 너비 네트워크는 완전 연결 네트워크가畳み込み 네트워크보다 성능이 나쁘고,畳み込み 네트워크는 너비가 큰 잔차 네트워크보다 성능이 나쁨을 보입니다. 그러나 정상적인 훈련과 달리, 이러한 모델의 학습 역학은 폐쇄형 형태로 완전히 추적 가능하며, 이는 새로운 통찰력을 제공합니다.”

뉴럴 탱전트의 출시가 텐서플로우 데브 서밋과 함께하는 것으로 보입니다. 데브 서밋에서는 구글의 텐서플로우 플랫폼을 사용하는 기계 학습 엔지니어가 모여서 만납니다. 뉴럴 탱전트 발표는 텐서플로우 퀀텀이 발표된 직후에 이루어졌습니다.

뉴럴 탱전트는 깃허브에서 제공되며, 관심 있는 사람들은 구글 Colaboratory 노트북과 튜토리얼에 접근할 수 있습니다.