연구자들은 딥 러닝 신경망 내에서 매우 효율적인 하위 네트워크를 발견합니다.

딥 러닝 신경망은 종종 방대하고 엄청난 양의 컴퓨팅 성능이 필요하지만, 새로운 발견은 작업을 보다 효율적으로 완료하기 위해 이를 줄일 수 있는 방법을 보여줍니다. 조나단 프랭클(Jonathan Frankle)과 MIT의 그의 팀은 "복권 가설"을 내놓았는데, 이는 더 큰 신경망 내에 어떻게 더 희박한 하위 네트워크가 있는지를 보여줍니다. 이러한 하위 네트워크는 덜 필요한 컴퓨팅 성능으로 당면한 작업을 보다 효율적으로 완료할 수 있습니다. 가장 큰 과제 중 하나는 해당 하위 네트워크를 찾거나 팀에서 언급한 대로 복권에 당첨되는 것입니다.

팀은 자연어 처리(NLP)를 위한 최고의 기계 학습 기술인 BERT 내에서 이러한 하위 네트워크를 발견했습니다. 인공지능(AI)의 하위분야인 NLP는 인간의 언어를 해독하고 분석하는 역할을 담당하며, 예측 텍스트 생성, 챗봇 등의 응용 분야에 사용됩니다.

그러나 BERT는 크기가 크고 대부분의 사용자가 액세스할 수 없는 슈퍼 컴퓨팅 성능이 필요합니다. 이러한 하위 네트워크의 새로운 발견으로 해당 액세스를 열어 더 많은 사용자가 이 기술을 활용하여 NLP 도구를 개발할 수 있습니다.

Frankle은 "우리는 이러한 모델을 더 간결하고 효율적으로 만들어야 하는 시점에 도달했습니다."라고 말합니다.

그에 따르면 이 개발은 NLP의 "진입 장벽을 낮출" 수 있습니다.

BERT - "엄청나게 비싸다"  

BERT는 구글의 검색엔진과 같은 것들의 기본이고 구글이 2018년에 출시한 이후 많은 주목을 받아왔습니다. 신경망을 만드는 방법으로 글의 빈칸을 채우기 위해 여러 번 시도하면서 훈련됩니다. BERT의 가장 인상적인 기능 중 하나는 방대한 초기 교육 데이터 세트입니다.

그런 다음 고객 서비스 챗봇과 같은 특정 작업을 위해 사용자가 조정할 수 있지만 다시 한 번 엄청난 양의 처리 능력이 필요하며 매개 변수가 1억에 달할 가능성이 있습니다.

Frankle은 "요즘 표준 BERT 모델인 정원용 모델에는 340억 XNUMX천만 개의 매개변수가 있습니다."라고 말합니다. “이건 터무니없이 비쌉니다. 이것은 당신이나 나의 컴퓨팅 능력을 훨씬 뛰어넘는 것입니다.”

오스틴에 있는 텍사스 대학의 수석 저자인 Tianlong Chen에 따르면 BERT와 같은 모델은 "엄청난 네트워크 크기로 어려움을 겪고 있지만" 새로운 연구 덕분에 "복권 가설이 해결책이 된 것 같습니다."

효율적인 서브네트워크 

Chen과 팀은 BERT 내에 있는 더 작은 모델을 찾고 발견된 서브네트워크의 성능을 원래 BERT 모델과 비교했습니다. 이것은 질문에 답하고 문장의 빈 단어 채우기를 포함하여 다양한 NLP 작업에서 테스트되었습니다.

팀은 원래 BERT 모델보다 40~90% 더 얇은 성공적인 서브네트워크를 발견했으며 실제 비율은 작업에 따라 다릅니다. 또한 작업별 미세 조정 전에 이를 식별할 수 있어 컴퓨팅 비용을 더욱 절감할 수 있습니다. 또 다른 이점은 특정 작업을 위해 선택된 일부 하위 네트워크를 다른 용도로 변경할 수 있다는 것입니다.

프랭클은 “이게 효과가 있다는 사실에 약간 충격을 받았다”고 말했다. “당연히 여겼던 것이 아닙니다. 나는 우리가 얻은 것보다 훨씬 더 지저분한 결과를 기대하고 있었습니다.”

Facebook AI Research의 과학자인 Ari Morcos에 따르면 이 발견은 "설득력이 있다"며 "이러한 모델은 점점 더 널리 퍼지고 있습니다. 따라서 복권 가설이 유효한지 이해하는 것이 중요합니다.”

Morcos는 또한 이러한 하위 네트워크가 훨씬 적은 컴퓨팅 성능을 사용하여 실행될 수 있다면 "현재 이러한 초대형 모델을 실행하는 데 비용이 많이 든다는 점을 고려할 때 매우 영향력이 있을 것"이라고 말했습니다.

Frankle은 "이 슈퍼컴퓨터 스타일 계산을 사용하여 얼마나 더 큰 작업을 수행할 수 있는지 모르겠습니다."라고 덧붙입니다. “진입 장벽을 낮춰야 합니다.”

"희망은 이것이 비용을 낮추고 모든 사람이 더 쉽게 접근할 수 있도록 하는 것입니다. 노트북만 있는 작은 사람들에게 말입니다."라고 그는 결론을 내립니다.

이 연구는 신경 정보 처리 시스템에 관한 회의.