연구진, 피아노 연주하는 ‘오디오’ AI 개발

워싱턴 대학교 연구진은 무음 피아노 연주에서 오디오를 생성할 수 있는 인공지능 시스템인 오디오(Audeo)를 개발했다. 테스트 단계에서는 사운드하운드(SoundHound)와 같은 음악 인식 앱이 오디오에서 음악을 올바르게 식별할 수 있는 비율이 약 86%였다.

이 연구는 2020년 12월 8일 NeurlPS 컨퍼런스에서 발표되었다.

수석 저자 엘리 슬라이저만(Eli Shlizerman)은 대학의 응용 수학 및 전기 컴퓨터 공학부 조교수이다.

“음악을 실제 연주처럼 들리게 하는 것은 이전에 불가능한 것으로 여겨졌습니다.” 슬라이저만은 말했다. “알고리즘은 비디오 프레임에서 음악 생성과 관련된 신호나 ‘특징’을 찾아야 하며, 비디오 프레임 사이에서 발생하는 소리를 상상해야 합니다. 정밀하고 상상력이 풍부한 시스템이 필요합니다. 우리가 꽤 좋은 음악을 만들어냈던 것은 놀라운 일이었습니다.”

오디오의 작동 원리

오디오 시스템은 비디오를 해독하고 음악으로 변환한다. 여러 단계 중 첫 번째는 각 비디오 프레임에서 누른 키를 감지하여 도면을 개발하는 것이다. 그런 다음 도면을 음악 합성기가 소리를 인식할 수 있도록 변환한다.

다음 단계는 데이터를 정리하고 추가 정보를 입력하는 것이다. 이 정보에는 각 키를 누르는 압력과 지속 시간이 포함될 수 있다.

“첫 번째 단계만으로 음악을 합성하려고 하면 음악의 품질이 불만족스러울 것”이라고 슬라이저만은 말했다. “두 번째 단계는 교사처럼 학생 작곡家的 음악을 보완하는 것과 같다.”

이 시스템은 피아니스트 폴 바튼(Paul Barton)의 유튜브 비디오와 함께 훈련되고 테스트되었으며, 음악가가 다양한 클래식 작곡가를 연주하는 약 17만 개의 비디오 프레임으로 구성되었다. 오디오는 1만 9천 개의 프레임으로 테스트되었다.

음악 합성기

훈련을 마친 후 오디오는 음악의 전사를 생성하고, 이를 합성기에 입력하여 소리를 생성한다. 음악은 각 합성기에 따라 다르게 들린다. 이는 일렉트릭 키보드의 악기 설정을 변경하는 것과 같다.

연구진은 두 개의 별도 합성기를 사용했다.

“Fluidsynth는 우리가 익숙한 합성 피아노 소리를 생성한다. 이것은有点 기계적인 소리가 나지만 정확하다”고 슬라이저만은 말했다. “또한 PerfNet이라는 새로운 인공지능 합성기를 사용했는데, 이것은 더 풍부하고 표현력이 뛰어난 음악을 생성한다. 그러나 더 많은 노이즈도 생성한다.”

“이 연구의 목표는 인공지능이 비디오 녹음에서 연주한 피아니스트의 음악을 생성할 수 있는지 확인하는 것이었다. 우리는 폴 바튼을 복제하려고 하지 않았다. 그는 매우 뛰어난 피아니스트이기 때문이다”라고 슬라이저만은 계속했다. “우리는 우리의 연구가 음악과 상호작용하는 새로운 방식을 가능하게 하기를 희망한다. 예를 들어, 오디오는 카메라로 사람의 손만 녹화하는 가상 피아노로 확장될 수 있다. 또한 실제 피아노 위에 카메라를 설치하면 오디오는 학생들이 연주하는 방법을 가르치는 새로운 방식으로 도움을 줄 수 있다.”

전기 컴퓨터 공학부의 박사 과정 학생인 콩 수(Kung Su)와 자이룽 리우(Ziulong Liu)가 이 논문의 공동 저자이다.