실시간 AI가 라이브 инструмент 음악에 대한 가사를 생성할 수 있다

워터루 대학교의 자연어 처리 연구소의 연구자들은 실시간으로 라이브 инструмент 음악에 대한 가사를 생성할 수 있는 인공지능(AI) 시스템을 개발했다. 새로운 시스템은 LyricJam이라고 불리며, 2021년 6월에 출시되어 그 이후로 1,500명 이상의 사용자가 테스트했다.

연구팀은 9월에 열리는 국제 창의성 회의에서 연구 결과를 발표할 예정이다.

연구소는 올가 베크토모바(Olga Vechtomova) 교수가 이끌고 있으며, 그녀는 컴퓨터 과학 분야에서도 교직에 있다. 베크토모바는 수년 동안 AI 애플리케이션을 개발해 왔으며, 연구소의 초기 연구는 음악가들의 음악적 표현을 학습하여 그들의 스타일로 가사를 생성하는 시스템을 개발하는 데 집중했다.

베크토모바와 워터루 대학교의 졸업생인 가우라브 사후(Gaurav Sahu)와 드루브 쿠마스(Dhruv Kumas)는 또한 코드 진행, 템포, 악기와 같은 다양한 음악 구성 요소를 활용하는 기술을 개발했다. 이 기술은 라이브 음악의 분위기와 감정을 반영하는 가사를 생성할 수 있다.

신경망

시스템은 음악가 또는 밴드가 연주하는 동안 연속적으로 원시 오디오 클립을 수신한다. 이후 신경망은 데이터를 처리하여 새로운 가사를 생성하며, 음악가들은 이를 사용하여 자신의 노래 가사를 개발할 수 있다.

“시스템의 목적은 음악가에게 노래를 작성하는 것이 아니다”라고 베크토모바는 말했다. “우리는 음악가들의 창의력을 실현하는 것을 도와주고 싶다. 시스템은 새로운 은유와 표현을 가진 시적인 줄을 생성하며, 음악가들이 이전에 탐索하지 않은 창의적인 방향으로 나아갈 수 있다.”

신규 개발된 신경망은 음악의 다양한 측면과 관련된 가사 주제와 단어를 학습할 수 있으며, 가장 인상적인 것은 각 오디오 클립에서 이를 수행한다는 것이다.

연구팀은 음악가들이 라이브 음악을 연주하는 동안 시스템을 사용하는 사용자 연구를 수행했다.

“예상치 못한 발견은 참가자들이 생성된 줄에 의해 즉흥적으로 연주하도록 격려받았다는 것이다”라고 베크토모바는 말했다. “예를 들어, 줄은 음악가들이 코드를 조금 다르게 구조화하고 원래 의도하지 않은 방향으로 즉흥적으로 연주하도록 영감을 주었다. 일부 음악가들은 또한 줄을 사용하여 즉흥적인 연주가 원하는 감정을 전달하는지 확인했다.”

AI와의 협력

이 연구의 또 다른 주요 측면은 인간과 AI 사이의 협력과 공창의성을 보여주는 것이었다. 참가자들은 시스템이 비판하지 않는 음악 파트너로 작용했으며, 이는 음악가들이 자유롭게 연주할 수 있도록 했다. 또한 음악가들은 가사를 작업하지 않더라도 악기를 연주하도록 격려받았다.

새로운 LyricJam 시스템은 인공지능이 우리의 창의적인 마음속으로 들어오는 최신 예이다. 우리는 인간과 AI의 연결에 대해 항상 이야기하지만, 이는 종종 건강과 같은 분야에서이다. 이러한 새로운 발전으로 우리는 이러한 기계와 창의적인 방식으로 연결되는 데 더 가까워지고 있다.

LyricJam 시스템은 여기에서 찾을 수 있다.