실시간 AI는 라이브 기악을 위한 라인을 생성할 수 있습니다.

워털루 대학교 자연어 처리 연구소의 연구원들은 라이브 악기 음악의 대사를 생성할 수 있는 실시간 인공 지능(AI) 시스템을 개발했습니다. 새로운 시스템은 LyricJam이라고 불리며, 2021년 1,500월에 출시되었으며 이후 XNUMX명 이상의 사용자가 테스트했습니다.

팀은 그들의 연구 XNUMX월 전산 창의성에 관한 국제 회의에서. 

이 연구실은 대학에서 컴퓨터 과학과 교차 임명된 엔지니어링 교수인 Olga Vechtomova가 이끌고 있습니다. Vechtomova는 수년 동안 AI 애플리케이션을 개발해 왔으며, 연구소의 작업은 초기에 아티스트의 스타일로 가사를 생성하기 전에 아티스트의 음악적 표현을 학습하는 시스템을 만드는 것으로 이어졌습니다.

Vechtomova와 Waterloo 대학원생인 Gaurav Sahu와 Dhruv Kumas도 코드 진행, 템포, 악기 편성과 같은 다양한 음악적 구성 요소를 활용하는 기술을 개발했습니다. 이 기술은 가사를 합성할 수 있어 라이브 음악이 표현하는 분위기와 감정을 반영합니다. 

신경망

시스템은 음악가나 밴드가 기악을 연주할 때 원시 오디오 클립을 지속적으로 수신합니다. 그 후 신경망은 아티스트가 노래 가사를 개발하는 데 사용할 수 있는 새 가사를 생성하기 전에 데이터를 처리합니다.

Vechtomova는 “시스템의 목적은 아티스트를 위해 곡을 쓰는 것이 아닙니다. “대신 아티스트가 자신의 창의성을 실현할 수 있도록 돕고 싶습니다. 이 시스템은 새로운 은유와 표현으로 시적인 대사를 생성하여 잠재적으로 아티스트를 이전에 탐색하지 않은 창의적인 방향으로 안내합니다.”

새로 개발된 신경망은 음악의 다양한 측면과 관련된 서정적 주제와 단어를 학습할 수 있으며 가장 인상적인 것은 각 단일 오디오 클립에서 이를 수행한다는 것입니다. 

팀은 음악가가 시스템을 사용하는 동안 라이브 음악을 연주하는 사용자 연구를 수행했습니다.

Vechtomova는 "한 가지 예상치 못한 발견은 참가자들이 생성된 대사에 의해 즉석에서 격려를 받았다는 것입니다."라고 말했습니다. “예를 들어, 이 라인은 아티스트에게 영감을 주어 코드를 약간 다르게 구성하고 즉흥 연주를 원래 의도했던 것과는 다른 새로운 방향으로 가져갔습니다. 일부 뮤지션은 즉흥 연주에 원하는 감정적 효과가 있는지 확인하기 위해 대사를 사용하기도 했습니다.”

AI와의 파트너십

이 연구의 또 다른 주요 측면 중 하나는 인간과 AI 간의 협업 및 공동 창조성을 시연하는 것이었습니다. 참가자들에 따르면, 시스템은 음악적 파트너 역할을 했고, 음악가들이 자유롭게 연주할 수 있게 해주는 비판적이지 않은 파트너였습니다. 가사 작업을 하지 않아도 악기를 연주할 수 있다는 격려를 받았다고 한다.

새로운 LyricJam 시스템은 인공 지능이 어떻게 우리의 창의적 사고에 영향을 미치고 있는지를 보여주는 최신 사례입니다. 우리는 항상 인간과 AI의 연결에 대해 이야기하지만 종종 건강과 같은 영역에 관한 것입니다. 이와 같은 새로운 발전을 통해 우리는 창의적인 방식으로 이러한 기계와 연결되는 데 점점 더 가까워지고 있습니다.

LyricJam 시스템을 찾을 수 있습니다. 여기에서 지금 확인해 보세요..