구글, 실시간 음악 생성이 가능한 AI 음악 모델 공개

음악가가 컴퓨터 앞에 앉아 노트를 하나하나 작곡하는 것이 아니라, 라이브 공연에서 AI 협력자를 조종하는 모습을 상상해 보세요. 장르를 바꾸고, 악기를 혼합하고, 기존 음악 스타일 사이에 존재하는 사운드 영역을 탐험하는 것입니다. 구글의 마젠타 리얼타임(Magenta RealTime, RT)이 이러한 것을 가능하게 합니다. 마젠타 RT는 오픈소스 모델로, AI 음악 생성에 실시간 상호작용을 제공합니다.

마젠타 RT는 이전 모델과 다르게 완전한 트랙을 렌더링하기 위해 사용자가 기다릴 필요가 없습니다. 음악을 재생하는 속도보다 더 빠르게 음악을 생성하여,真正한 실시간 상호작용을 가능하게 합니다. 음악 산업은 이미 AI의 혼란스러운影響을 겪고 있지만, 이 기술은 새로운 창의적 표현 형태를 열어주면서 작곡, 공연, 인간 음악家的 미래에 대한 심오한 질문을 제기합니다.

마젠타 리얼타임 이해하기

마젠타 RT는 800만 파라미터의 자기회귀 트랜스포머 모델입니다. 하지만 실시간 생성에 대한 접근 방식이 다르다는 점이 특징입니다. 모델은 2초 간격으로 음악을 연속적으로 생성하며, 이전 10초의 오디오 출력과 동적으로 조정 가능한 스타일 임베딩에 조건을 설정합니다. 이 아키텍처는 음악가를 실시간으로 스타일 임베딩을 조작할 수 있게 해줍니다.
기술적인 성과는 과장할 수 없습니다. 무료 티어 구글 콜랩 TPU에서 마젠타 RT는 2초의 오디오를 1.25초만에 생성합니다. 이는 다음과 같은 혁신을 통해 가능합니다:

• 블록 자기회귀: 전체 트랙을 한 번에 생성하는 대신, 모델은 작은 조각으로 작업하여 빠르게 처리할 수 있습니다
• 스펙트로 스트림 코덱: 사운드 스트림의 후계자로, 48kHz 스테레오 오디오를 제공합니다
• 뮤직 코카 임베딩: 생성 과정을 의미적으로 제어할 수 있는 새로운 음악-텍스트 임베딩 모델입니다

이것이 특히 인상적인 것은 API 기반 솔루션 또는 배치 지향 생성 모델과 달리, 마젠타 RT는 스트리밍 합성을 지원하며, 앞으로의 실시간 요인이 1을 초과합니다. 이는 모델이 실제로 재생보다 앞서서 버퍼를 생성하여, 음악 흐름을 끊기지 않게 합니다.

수동 생성에서 능동적 공연으로

실시간 AI 음악 생성의 영향은 기술 사양을 넘어섭니다. 마젠타 팀은 “라이브 상호작용은 사용자에게 더 많은 것을 요구하지만, 더 많은 것을 제공할 수 있습니다. 인간과 모델 사이의 지속적인 인식-행동 루프는 창의적 흐름 상태에 접근할 수 있게 해주며, 경험을 최종 제품보다 과정의 즐거움에 집중시킵니다”라고 언급했습니다.

이러한 변화는 AI 생성 콘텐츠의 주요 비판을 해결합니다. 즉, 영혼 없는 대량 생산 음악으로 시장에 홍수할 수 있는 가능성입니다. 실시간 모델은 “자연스럽게 수동 콘텐츠의 홍수를 피합니다. 왜냐하면 그들은 내부적으로 1:1 비율로 듣기와 생성을 균형있게 유지하기 때문입니다”. 생성된 음악의 모든 순간은 인간의 주의와 의사결정을 필요로 합니다.

다음의 가능성을 고려해 보세요:

• 라이브 공연: DJ와 전자 음악가들은 라이브 세트에서 반응하는 악기로서 AI를 통합할 수 있습니다. 이는 음악가들의 창의성을 강화하는 AI 도구의 확장된 툴킷입니다
• 인터랙티브 설치: 아티스트들은 관객의 움직임이나 환경 요인에 반응하는 음악을 생성할 수 있는 환경을 만들 수 있습니다
• 교육 도구: 학생들은 즉각적이고 구체적인 피드백을 통해 음악 개념을 탐험할 수 있습니다
• 게임 사운드트랙: 플레이어의 행동에 따라 동적으로 반응하는 사운드트랙

혼란과 기회

음악 산업은 교차로에 서 있습니다. AI 생성 음악은 2024년까지 17.2%의 성장률을 보일 것으로 예상되며, 이는 2.9억 달러의 시장 규모를 나타냅니다. 그러나 이러한 성장은 음악가와 산업 전문가들의 우려를 동반합니다.

골드미디어의 연구에 따르면, 적절한 보상 시스템 없이 음악가들은 2028년까지 27%의 수입을 잃을 수 있습니다. 이러한 두려움은 현실적입니다. AI가 인간 음악가를 대체할까요? AI가 전문가 수준의 음악을 생성할 수 있는 세계에서 인간 창의力的 가치는 낮아질까요?

마젠타 RT는 이러한 우려에 대한 세련된 답변을 제공합니다. 인간의 창의력을 대체하는 것이 아니라 강화하는 오픈소스 도구로 пози션을 잡으면서, AI와 음악가가 공존할 수 있는 모델을 제공합니다. 실시간 인간 입력의 필요성은 기술이 자율적으로 작동하는 것이 아니라 인간의 창의력을 강화한다는 것을 보장합니다.

민주화 대신 평가절하

마젠타 RT의 가장 큰 영향 중 하나는 음악 창작의 민주화입니다. 모델은 소비자 하드웨어에서 실행될 수 있도록 설계되었으며, 이미 무료 티어 콜랩 TPU에서 작동합니다. 이러한 접근성은 비싼 장비나 공식적인 훈련 없이도 복잡한 음악 아이디어를 실험할 수 있는 기회를 음악가들에게 제공합니다. 이는 AI 음악 생성기들이 창의적 워크플로우를 변革하는 생태계에 합류하는 것입니다.

그러나 이러한 민주화는 위험을 수반합니다. 작곡가 마크 헨리 필립스는 AI 음악 생성 실험에서 “곧 음악가로서 생계를 유지할 수 없을 것”이라고 의심합니다. “회사가 직접 기술을 사용하기 시작하면”이라고 합니다. AI는 상업적 수준의 음악을 생성할 수 있으므로, 전문 음악가들의 전통적인 수입 흐름을 위협합니다.

다른 관점도 있습니다. 디지털 사진이 전문 사진가를 없애지 않았지만, 그들의 업무의 본질을 변경했다는 점을 생각해 볼 수 있습니다. AI 음악 생성은 음악 경력을 대체하는 것이 아니라, 변형시킬 수 있습니다. 핵심은 음악가들이 이러한 도구를 창의적 과정에 어떻게 적응하고 통합하는지에 있습니다.

실시간 AI 음악 생성의 부상은 또한 저작권, 소유권, 공정한 보상과 같은 긴급한 윤리적 질문을 제기합니다. 90%의 음악가들은 AI 회사가 저작권 음악을 훈련에 사용하기 전에 허가를 요청해야 한다고 믿습니다. 이는 기술 혁신과 예술적 권리 사이의 긴장을 보여줍니다.

마젠타 RT의 오픈소스 접근 방식은 앞으로 나아갈 수 있는 하나의 길을 제공합니다. 기술을 무료로 제공하고, 여러 출처에서 약 190,000시간의 기악 스톡 음악을 훈련시킴으로써, 구글은 일부 저작권 문제를 피하는 동시에 유능한 모델을 제작했습니다.

모델의 한계는 또한 윤리적 고려를 반영합니다. 비음성 보컬리제이션과 흥얼거림을 생성할 수 있지만, 마젠타 RT는 가사에 조건을 설정하지 않으며, 실제 단어를 생성할 가능성은 낮습니다. 이러한 설계 선택은 부적절한 가사 내용을 생성할 수 있는 잠재적인 문제를 피하는 동시에, 도구를 기악 작곡에 집중시킵니다.

인간-AI 음악 협력의 미래

우리가 이 새로운 음악 창작 시대를 맞이하면서, 몇 가지 트렌드가 나타나고 있습니다:

1. 하이브리드 창작 모델: 마젠타 RT와 같은 도구는 음악가들을 대체하는 것이 아니라, 협력자로 작용합니다. 최근의 비트 추적 시스템 개발은 인간 공연자와 실시간으로 동기화할 수 있는 AI의 능력을 보여줍니다.
2. 새로운 공연 패러다임: AI와 함께 “공연”하는 개념은 완전히 새로운 예술적 가능성을 열어줍니다. 음악가들은 이러한 시스템을 악기처럼 연주하는 기술을 개발하고, 잠재적인 음악 공간을 탐험하고 있습니다.
3. 교육 혁명: AI 음악 생성 기술은 음악 교육을 혁신시켰습니다. 플랫폼은 사용자의 공연을 듣고 즉각적인 피드백을 제공하는 인터랙티브 경험을 제공합니다.기술적 수렴: 신경 오디오 코덱과 최적화된 아키텍처의 혁신으로, 뮤직FX DJ와 같은 도구는 실시간으로 48kHz 스테레오 오디오를 스트리밍할 수 있습니다. 이는 AI 생성 음악을 전문가 수준으로 끌어올립니다.

협력적인 미래를 받아들이기

마젠타 리얼타임은 인간과 기계의 창의적 경계가 점점 더 유동적이 되는 미래를 예시합니다. 실시간 인간 입력을 필요로 하며, 출력보다 과정에 집중함으로써, 마젠타 RT는 인간의 창의력을 강화하는 AI의 모델을 제공합니다.

기술의 오픈소스 특성과 소비자 하드웨어에서의 접근성은 음악 창작을 민주화합니다. 그러나 실시간 제약은 창의적 과정에서 인간의 주체성이 중심에 있음을 보장합니다. 마젠타 팀은 항상 인간의 창의력을 강화하는 것이 그들의 임무였다고 강조합니다.

음악가, 프로듀서, 음악 애호가들에게는 메시지가 명확합니다. 음악의 미래는 인간 또는 AI 창작을 선택하는 것이 아니라, 실시간으로 함께 작동하는 두 가지가 창출하는 창의적 가능성을 탐험하는 것입니다. 마젠타 RT는 음악 창작이 AI 시대에 무엇이 될 수 있는지 다시 상상해 보는 초대입니다.

앞으로 나아가면서, 음악 산업은 공정한 보상, 저작권, 인간 창의力的 가치에 대한 중요한 질문을 해결해야 할 것입니다. 그러나 마젠타 RT와 같은 도구가 나타내는 바와 같이, 음악의 미래는 협력, 실험, 그리고 우리가 아직 상상하지 못한 새로운 표현 형태가 될 것입니다.