Google presenta un modelo de música de IA que crea más rápido que la reproducción

Imagina esto: un músico sentado en su computadora, no componiendo nota por nota, sino dirigiendo a un colaborador de IA a través de una interpretación en vivo – cambiando géneros, mezclando instrumentos y explorando territorios sonoros que existen entre estilos musicales establecidos. Esto está sucediendo ahora con Magenta RealTime (RT) de Google (GOOGL ), un modelo de código abierto que lleva la interactividad en tiempo real a la generación de música de IA.

Recién lanzado, Magenta RT nos obliga a cambiar la forma en que pensamos sobre la música generada por IA. A diferencia de los modelos anteriores que requerían que los usuarios esperaran a que se renderizaran las pistas completas, Magenta RT genera música más rápido de lo que se reproduce, permitiendo una interacción en tiempo real verdadera. Para la industria de la música – que ya está lidiando con la influencia disruptiva de la IA – esta tecnología abre puertas a nuevas formas de expresión creativa mientras plantea preguntas profundas sobre la autoría, la interpretación y el futuro de la musicalidad humana.

Entendiendo Magenta RealTime

En su núcleo, Magenta RT es un modelo de transformador autoregresivo de 800 millones de parámetros, pero lo que lo distingue es su enfoque del desafío de la generación en tiempo real. El modelo genera flujos continuos de música en trozos de 2 segundos, cada uno condicionado en los 10 segundos anteriores de salida de audio y una incrustación de estilo dinámicamente ajustable. Esta arquitectura permite a los músicos manipular la incrustación de estilo en tiempo real, efectivamente dirigiendo la salida musical a medida que se desarrolla.

El logro técnico aquí no puede ser exagerado. En un TPU de Google Colab de nivel gratuito, Magenta RT genera 2 segundos de audio en solo 1,25 segundos – un factor de tiempo real de 1,6. Esta velocidad se logra a través de varias innovaciones:

• Autoregresión por bloques: En lugar de generar pistas completas de una vez, el modelo funciona en trozos pequeños y manejables que se pueden procesar rápidamente
• Codificador de SpectroStream: Un sucesor de SoundStream que permite audio estéreo de 48kHz de alta fidelidad
• Incrustaciones de MusicCoCa: Un nuevo modelo de incrustación de música-texto que permite el control semántico sobre el proceso de generación

Lo que hace que esto sea particularmente impresionante es que, a diferencia de las soluciones basadas en API o los modelos de generación orientados a lotes, Magenta RT admite la síntesis de transmisión con un factor de tiempo real mayor que 1. Esto significa que el modelo puede realmente adelantarse a la reproducción, creando un búfer que garantiza un flujo musical suave e ininterrumpido.

De la generación pasiva a la interpretación activa

Las implicaciones de la generación de música de IA en tiempo real se extienden mucho más allá de las especificaciones técnicas. Como señala el equipo de Magenta, “La interacción en vivo exige más del jugador, pero puede ofrecer más a cambio. El bucle continuo de percepción-acción entre el ser humano y el modelo proporciona acceso a un estado de flujo creativo, centrándose en la experiencia del proceso más que en el producto final”.

Este cambio de la participación pasiva a la activa aborda una de las principales críticas del contenido generado por IA: su potencial para inundar el mercado con música sin alma, producida en masa. Los modelos en tiempo real “evitan naturalmente crear una avalancha de contenido pasivo, porque intrínsecamente equilibran la escucha con la generación en una proporción de 1:1”. Cada momento de música creado requiere un momento de atención y toma de decisiones humanas.

Considera las posibilidades que esto abre:

• Interpretación en vivo: Los DJs y los músicos electrónicos pueden incorporar la IA como un instrumento reactivo en sus sets, agregando a la herramienta en expansión de herramientas de IA para músicos que mejoran la creatividad humana en lugar de reemplazarla
• Instalaciones interactivas: Los artistas pueden crear entornos donde la música responde al movimiento del público o a factores ambientales
• Herramientas educativas: Los estudiantes pueden explorar conceptos musicales a través de retroalimentación inmediata y tangible
• Banda sonora de juegos: Partituras dinámicas que se adaptan a las acciones del jugador en tiempo real

Perturbación y oportunidad

La industria de la música se encuentra en una encrucijada. Se espera que los ingresos en la industria de la música aumenten un 17,2%, impulsados en parte por la música generada por IA, con el mercado global de música de IA valorado en 2.900 millones de dólares en 2024. Sin embargo, este crecimiento viene con preocupaciones significativas por parte de los artistas y los profesionales de la industria.

La investigación de Goldmedia predice que, sin sistemas de compensación adecuados, los músicos podrían perder hasta el 27% de sus ingresos para 2028 a medida que crece el contenido generado por IA. El miedo es palpable – ¿reemplazará la IA a los músicos humanos? ¿Se verá disminuido el valor de la creatividad humana en un mundo donde cualquiera puede generar música de sonido profesional?

Magenta RT ofrece una respuesta matizada a estas preocupaciones. Al posicionarse como una herramienta de código abierto que mejora la creatividad humana en lugar de reemplazarla, proporciona un modelo para cómo la IA y los músicos podrían coexistir. El requisito de entrada humana en tiempo real garantiza que la tecnología amplifique la creatividad humana en lugar de operar de forma autónoma.

Democratización versus devaluación

Uno de los impactos más significativos de Magenta RT es su potencial para democratizar la creación de música. El modelo está diseñado para funcionar eventualmente en hardware de consumo y ya es funcional en TPUs de Colab de nivel gratuito. Esta accesibilidad significa que los músicos aspirantes sin equipo costoso o formación formal pueden experimentar con ideas musicales complejas, uniéndose al ecosistema en crecimiento de generadores de música de IA que están transformando los flujos de trabajo creativos.

Sin embargo, esta democratización conlleva riesgos. Como el compositor Mark Henry Phillips señala en sus experimentos con la generación de música de IA, sospecha que “pronto ya no podrá ganarse la vida como músico, ya que las empresas comenzarán a utilizar directamente la tecnología ellas mismas”. La facilidad con la que la IA puede generar música de calidad comercial amenaza los flujos de ingresos tradicionales para los músicos profesionales.

Pero hay otra perspectiva que considerar. Al igual que la fotografía digital no eliminó a los fotógrafos profesionales, sino que cambió la naturaleza de su trabajo, la generación de música de IA puede reconfigurar en lugar de reemplazar las carreras musicales. La clave radica en cómo los músicos se adapten e integren estas herramientas en su proceso creativo.

El surgimiento de la generación de música de IA en tiempo real también plantea preguntas éticas urgentes. La propiedad intelectual, la propiedad y la compensación justa siguen siendo cuestiones controvertidas. El 90% de los músicos cree que las empresas de IA deberían pedir permiso antes de utilizar música con derechos de autor para el entrenamiento, lo que destaca la tensión entre la innovación tecnológica y los derechos artísticos.

El enfoque de código abierto de Magenta RT ofrece una posible vía hacia adelante. Al hacer que la tecnología esté disponible de forma gratuita y entrenarla en aproximadamente 190.000 horas de música instrumental de stock de múltiples fuentes, Google ha intentado sortear algunas preocupaciones sobre derechos de autor mientras produce un modelo capaz.

Las limitaciones del modelo también reflejan consideraciones éticas. Si bien es capaz de generar vocalizaciones no léxicas y tarareos, Magenta RT no se condiciona a las letras y es poco probable que genere palabras reales. Esta elección de diseño ayuda a evitar posibles problemas con la generación de contenido lírico inapropiado mientras se centra en la composición instrumental.

El futuro de la colaboración musical humana-IA

A medida que nos encontramos en el umbral de esta nueva era en la creación de música, varias tendencias están surgiendo:

1. Modelos de creación híbridos: En lugar de reemplazar a los músicos, herramientas como Magenta RT se están convirtiendo en colaboradores. Desarrollos recientes en sistemas de seguimiento de ritmo con latencia cero y controllabilidad mejorada muestran cómo la IA puede sincronizarse con los intérpretes humanos en tiempo real.
2. Nuevos paradigmas de interpretación: El concepto de “interpretar” con la IA abre posibilidades artísticas completamente nuevas. Los músicos están aprendiendo a “tocar” estos sistemas como instrumentos, desarrollando técnicas para coaxar sonidos específicos y navegar por espacios musicales latentes.
3. Revolución educativa: La tecnología de generación de música de IA ha revolucionado la educación musical, con plataformas que proporcionan experiencias interactivas que escuchan las interpretaciones de los usuarios y ofrecen retroalimentación instantánea.Convergencia técnica: Con innovaciones en códecs de audio neuronales y arquitecturas optimizadas, herramientas como MusicFX DJ pueden transmitir audio estéreo de producción de calidad en tiempo real, llevando la música generada por IA a los estándares de calidad profesional.

Abracciando el futuro colaborativo

Magenta RealTime ofrece una visión del futuro donde los límites entre la creatividad humana y la máquina se vuelven cada vez más fluidos. Al requerir entrada humana en tiempo real y centrarse en el proceso en lugar de solo en la salida, ofrece un modelo para la IA que mejora la creatividad humana en lugar de reemplazarla.

La naturaleza de código abierto de la tecnología y su accesibilidad en hardware de consumo democratizan la creación de música mientras que las restricciones en tiempo real garantizan que la agencia humana permanece central en el proceso creativo. Como enfatiza el equipo de Magenta, mejorar la creatividad humana – no reemplazarla – siempre ha estado en el núcleo de su misión.

Para los músicos, productores y amantes de la música, el mensaje es claro: el futuro de la música no se trata de elegir entre la creación humana o la de IA, sino de explorar las vastas posibilidades creativas que surgen cuando ambas trabajan juntas en tiempo real. Magenta RT es una invitación a reimaginar lo que puede ser la creación de música en la era de la IA.

A medida que avanzamos, la industria de la música debe abordar preguntas importantes sobre la compensación justa, los derechos de autor y el valor de la creatividad humana. Pero si herramientas como Magenta RT son un indicio, el futuro de la música será uno de colaboración, experimentación y nuevas formas de expresión que apenas estamos comenzando a imaginar.