Gerçek Zamanlı Yapay Zeka, Canlı Enstrümantal Müzik için Çizgiler Oluşturabilir

Waterloo Üniversitesi Doğal Dil İşleme Laboratuvarı'ndaki araştırmacılar, canlı enstrümantal müzik için çizgiler oluşturabilen gerçek zamanlı bir yapay zeka (AI) sistemi geliştirdi. Yeni sisteme LyricJam adı verildi ve Haziran 2021'de yayına girdi ve o zamandan bu yana 1,500'den fazla kullanıcı test etti.

Ekip sunumlarını yapacak araştırma Eylül ayında Hesaplamalı Yaratıcılık Uluslararası Konferansında. 

Laboratuvar, üniversitede Bilgisayar Bilimleri alanında çapraz atanan bir Mühendislik profesörü olan Olga Vechtomova tarafından yönetiliyor. Vechtomova, yıllardır yapay zeka uygulamaları geliştiriyor ve laboratuvarın çalışması başlangıçta, sanatçıların tarzlarına göre şarkı sözleri üretmeden önce müzikal ifadelerini öğrenen bir sistemin oluşturulmasına yol açtı.

Vechtomova ve Waterloo lisansüstü öğrencileri Gaurav Sahu ve Dhruv Kumas ayrıca akor ilerlemeleri, tempo ve enstrümantasyon gibi farklı müzik bileşenlerini kullanan bir teknoloji geliştirdiler. Teknoloji, canlı müzik tarafından ifade edilen ruh halini ve duyguları yansıtacak şekilde şarkı sözlerini sentezleyebilir. 

Sinir Ağı

Bir müzisyen veya grup enstrümantal müzik icra ederken sistem sürekli olarak ham ses klipleri alır. Bundan sonra sinir ağı, sanatçıların şarkı sözlerini geliştirmek için kullanabilecekleri yeni şarkı sözleri oluşturmadan önce verileri işler.

Vechtomova, "Sistemin amacı sanatçı için şarkı yazmak değil" diyor. "Bunun yerine, sanatçıların kendi yaratıcılıklarını gerçekleştirmelerine yardımcı olmak istiyoruz. Sistem, potansiyel olarak sanatçıları daha önce keşfetmedikleri yaratıcı yönlere yönlendiren yeni metaforlar ve ifadelerle şiirsel dizeler üretiyor.”

Yeni geliştirilen sinir ağı, hangi lirik temaların ve kelimelerin müziğin farklı yönleriyle ilişkilendirildiğini öğrenebiliyor ve en etkileyici olanı, bunu her bir ses klibinde yapıyor. 

Ekip, müzisyenlerin sistemi kullanırken canlı müzik çaldığı bir kullanıcı çalışması gerçekleştirdi.

Vechtomova, "Beklenmeyen bir bulgu, katılımcıların oluşturulan replikler tarafından doğaçlama yapmak için cesaretlendirildiğini hissetmeleriydi" dedi. “Örneğin, dizeler, sanatçılara akorları biraz farklı bir şekilde yapılandırmaları ve doğaçlamalarını başlangıçta amaçlanandan daha yeni bir yöne götürmeleri için ilham verdi. Bazı müzisyenler, doğaçlamalarının istenen duygusal etkiye sahip olup olmadığını kontrol etmek için dizeleri de kullandılar.

AI ile Ortaklık

Bu araştırmanın en önemli yönlerinden bir diğeri, insanlar ve yapay zeka arasındaki işbirliğini ve ortak yaratıcılığı göstermesiydi. Katılımcılara göre, sistem bir müzik partneri olarak hareket etti ve eleştirel olmayan bir partnerdi, bu da müzisyenlerin dizginsiz çalmasına olanak sağladı. Ayrıca şarkı sözleri üzerinde çalışmasalar bile müzik enstrümanlarını çalma konusunda kendilerini cesaretlendirdiklerini söylediler.

Yeni LyricJam sistemi, yapay zekanın yaratıcı zihinlerimize nasıl girdiğinin en son örneğidir. Her zaman insanlar ve yapay zeka arasındaki bağlantıdan bahsederken, bu genellikle sağlık gibi alanlardadır. Bunun gibi yeni gelişmelerle, bu makinelere yaratıcı bir şekilde bağlanmaya da yaklaşıyoruz.

LyricJam sistemi bulunabilir okuyun.