Gerçek Zamanlı AI Canlı Enstrümantal Müzik için Dize Oluşturabilir

Waterloo Üniversitesi’ndeki Doğal Dil İşleme Laboratuvarı’ndaki araştırmacılar, canlı enstrümantal müzik için dize oluşturabilen bir gerçek zamanlı yapay zeka (AI) sistemi geliştirdiler. Yeni sistem LyricJam olarak adlandırıldı ve Haziran 2021’de canlıya alındı ve o tarihten bu yana 1.500’den fazla kullanıcı tarafından test edildi.

Ekibin araştırması, Eylül ayında Computational Creativity Uluslararası Konferansı’nda sunulacak.

Laboratuvar, mühendislik profesörü ve üniversitede bilgisayar bilimi bölümünde görevli Olga Vechtomova tarafından yönetiliyor. Vechtomova, yıllardır AI uygulamaları geliştiriyor ve laboratuvarın çalışması, sanatçıların müziksel ifadelerini öğrenen ve onların tarzında dize oluşturan bir sistem yaratılmasına yol açtı.

Vechtomova ve Waterloo mezunları Gaurav Sahu ve Dhruv Kumas, ayrıca akor ilerlemeleri, tempo ve enstrümantasyon gibi farklı müzik bileşenlerini kullanan bir teknoloji geliştirdiler. Bu teknoloji, canlı müziğin ifade ettiği duyguları ve duyguları yansıtan dizeleri sentezleyebiliyor.

Yapay Sinir Ağı

Sistem, bir müzisyen veya grup enstrümantal müzik çaldıkça sürekli olarak ham ses klipleri alıyor. Daha sonra, yapay sinir ağı verileri işliyor ve sanatçıların şarkı sözleri geliştirmeleri için kullanabilecekleri yeni dizeler oluşturuyor.

“Sistemin amacı, sanatçıya bir şarkı yazmak değil” diyor Vechtomova. “Sanatçıların kendi yaratıcılıklarını gerçekleştirmelerine yardımcı olmak istiyoruz. Sistem, yeni metaforlar ve ifadelerle şiirsel dizeler oluşturuyor ve sanatçıları daha önce keşfetmedikleri yaratıcı yönlerde ilerlemelerine yol açabilir.”

Yeni geliştirilen yapay sinir ağı, farklı müziksel yönlerle ilişkili dize temaları ve kelimeleri öğrenme yeteneğine sahip ve her bir ses klipinde bunu yapıyor.

Ekibin bir kullanıcı çalışması vardı ve müzisyenler, sistemi kullanarak canlı müzik çaldılar.

“Beklenmedik bir bulgu, katılımcıların oluşturulan dizelerle cesaretlendirildiğini gösterdi” diyor Vechtomova. “Örneğin, dizeler sanatçıları akorları biraz farklı yapılandırmaya ve doğaçlamalarını orijinal olarak amaçladıkları yönden farklı bir yöne götürmeye teşvik etti. Bazı müzisyenler ayrıca dizeleri, doğaçlamalarının istenilen duygusal etkiyi olup olmadığını kontrol etmek için kullandı.”

AI ile Ortaklık

Bu araştırmanın bir diğer önemli yönü, insanların ve AI’nin işbirliği ve ortak yaratıcılığını göstermesi oldu. Katılımcılar, sistemin bir müzik ortağı gibi davrandığını ve eleştirel olmadığını, böylece müzisyenlerin engellenmeden çalmalarına olanak tanıdığını söyledi.

Yeni LyricJam sistemi, yapay zekanın yaratıcı zihinlerimize nasıl girdiğinin son örneğidir. İnsanlar ve AI arasındaki bağlantıyı genellikle sağlık gibi alanlarda konuşsak da, bu gibi yeni gelişmelerle birlikte makinelerle yaratıcı bir şekilde bağlantılı olmaya daha da yaklaşıyoruz.

LyricJam sistemi burada bulunabilir.