Gerçek Zamanlı AI Canlı Enstrümantal Müzik için Dize Oluşturabilir

Waterloo Üniversitesi’ndeki Doğal Dil İşleme Laboratuvarındaki araştırmacılar, canlı enstrümantal müziğe dize oluşturabilen gerçek zamanlı bir yapay zeka (AI) sistemi geliştirdiler. Yeni sistem LyricJam olarak adlandırılmış ve Haziran 2021’de canlı olarak yayınlanmasından bu yana 1.500’den fazla kullanıcı tarafından test edilmiştir.

Ekibin araştırması Eylül ayında Uluslararası Bilişsel Yaratıcılık Konferansı’nda sunulacak.

Laboratuvar, mühendislik profesörü ve üniversitede bilgisayar bilimi alanında görevli Olga Vechtomova tarafından yönetiliyor. Vechtomova yıllardır AI uygulamaları geliştiriyor ve laboratuvarın çalışması, sanatçıların müziksel ifadelerini öğrenen ve onların tarzında dize oluşturan bir sistem yaratılmasına yol açtı.

Vechtomova ve Waterloo mezunları Gaurav Sahu ve Dhruv Kumas, ayrıca farklı müziksel bileşenler gibi akor ilerlemeleri, tempo ve enstrümantasyonu kullanan teknoloji geliştirdiler. Teknoloji, sentezlenen dizelerin canlı müziğin ifade ettiği duyguları ve duyguları yansıtmalarını sağlıyor.

Yapay Sinir Ağı

Sistem, bir müzisyen veya grup enstrümantal müzik çaldıkça sürekli olarak ham ses kliplerini alıyor. Daha sonra, yapay sinir ağı verileri işliyor ve sonra sanatçıların şarkı sözlerini geliştirmeleri için kullanabilecekleri yeni dize oluşturuyor.

“Sistemin amacı, sanatçı için bir şarkı yazmak değil” diyor Vechtomova. “Sanatçıların kendi yaratıcılıklarını gerçekleştirmelerine yardımcı olmak istiyoruz. Sistem, yeni metaforlar ve ifadelerle şiirsel dize oluşturuyor ve sanatçıları daha önce keşfetmedikleri yaratıcı yönlerde ilerlemelerine yol açabilir.”

Yeni geliştirilen yapay sinir ağı, farklı müziksel yönlerle ilişkili dize temaları ve kelimeleri öğrenme yeteneğine sahip ve en etkileyici şekilde, bunu her bir ses klipinde yapıyor.

Ekibin bir kullanıcı çalışması vardı, burada müzisyenler canlı müzik çalarak sistemi kullandılar.

“Beklenmedik bir bulgu, katılımcıların oluşturulan dizeler tarafından cesaretlendirildiğini hissetmeleriydi” dedi Vechtomova. “Örneğin, dizeler sanatçılara akorları biraz farklı yapılandırmaya ve doğaçlamayı orijinal olarak amaçladıkları yönden farklı bir yöne götürmeye ilham verdi. Bazı müzisyenler ayrıca dizeleri, doğaçlamalarının istenen duygusal etkiyi olup olmadığını kontrol etmek için kullandılar.”

AI ile Ortaklık

Araştırmaların başka bir önemli yönü, insanların ve AI’ın işbirliği ve ortak yaratıcılığını göstermesiydi. Katılımcılar göre, sistem bir müzik ortağı gibi davranıyordu ve bu, müzisyenlerin engelsiz olarak oynamalarına olanak tanıyordu. Ayrıca, şarkı sözleri üzerinde çalışmıyor olsalar bile, müzik aletleri çalmaya teşvik edildiklerini hissettiler.

Yeni LyricJam sistemi, yapay zekanın yaratıcı zihinlerimize nasıl yol açtığına dair en son örnektir. İnsanlar ve AI arasındaki bağlantıyı genellikle sağlık gibi alanlarda konuşsak da, bu gibi yeni gelişmelerle birlikte makinelerle yaratıcı bir şekilde bağlantılı olma yolunda ilerliyoruz.

LyricJam sistemi burada bulunabilir.