AI Waktu Nyata Dapat Menghasilkan Lirik untuk Musik Instrumental Langsung

Peneliti di Laboratorium Pemrosesan Bahasa Alami di University of Waterloo telah mengembangkan sistem kecerdasan buatan (AI) waktu nyata yang dapat menghasilkan lirik untuk musik instrumental langsung. Sistem baru ini disebut LyricJam, dan diluncurkan pada Juni 2021 dengan lebih dari 1.500 pengguna mengujicobanya sejak saat itu.

Tim akan mempresentasikan penelitian mereka di Konferensi Internasional tentang Kreativitas Komputasi pada September.

Laboratorium ini dipimpin oleh Olga Vechtomova, seorang profesor Teknik yang ditunjuk di Ilmu Komputer di universitas. Vechtomova telah mengembangkan aplikasi AI selama bertahun-tahun, dan pekerjaan laboratorium awalnya mengarah pada penciptaan sistem yang mempelajari ekspresi musik seniman sebelum menghasilkan lirik dalam gaya mereka.

Vechtomova dan mahasiswa pascasarjana University of Waterloo Gaurav Sahu dan Dhruv Kumas juga mengembangkan teknologi yang menggunakan komponen musik yang berbeda seperti progresi akord, tempo, dan instrumentasi. Teknologi ini dapat mensintesis lirik sehingga mencerminkan mood dan emosi yang diekspresikan oleh musik langsung.

Jaringan Saraf

Sistem ini terus menerus menerima klip audio mentah saat seorang musisi atau band melakukan musik instrumental. Setelah itu, jaringan saraf memproses data sebelum menghasilkan lirik baru, yang kemudian dapat digunakan oleh seniman untuk mengembangkan lirik lagu mereka.

“Tujuan sistem ini bukan untuk menulis lagu untuk seniman,” kata Vechtomova. “Sebaliknya, kami ingin membantu seniman mewujudkan kreativitas mereka sendiri. Sistem ini menghasilkan kalimat-kalimat puitis dengan metafora dan ekspresi baru, yang berpotensi memimpin seniman ke arah kreatif yang belum mereka eksplorasi sebelumnya.”

Jaringan saraf yang baru dikembangkan ini dapat mempelajari tema lirik dan kata-kata yang terkait dengan aspek-aspek musik yang berbeda, dan yang paling mengesankan, ini dilakukan pada setiap klip audio tunggal.

Tim melakukan studi pengguna di mana musisi memainkan musik langsung sambil menggunakan sistem.

“Salah satu temuan yang tidak terduga adalah bahwa peserta merasa terdorong oleh lirik yang dihasilkan untuk berimprovisasi,” kata Vechtomova. “Misalnya, lirik itu menginspirasi seniman untuk membangun akord sedikit berbeda dan mengambil improvisasi mereka ke arah yang baru daripada yang awalnya dimaksudkan. Beberapa musisi juga menggunakan lirik untuk memeriksa apakah improvisasi mereka memiliki efek emosional yang diinginkan.”

Berkolaborasi dengan AI

Aspek lain dari penelitian ini adalah demonstrasi kolaborasi dan kreativitas bersama antara manusia dan AI. Menurut peserta, sistem ini bertindak sebagai mitra musik, dan salah satu yang tidak kritis, yang memungkinkan musisi untuk bermain tanpa terhalang. Mereka juga merasa terdorong untuk memainkan instrumen musik bahkan jika mereka tidak bekerja pada lirik.

Sistem LyricJam baru ini adalah contoh terbaru tentang bagaimana kecerdasan buatan memasuki pikiran kreatif kita. Sementara kita selalu berbicara tentang koneksi antara manusia dan AI, seringkali dalam hal area seperti kesehatan. Dengan kemajuan baru seperti ini, kita semakin dekat untuk terhubung dengan mesin-mesin ini dengan cara kreatif juga.

Sistem LyricJam dapat ditemukan di sini.