Kecerdasan Buatan Waktu Nyata Dapat Menghasilkan Lirik untuk Musik Instrumental Langsung

Peneliti di Laboratorium Pemrosesan Bahasa Alami di Universitas Waterloo telah mengembangkan sistem kecerdasan buatan (AI) waktu nyata yang dapat menghasilkan lirik untuk musik instrumental langsung. Sistem baru ini disebut LyricJam, dan itu diluncurkan pada Juni 2021 dengan lebih dari 1.500 pengguna mengujicobanya sejak saat itu.

Tim akan mempresentasikan penelitian mereka di Konferensi Internasional tentang Kreativitas Komputasi pada September.

Laboratorium ini dipimpin oleh Olga Vechtomova, seorang profesor Teknik yang juga menjabat sebagai profesor Ilmu Komputer di universitas. Vechtomova telah mengembangkan aplikasi AI selama bertahun-tahun, dan pekerjaan laboratorium awalnya menghasilkan sistem yang belajar ekspresi musik seniman sebelum menghasilkan lirik dalam gaya mereka.

Vechtomova dan mahasiswa pascasarjana Waterloo Gaurav Sahu dan Dhruv Kumas juga mengembangkan teknologi yang menggunakan komponen musik yang berbeda seperti progresi akord, tempo, dan instrumentasi. Teknologi ini dapat mensintesis lirik sehingga mencerminkan mood dan emosi yang diekspresikan oleh musik langsung.

Jaringan Saraf

Sistem ini terus menerima klip audio mentah saat seorang musisi atau band memainkan musik instrumental. Setelah itu, jaringan saraf memproses data sebelum menghasilkan lirik baru, yang kemudian dapat digunakan oleh seniman untuk mengembangkan lirik lagu mereka.

“Tujuan sistem ini bukan untuk menulis lagu untuk seniman,” kata Vechtomova. “Sebaliknya, kami ingin membantu seniman mewujudkan kreativitas mereka sendiri. Sistem ini menghasilkan kalimat puisi dengan metafora dan ekspresi baru, yang dapat memimpin seniman ke arah kreatif yang belum mereka jelajahi sebelumnya.”

Jaringan saraf yang baru dikembangkan ini dapat belajar apa tema lirik dan kata-kata yang terkait dengan aspek musik yang berbeda, dan yang paling mengesankan, itu dilakukan dalam setiap klip audio tunggal.

Tim melakukan studi pengguna di mana musisi memainkan musik langsung sambil menggunakan sistem.

“Satu temuan yang tidak terduga adalah bahwa peserta merasa terdorong oleh lirik yang dihasilkan untuk berimprovisasi,” kata Vechtomova. “Misalnya, lirik itu menginspirasi seniman untuk membangun akord sedikit berbeda dan membawa improvisasi mereka ke arah yang baru daripada yang awalnya dimaksudkan. Beberapa musisi juga menggunakan lirik untuk memeriksa apakah improvisasi mereka memiliki efek emosional yang diinginkan.”

Berkolaborasi dengan AI

Aspek lain yang signifikan dari penelitian ini adalah demonstrasi kolaborasi dan kreativitas bersama antara manusia dan AI. Menurut peserta, sistem ini bertindak sebagai mitra musik, dan salah satu yang tidak kritis, yang memungkinkan musisi memainkan alat musik tanpa hambatan. Mereka juga mengatakan bahwa mereka merasa terdorong untuk memainkan alat musik bahkan jika mereka tidak bekerja pada lirik.

Sistem LyricJam baru ini adalah contoh terbaru tentang bagaimana kecerdasan buatan membuat jalan masuk ke pikiran kreatif kita. Sementara kita selalu berbicara tentang koneksi antara manusia dan AI, itu sering dalam hal area seperti kesehatan. Dengan kemajuan baru seperti ini, kita semakin dekat untuk terhubung dengan mesin ini dalam cara kreatif juga.

Sistem LyricJam dapat ditemukan di sini.