リアルタイムAIはライブインストゥルメンタルミュージックの歌詞を生成できる

ウォータールー大学の自然言語処理研究所の研究者は、ライブインストゥルメンタルミュージックの歌詞を生成できるリアルタイム人工知能（AI）システムを開発しました。この新しいシステムはLyricJamと呼ばれています。2021年6月に公開されて以来、1,500人以上のユーザーがこのシステムをテストしています。

チームは、9月の計算創造性国際会議で研究を発表します。

研究所は、オルガ・ヴェクトモバ教授が率いています。ヴェクトモバは、コンピューターサイエンスの分野で長年にわたってAIアプリケーションの開発に取り組んでいます。研究所の研究は、ミュージシャンの音楽表現を学習し、そのスタイルで歌詞を生成するシステムの開発につながりました。

ヴェクトモバとウォータールー大学の大学院生であるガウラブ・サフとドゥルブ・クマスも、コード進行、テンポ、楽器演奏などのさまざまな音楽要素を利用する技術を開発しました。この技術は、ライブミュージックによって表現される気分や感情を反映した歌詞を生成することができます。

ニューラルネットワーク

システムは、ミュージシャンまたはバンドがインストゥルメンタルミュージックを演奏するときに、生のオーディオクリップを受け取ります。その後、ニューラルネットワークがデータを処理して新しい歌詞を生成し、ミュージシャンはそれを使用して歌詞を開発できます。

「このシステムの目的は、ミュージシャンに代わって曲を作ることではありません」とヴェクトモバは述べています。「代わりに、ミュージシャンの創造性を実現する手助けになりたいのです。システムは、新しい比喩表現や表現を生成し、ミュージシャンを以前には探索していなかった創造的な方向に導くことができます。」

新しく開発されたニューラルネットワークは、さまざまな音楽の側面と関連する歌詞のテーマや単語を学習することができ、最も印象的なのは、それが各オーディオクリップで行われることです。

チームは、ミュージシャンがシステムを使用しながらライブミュージックを演奏するユーザー研究を実施しました。

「予想外の発見の1つは、参加者が生成された歌詞によって即興演奏を奨励されたことです」とヴェクトモバは述べています。「例えば、歌詞はミュージシャンにコードを少し異なる構造で構成することを促し、当初意図していたよりも新しい方向に即興演奏を導くことができました。何人かのミュージシャンは、歌詞を使用して即興演奏が期待される感情効果を持っているかどうかを確認することもしました。」

AIとの共同作業

この研究のもう1つの重要な側面は、人間とAIの共同作業と共創性の実証でした。参加者によると、システムは非批判的なミュージカルパートナーとして機能し、ミュージシャンが自由に演奏できるようにしました。彼らはまた、歌詞に取り組んでいなくても楽器を演奏するよう奨励されたと感じたと述べています。

新しいLyricJamシステムは、AIが創造的な心にどのように浸透しているかを示す最新の例です。人間とAIのつながりについて話すときは、健康などの分野について話すことが多いですが、このような新しい進歩により、創造的な方法でこれらのマシンとつながることができるようになっています。

LyricJamシステムは、こちらで見つけることができます。