リアルタイムAIが生演奏のインストゥルメンタルミュージックの歌詞を生成する

ウォータールー大学の自然言語処理研究所の研究者は、生演奏のインストゥルメンタルミュージックの歌詞を生成できるリアルタイム人工知能（AI）システムを開発しました。この新しいシステムはLyricJamと呼ばれ、2021年6月に1,500人以上のユーザーがテストしました。

研究チームは、9月の計算創造性国際会議で研究成果を発表します。

研究所は、オルガ・ヴェクトモワ教授が率いており、コンピューターサイエンスの分野でも活躍しています。ヴェクトモワ教授はAIアプリケーションの開発に数年間取り組んでおり、研究所の研究はアーティストの音楽表現を学習し、彼らのスタイルで歌詞を生成するシステムの開発につながりました。

ヴェクトモワ教授とウォータールー大学の大学院生であるガウラブ・サフとドゥルブ・クマスは、コード進行、テンポ、楽器編成などのさまざまな音楽要素を利用する技術を開発しました。この技術は、生演奏の音楽のムードや感情を反映した歌詞を生成できます。

ニューラルネットワーク

システムは、ミュージシャンまたはバンドがインストゥルメンタルミュージックを演奏する際に、生のオーディオクリップを受信し続けます。次に、ニューラルネットワークはデータを処理して新しい歌詞を生成し、アーティストはこれを使用して歌詞を開発できます。

「システムの目的は、アーティストの代わりに曲を書くことではありません」とヴェクトモワ教授は述べています。「私たちは、アーティストの創造性を実現するのを助けたいのです。システムは、新しい比喩表現や表現を伴う詩的な歌詞を生成し、アーティストをまだ探索していない創造的な方向に導く可能性があります。」

新しく開発されたニューラルネットワークは、さまざまな音楽の側面にどのような歌詞のテーマや単語が関連しているかを学習できます。さらに、各オーディオクリップでこれを行います。

研究チームは、ミュージシャンが生演奏の音楽を演奏しながらシステムを使用するユーザー研究を実施しました。

「予想外の発見は、参加者が生成された歌詞によって即興演奏を促進されたことです」とヴェクトモワ教授は述べています。「例えば、歌詞はアーティストにコードを少し異なる構造で組み合わせ、意図しない方向に即興演奏を進めるようにしました。何人かのミュージシャンは、歌詞を使用して即興演奏が望ましい感情効果を持っているかどうかを確認しました。」

AIと共同で作曲

この研究のもう一つの重要な側面は、人間とAIの共同創造性と協力の実証でした。参加者によると、システムは批判的ではなく、ミュージシャンが自由に演奏できるミュージカルパートナーとして機能しました。彼らはまた、歌詞に取り組んでいなくても楽器を演奏するよう奨励されたと述べています。

新しいLyricJamシステムは、AIが私たちの創造的な心に入り込む最新の例です。私たちが人間とAIのつながりについて話すときは、健康などの分野について話すことが多いですが、このような新しい進歩により、創造的な方法でこれらのマシンに接続される可能性が高くなっています。

LyricJamシステムは、こちらで見つけることができます。