2024年10月18日

はじめに

みなさん、自分に関するテーマソングがあったら…と思うことはありませんか？

同志社大学理工学部インテリジェント情報工学科知識情報処理研究室とNECは、人とAIの協調的な音楽制作の実現を目指し共同研究を行ってきました。

今回開発した、人とAIの協調的な音楽制作フローを利用することで、与えたテーマをモチーフとした音楽を生成することができます。
そこで、今回の記事では、共同研究により開発したフローを活用し、NEC開発のLLM「cotomi[1]」をテーマにした音楽制作についてご紹介します。

最初に、今回作成した音楽をお聞きください。

音楽を聞いて、みなさんはどのような印象を受けたでしょうか？明るい印象？暗い印象？人それぞれ受け取り方が違うと思います。それが音楽の面白いところだと思います。

人とAIの協調的な音楽制作フロー

最近では「Suno AI[2]」のように、歌詞とスタイルを入力することで非常に完成度の高い音楽を生成することができるサービスが登場しています。一方で、今回開発した音楽制作フローの特徴は、各工程でAIが複数のパターンを提示し、ユーザがその中から好みのものを選択できる点にあります。これにより、ユーザの感性を反映しながら、段階的に音楽を作り上げていくことができます。

本フローは、①歌詞生成、②コード進行生成、③メロディ生成、④伴奏生成、⑤アレンジの5つの工程に分かれています。それでは、各工程の概要と生成された結果について、メンバのコメントと共に順番にご紹介していきます。

①歌詞生成

歌詞生成ではLLMを利用し、与えられたテーマをもとに歌詞を生成します。今回は以下のように、テーマを基に歌詞を生成するプロンプトを入力しました。
# 参考文
- 「cotomi(コトミ)」はNECが開発した生成AIの名称です。ことばにより未来を示し、「こと」が「みのる」ように」という想いを込めており、生成AIを軸にお客様と伴走するパートナーでありたいとNECは考えています。
# 指示
-参考文を基に、「cotomi」という音楽の歌詞を4行書いてください。

すると、以下のような希望溢れる歌詞を生成することができました。

言葉の力で未来を示す
生成AIが私たちを導く
共に歩むことで未来へ進む
ことばが未来を「実」らす

NEC大澤のコメント
「4つのフレーズとも、最後に動詞が来ていて力強い印象を受けました。cotomiに込められた想いである「みのる」という言葉が協調されていて、ポジティブで素敵な歌詞ですね！」

続いて、この歌詞を入力にしてコード進行を生成します。
※今回の音楽制作フローでは、歌詞はコード進行生成のためにのみ利用しました。

②コード進行生成

コード進行生成には、以前の記事で紹介したAttention付きSeq2Seqモデル[3]を利用しました。生成した歌詞をモデルに入力することで、以下のようなコード進行を生成することができました。

NEC浜野のコメント
「困難に揉まれながらも一歩ずつ一歩ずつ未来に進んでいくような印象を受けました」

続いて、このコード進行を入力にしてメロディを生成します。

③メロディ生成

メロディ生成には、以前記事で紹介したTransformerモデル[4]を利用しました。生成したコード進行をモデルに入力することで、以下のようなメロディを生成することができました。
※今回は歌詞の文字数を考慮せずにメロディを生成しています。

NEC谷口のコメント
「新たなる挑戦のために、故郷に別れを告げて旅立っていく感動のシーンに合わせたくなるようなメロディですね」

続いて、生成したコード進行とメロディを基にして、伴奏を生成します。

④伴奏生成

伴奏生成には、同志社大学理工学部インテリジェント情報工学科知識情報処理研究室の”ディープラーニングを用いたオーケストレーションを行う自動編曲システム[5]”を利用しました。

本システムはTransformerのencoder-decoder構造を採用している点が特徴的で、入力したメロディを基に、メロディと伴奏が合成された構成でMIDIを出力することができます。また、入力されたメロディの続きとなる伴奏を生成することも可能です。

生成したコード進行とメロディを入力することにより、以下のような伴奏を生成することができました。

同志社大学鎌田さんのコメント
「生成された音楽は、メロディと違和感なくコード進行に沿った伴奏を生成できたと思います。最初に頂いたメロディはテンポ感のある明るい雰囲気でしたが、AIが生成した伴奏は落ち着いた雰囲気の中にテクニカルな旋律を生成することができたので、私の想像を超えることができた点が面白いと感じました。
伴奏生成AIを研究するにあたって、メロディに沿った豊かな伴奏を生成できるようにするのが目標でした。比較的マイナーな研究で知見を集めるのに苦労しましたが、NEC様との相談やアドバイスをして頂いたおかげで成し遂げる事ができたと思います。」

鎌田凌輔
2024年3月、同志社大学大学院理工学研究科情報工学専攻博士前期課程修了。
学部大学院ともに研究室では自然言語処理と機械学習を専門とし、バイオリンの音楽経験を活かして音楽とLLMを組み合わせた「オーケストラAI」の研究に専念。

⑤アレンジ

各工程で生成された歌詞、コード進行、メロディ、伴奏からインスピレーションを受け、人手でのアレンジを行うことによって、冒頭で紹介したような音楽が完成しました。

NEC世良のコメント
「生成されたコード進行とメロディからは、瞑想的な落ち着きの印象を受けました。マイナーコードからメジャーコードへ移り変わる際の微妙な明るさの変化もあり、音楽に希望と温かみが生まれているように感じます。また、生成された伴奏には速いメロディラインも含まれており、面白かったです！
音楽の最終的なアレンジにあたっては、リズミカルなビートと、温かい音色の組み合わせを選びました。生成された伴奏が左右からピコピコした音として流れ、現代っぽいテクノロジー感も出ているかと思います。」

おわりに

同志社大学理工学部インテリジェント情報工学科知識情報処理研究室との共同研究により、人とAIが協調的に音楽制作を行うシステムを開発することができました。このようなシステムや、今後は生成AIをはじめとした技術が人と協調することによって、「音楽を作ってみたい！」と思っている人を支援したり、作編曲家に新しいアイデアを提供したりする機会が増えていくように思います。

同志社大学土屋教授のコメント
「今回、NEC様との共同研究では、うまくコラボレーションができ、どちらかだけではなく、相手のことを考えながら、双方が歩み寄り、自らの強みを活かすことができました。それにより、大きな相乗効果が生まれ、非常に良い結果に結びついたと感じています。

常識を持ったコンピュータの実現という雲をつかむような研究テーマに共感してくださったこと、また、大学の研究は成果だけではなく、学生さんの教育、成長に寄与することも大きな役割であること、これらを理解してくださり、今回、このような機会をいただけたことを嬉しく思っております。
このような相手を思うコラボレーションは人間同士だけではなく、まさに今回の研究テーマのように、人とAIとのコラボレーションにも重要な要素になります。
大学の研究成果は、世の中で実際に利用されてこそ価値が生まれます。NEC様との共同研究を通じて、今回の研究成果ならびに今後の研究成果が世の中で利用され、心豊かな世の中の実現に少しでも役立つことが来たらと思っております。」

土屋誠司
2002年に同志社大学大学院工学研究科知識工学専攻博士前期課程修了。三洋電機株式会社研究開発本部に在籍中の2007年に同博士後期課程修了。徳島大学を経て、2009年から同志社大学。2017年から同教授。2018年からは同志社大学人工知能工学研究センター長。2024年からは同志社国際学院初等部・国際部校長。博士（工学）。主に、自然言語処理を中心とした「常識を持った人と共存できるコンピュータ」についての研究している。情報技術やAIに関する小学生から大人までを対象とした書籍多数。


音楽AIの可能性は無限大です。これからも音楽AI部[6]の活動にご期待ください！

参考

ブログトップに戻る