2023年5月18日

はじめに

今回の記事は、伴奏からメロディをAIで生成し「どっちがイケてるメロディか」を競うAI自動作曲コンテスト「弁財天^[1]」に参加したレポートです。

NEC AI・アナリティクス統括部では、音楽好きの若手で音楽AI部を結成し、人とAIの協調的な音楽制作の実現を目指しています。音楽制作の要素を分割してモデル化し、それぞれのモデルと人がインタラクティブに制作することで、音楽制作のハードルを軽減し、制作のアイデア拡張を実現できると考えています。

私たちは、前回の記事^[2]で執筆した、深層学習による歌詞を考慮したコード進行の自動生成モデルに引き続き、コード進行を考慮してメロディを生成するモデルの研究を行っています。そのため、自動作曲に関するコンテストが開催されることを知り、前のめりにエントリーを決意しました。

弁財天

弁財天とは

概要

「伴奏」から「メロディ」をAIで生成し「どっちがイケてるメロディか」を競うAI自動作曲コンテストです。Music×Analytics Meetup^[3]という音楽好きなデータサイエンティスト有志で運営されている勉強会兼交流会と、日本大学の北原研究室主催のもとで行われました。

対戦ルール

競技者には、図2のようにお題曲として伴奏データ(MIDI形式)、コード進行のテキストデータ、曲のキーのテキストデータが与えられます。競技者は入力からAIを使ってメロディを生成し、伴奏データに追加して提出します。
3つのデータをどう使うかは競技者の自由ですが、多くの人はコード進行のデータをモデルに入力し、メロディを生成していました。

お題曲例

実際に入力としてどのようなお題曲が競技者に与えられるかを見てみましょう。
本ブログ用に、競技と同じ形式のお題曲を音楽AI部で用意しました。「01_お題曲の例.mp3 」を聴いてみてください！

楽器はベース、ピアノ、ギター×2、ドラムという構成になっていて、カラオケ音源のようにすっぽりとメロディが抜けていることが分かりますね。
競技者はここにAIで生成したメロディを乗せて提出します。
実際に我々音楽AI部が用意したAIでメロディを生成し、お題曲に追加した例が「02_生成曲.mp3」です！

いかがでしたか？いいメロディですよね？
このような形に整えて提出し、同じお題曲に対して生成したメロディのイケてる度を、他の競技者と競い合います。

大会の進め方

コンテストには予選と本選があります。
図3のように、予選では、与えられたお題曲に対して生成したメロディを、全競技者分まるっと専用の投票サイトに掲載し一般公開されます。
公開されたサイトを閲覧した一般の方々に採点され、スコアが高い上位8組が本選への出場権を得ることができます。

選ばれし8組で行われる本選は、トーナメント形式で行われます。
図4の通り、与えられたお題曲に対して、用意したモデルを使って5分以内にメロディを生成します。
両者の結果を聴き比べて、オンライン・現地参加者全員による投票で勝敗を決定します。

参加レポート

数か月間のモデル準備、楽しくも苦しくもあった準備期間を超え、私たちはなんとか厳しいオンライン予選会を通過し、本選への切符を手に入れることができました。
本選は2023年2月25日(土)に、会場の日本大学とZoomオンラインのハイブリット開催で行われました。モデルをがっつり準備した谷口、ちょっとコミットした世良、楽しみ担当の浜野の気合十分な3人で、チーム”AJI”( AIアナリティクス事業統括部の略 ※現AI・アナリティクス統括部 )として現地参加してきました！(写真1)

本選は、図5のように予選を見事通過したユニークな8チームで行われました。勝ち抜いた1チームが栄えある初代弁財天のチャンピオンとなります。私たちも当然、目指すはテッペン！

ということで、弁財天開幕！(写真2)

そして、私たちの1回戦！
AJIチームでは、良いメロディをさっと選ぶために、図6のように複数曲の生成結果の譜面を目で見て、明らかにおかしいと思うメロディを切り捨てる工夫をしました。

お題曲を聴きメロディ提出までの僅か5分間、これまで数か月の準備を全てぶつけて渾身のメロディを作曲します。モデルが生成したいくつかのメロディの中から、3人で投票を行いバトルに送り出す珠玉の1曲を決定！(写真3)

提出後に、私たちと対戦相手のメロディの聴き比べを行い、いざ運命の時間！
ここまでくると私たちにできることは願うだけ..リスナーの投票に天命を委ねます。(写真4)

そして、結果は..

敗退.. 惜しくも数票の差で敗れてしまいました...(写真5)
残念ながら1回戦敗退となってしまいましたが、お相手の方の生成メロディもとても素晴らしかったです。

トーナメント1回戦の全バトルが終了したあとは、計8チームによるLT会が行われ、各競技者の生成方法の紹介が行われました。

谷口も悔しさを噛みしめながらAJIチームの手法を解説しました。(写真6)
図7に、他の競技者の手法をご紹介します。

もともと、主催者側からサンプルプログラムが提供されていたのにも関わらず、本戦では各競技者がユニークな手法をとっており、興味深く勉強になりました。論文を参考に新たなモデルを構築したチーム、後処理に力を入れたチーム等など..
中でも、一際面白いと思ったのが、画像の補完技術を用いて”楽譜画像を生成”していた手法で、AIの可能性を最大限生かした素晴らしいアイデアだと度肝を抜かれました。

その後は、準決勝、決勝と大会は順調に進行し、初代弁財天王者は”log5”さんとなりました。( おめでとうございます！)

感想

今回開催された弁財天はAIで生成したメロディの「イケてる度」を競うという、これまでにない斬新なコンペでした。会場には学生から社会人まで数十人単位での参加者が集い、AIが創り出す音楽に関心が集まっていることを実感しました。

審査方法は”競技者が独自のAIによって生み出した曲を投票形式でジャッジする”ものであり、どのラウンドにおいても数票で勝敗が入れ替わってしまうような僅差な勝負が多く、聴き手によって心を惹く曲の違いが大きく異なることを浮き彫りにしました。

一方、競技者の方々が考えてきた独自のAIアルゴリズムには、多彩な音色とリズム、中にはグリッサンドを仕込むよう設計されている方も見られ、この弁財天へかける情熱と思いが創り出された曲に投影されていたように感じます。

今回の弁財天にて創りだされた曲はどの曲も普段耳にするリズムとはまた違った、これまでにない新鮮さを持ち合わせていました。それだけ音楽生成AIの持つ表現力は底なしであり、まだまだこれから進化していくことでしょう。私は今回の弁財天でAIが今後音楽創作において重要な役割を担うと確信しました！

おわりに

大盛況で第一回を終えた弁財天は、既に第二回が開催されることが決定しています。AI音楽生成は今後益々盛り上がっていくことでしょう、次回はどのような音楽表現が生み出されるのか目が離せません！
NEC　AI・アナリティクス統括部では、若手の社員がチームを組み、音楽×AIをコンセプトにワクワクする研究を行っており、作曲支援アプリを開発する構想も練っています。
今後も、音楽AI部の研究をデータサイエンティストブログに掲載していく予定ですので、お楽しみに！

参考文献・サイト

ブログトップに戻る