Japan
サイト内の現在位置
【音楽×AI】AIミュージックバトル『弁財天』参加！コードから生み出せメロディ編
2023年5月18日
はじめに
今回の記事は、伴奏からメロディをAIで生成し「どっちがイケてるメロディか」を競うAI自動作曲コンテスト「弁財天[1]」に参加したレポートです。
NEC AI・アナリティクス統括部では、音楽好きの若手で音楽AI部を結成し、人とAIの協調的な音楽制作の実現を目指しています。音楽制作の要素を分割してモデル化し、それぞれのモデルと人がインタラクティブに制作することで、音楽制作のハードルを軽減し、制作のアイデア拡張を実現できると考えています。
私たちは、前回の記事[2]で執筆した、深層学習による歌詞を考慮したコード進行の自動生成モデルに引き続き、コード進行を考慮してメロディを生成するモデルの研究を行っています。そのため、自動作曲に関するコンテストが開催されることを知り、前のめりにエントリーを決意しました。
弁財天
弁財天とは
概要
「伴奏」から「メロディ」をAIで生成し「どっちがイケてるメロディか」を競うAI自動作曲コンテストです。Music×Analytics Meetup[3]という音楽好きなデータサイエンティスト有志で運営されている勉強会兼交流会と、日本大学の北原研究室主催のもとで行われました。
対戦ルール
競技者には、図2のようにお題曲として伴奏データ(MIDI形式)、コード進行のテキストデータ、曲のキーのテキストデータが与えられます。競技者は入力からAIを使ってメロディを生成し、伴奏データに追加して提出します。
3つのデータをどう使うかは競技者の自由ですが、多くの人はコード進行のデータをモデルに入力し、メロディを生成していました。
お題曲例
実際に入力としてどのようなお題曲が競技者に与えられるかを見てみましょう。
本ブログ用に、競技と同じ形式のお題曲を音楽AI部で用意しました。「01_お題曲の例.mp3 」を聴いてみてください！
楽器はベース、ピアノ、ギター×2、ドラムという構成になっていて、カラオケ音源のようにすっぽりとメロディが抜けていることが分かりますね。
競技者はここにAIで生成したメロディを乗せて提出します。
実際に我々音楽AI部が用意したAIでメロディを生成し、お題曲に追加した例が「02_生成曲.mp3」です！
いかがでしたか？いいメロディですよね？
このような形に整えて提出し、同じお題曲に対して生成したメロディのイケてる度を、他の競技者と競い合います。
大会の進め方
コンテストには予選と本選があります。
図3のように、予選では、与えられたお題曲に対して生成したメロディを、全競技者分まるっと専用の投票サイトに掲載し一般公開されます。
公開されたサイトを閲覧した一般の方々に採点され、スコアが高い上位8組が本選への出場権を得ることができます。
選ばれし8組で行われる本選は、トーナメント形式で行われます。
図4の通り、与えられたお題曲に対して、用意したモデルを使って5分以内にメロディを生成します。
両者の結果を聴き比べて、オンライン・現地参加者全員による投票で勝敗を決定します。
参加レポート
数か月間のモデル準備、楽しくも苦しくもあった準備期間を超え、私たちはなんとか厳しいオンライン予選会を通過し、本選への切符を手に入れることができました。
本選は2023年2月25日(土)に、会場の日本大学とZoomオンラインのハイブリット開催で行われました。モデルをがっつり準備した谷口、ちょっとコミットした世良、楽しみ担当の浜野の気合十分な3人で、チーム”AJI”( AIアナリティクス事業統括部の略 ※現AI・アナリティクス統括部 )として現地参加してきました！(写真1)
本選は、図5のように予選を見事通過したユニークな8チームで行われました。勝ち抜いた1チームが栄えある初代弁財天のチャンピオンとなります。私たちも当然、目指すはテッペン！
ということで、弁財天開幕！(写真2)
そして、私たちの1回戦！
AJIチームでは、良いメロディをさっと選ぶために、図6のように複数曲の生成結果の譜面を目で見て、明らかにおかしいと思うメロディを切り捨てる工夫をしました。
お題曲を聴きメロディ提出までの僅か5分間、これまで数か月の準備を全てぶつけて渾身のメロディを作曲します。モデルが生成したいくつかのメロディの中から、3人で投票を行いバトルに送り出す珠玉の1曲を決定！(写真3)
提出後に、私たちと対戦相手のメロディの聴き比べを行い、いざ運命の時間！
ここまでくると私たちにできることは願うだけ..リスナーの投票に天命を委ねます。(写真4)
そして、結果は..
敗退.. 惜しくも数票の差で敗れてしまいました...(写真5)
残念ながら1回戦敗退となってしまいましたが、お相手の方の生成メロディもとても素晴らしかったです。
トーナメント1回戦の全バトルが終了したあとは、計8チームによるLT会が行われ、各競技者の生成方法の紹介が行われました。
谷口も悔しさを噛みしめながらAJIチームの手法を解説しました。(写真6)
図7に、他の競技者の手法をご紹介します。
もともと、主催者側からサンプルプログラムが提供されていたのにも関わらず、本戦では各競技者がユニークな手法をとっており、興味深く勉強になりました。論文を参考に新たなモデルを構築したチーム、後処理に力を入れたチーム等など..
中でも、一際面白いと思ったのが、画像の補完技術を用いて”楽譜画像を生成”していた手法で、AIの可能性を最大限生かした素晴らしいアイデアだと度肝を抜かれました。
その後は、準決勝、決勝と大会は順調に進行し、初代弁財天王者は”log5”さんとなりました。( おめでとうございます！)
感想
今回開催された弁財天はAIで生成したメロディの「イケてる度」を競うという、これまでにない斬新なコンペでした。会場には学生から社会人まで数十人単位での参加者が集い、AIが創り出す音楽に関心が集まっていることを実感しました。
審査方法は”競技者が独自のAIによって生み出した曲を投票形式でジャッジする”ものであり、どのラウンドにおいても数票で勝敗が入れ替わってしまうような僅差な勝負が多く、聴き手によって心を惹く曲の違いが大きく異なることを浮き彫りにしました。
一方、競技者の方々が考えてきた独自のAIアルゴリズムには、多彩な音色とリズム、中にはグリッサンドを仕込むよう設計されている方も見られ、この弁財天へかける情熱と思いが創り出された曲に投影されていたように感じます。
今回の弁財天にて創りだされた曲はどの曲も普段耳にするリズムとはまた違った、これまでにない新鮮さを持ち合わせていました。それだけ音楽生成AIの持つ表現力は底なしであり、まだまだこれから進化していくことでしょう。私は今回の弁財天でAIが今後音楽創作において重要な役割を担うと確信しました！
おわりに
大盛況で第一回を終えた弁財天は、既に第二回が開催されることが決定しています。AI音楽生成は今後益々盛り上がっていくことでしょう、次回はどのような音楽表現が生み出されるのか目が離せません！
NEC AI・アナリティクス統括部では、若手の社員がチームを組み、音楽×AIをコンセプトにワクワクする研究を行っており、作曲支援アプリを開発する構想も練っています。
今後も、音楽AI部の研究をデータサイエンティストブログに掲載していく予定ですので、お楽しみに！
参考文献・サイト
弁財天執筆者プロフィール
谷口 浩平（たにぐち こうへい）
AI・アナリティクス統括部 AIソリューション・サービス開発センター
2021年4月、日本電気株式会社入社。現在は製造業や官公庁のお客様を中心に、画像認識AIを活用した業務効率化支援に従事。趣味の作曲にプライベートの大半を費やしているが、最近とある作曲コンペに出場して大敗した。好きなアーティストは「椎乃味醂」。
執筆者プロフィール
世良 拓也（せら たくや）
AI・アナリティクス統括部 データサイエンスコンピテンシーセンター
2018年4月、日本電気株式会社入社。製造業、官公庁のお客様を中心に、自然言語処理、機械学習を活用した分析サービス、システム導入支援に従事。AI楽器、AI音楽生成、AIファッション生成、「waneco talk」のような新しいAI活用テーマにも挑戦。好きなアーティストは「Periphery」
執筆者プロフィール
浜野 佑介（はまの ゆうすけ）
AI・アナリティクス統括部 データサイエンスコンピテンシーセンター
2021年4月、日本電気株式会社入社。現在は銀行業のお客様を中心に、データ基盤の開発支援に従事。最先端の機械学習モデルをキャッチアップしつつも、それらを活用したクラウドネイティブなシステム構築について学んでいる。好きなアーティストは「the pillows」。
執筆者プロフィール
山道 航平（やまみち こうへい）
AI・アナリティクス統括部 AIソリューション・サービス開発センター
2022年4月、日本電気株式会社入社。主に製造業を中心に画像AI系を使用したデータ分析業務へ従事している。学生時代から画像生成の研究に没頭しており、休日何してたかと尋ねると必ず画像生成かライブの2択で返ってくる。好きなアーティストは「平井堅」。
執筆者プロフィール
大井 雄介（おおい ゆうすけ）
AI・アナリティクス統括部 AIソリューション・サービス開発センター
2014年4月、日本電気株式会社入社。技術開発職としてRAPID機械学習やテキスト分析withDeepLearningといった深層学習を利用したソフトウェアの開発に従事するとともに、販促・データ分析作業も兼務。画像、テキストをはじめ業種問わず幅広なデータ分析に携わっている。現在は主に自然言語処理を担当。ライブ参加やカメラが趣味で、プライベートでは知人のライブイベントの撮影なども行っている。好きなアーティストは「田所あずさ」。
執筆者プロフィール
大澤 真優乃（おおさわ まゆの）
AI・アナリティクス統括部 データサイエンスコンピテンシーセンター
2022年4月、日本電気株式会社入社。大学では人間工学や統計を学び、入社後はPythonを勉強しながらデータ分析業務を務めている。AI・アナリティクス統括部では珍しい学部卒。趣味は音楽で、社会人になってから新しい楽器に触れたいと思い、バイオリンのレッスンに通い始めた。好きなアーティストは「YOASOBI」。
執筆者プロフィール
岩名 紘基（いわな ひろき）
AI・アナリティクス統括部 データサイエンスコンピテンシーセンター
2022年4月、日本電気株式会社入社。現在は医療事業、製造業を中心とした分析業務に従事。学生時代に自動楽曲生成の研究に従事しており、私生活ではバンド楽曲のコピー活動(ドラム)を行っている。好きなアーティストは「[Alexandros]」。