AIで、あなたをミュージシャンに！視線やポーズで演奏する楽器"ANDCHESTRA": BluStellar AI

Tweet
Share

AIをつかった、だれでも楽しめる楽器

NECは、AIの力で"出来ないを出来るに変える"体験を目指し、簡単な動作で、子供から大人まで誰でも演奏が可能なインクルーシブなAI楽器を新たに開発しました。そしてAI楽器を使って演奏する多様なオーケストラ「ANDCHESTRA（アンドケストラ）」に挑戦します。

ANDCHESTRAとは、ORCHESTRA（オーケストラ）の"OR（どちらか）"を"AND（どちらも）"に変え、特別な才能を持つ選ばれた誰か（or）ではなく、誰でも（and）参加できるオーケストラです。

AI技術について
インクルーシブなAI楽器とは

2つのAI楽器

ANDCHESTRAは楽器の演奏経験が無い人、演奏に苦手意識を持つ人でも簡単に演奏できることを目指しています。
人の姿勢を推定するNECのAI技術「姿勢推定技術」と視線を捉えるAI技術「遠隔視線推定技術」の2つのAIを使って「ANDCHESTRA VIOLIN（アンドケストラ　ヴァイオリン）」「ANDCHESTRA TRUMPET（アンドケストラ　トランペット）」の2つの楽器を開発しました。

AI技術について

インクルーシブなAI楽器とは

ANDCHESTRAは、多様な意見を取り入れながら開発されました。NECのAI技術者だけでなく、インクルーシブアドバイザーとして、車椅子のシンガーソングライター、小学生の音楽コンシェルジュ、そしてパラスポーツ選手が開発に携わっています。

インクルーシブアドバイザー

（左）シンガーソングライター　曽塚レナ（そづかれな）さん
ゲームのBGMを趣味で作っていたが、2016年に脊髄を損傷して以来シンガーソングライターとして活動を開始。

（右）音楽コンシェルジュ　Nonoka（ののか）さん
2009年東京生まれ。脳性麻痺により、身体・視覚認知機能などに困難さを抱えているが、優れた聴力・記憶力をもっている。2019年〝あなたの為の一曲をお選びします〟音楽コンシェルジュとして活動を始める。

NEC 東京オリンピック・パラリンピック推進本部　上原大祐さん
NEC障がい攻略エキスパート、バンクーバー2010冬季パラリンピックパラアイスホッケー銀メダリスト

開発の様子

AI技術者とアドバイザーが一緒に音を鳴らす際のポーズ定義、画面デザインを考えました。

人によって難しいポーズ、視線を送りづらい位置があることがわかったり、ポーズをとってもらう際に「直角に腕を曲げて」と伝えるより「お腹をさわって」などと言った方がわかりやすいことに気づきました。こういった気づきからプログラムや画面デザインを見直し、より操作しやすいAI楽器を目指しました。

アドバイザーからのメッセージ

思わず笑顔になる楽器ですね。音楽は楽しんでいいんだということを感じさせてくれる。
私はライブパフォーマンスをしているので、もっと感情を乗せた表現、ニュアンスのある動きでも音を鳴らせるようになるともっと嬉しい。将来性を感じました。（シンガーソングライター曽塚レナさん）

学校の友達が視線入力を使っているのでその子にぜひ教えてあげたいです。一緒に演奏ができたら楽しそう。どちらの楽器もすべての音を鳴らせると"出来た！"という達成感があります。（音楽コンシェルジュNonokaさん）

視線はほぼみんな動かせるのでみんなが使える楽器だと思います。目配りがうまいひとが楽器が上手というのは面白いですね。
姿勢推定AI楽器ではポーズがうまく決まると気持ちいい、さらに音楽が出来るという気持よさも味わえる。
ANDCHESTRAを通して、音楽やスポーツなど挑戦したかったことに誰もが挑戦できる社会を作っていきたい。
「できた！」という感動を届けられるNECでありたいです。
（NEC障がい攻略エキスパート上原大祐さん）

ANDCHESTRA VIOLINを作り出す"姿勢推定技術"

"ANDCHESTRA VIOLIN"は、人の姿勢を推定するAI技術"姿勢推定技術"を使用し、あらかじめ定義したポーズをとると、バイオリンの音を鳴らすAI楽器です。姿勢推定技術とは全身を捉えづらい混雑環境下や、離れた場所から撮影した低解像度の映像でも、高精度かつ高速に人の姿勢を推定できる、NEC独自のAI技術です。(1)肩や肘、腰等の関節点を検出して人の身体を特定し、(2)関節点の中点をもとに各人の姿勢を推定する二段階のアプローチにより、低解像度でも安定し、また混雑環境においても、誤検知を抑制して人物の姿勢を高精度に推定することが可能となりました。
従来の(1)(2)のどちらかのアプローチで姿勢を検出する技術では、混雑環境や低解像度の映像分析において人物の検出精度が下がる、重なりあった人同士の関節を誤検出や検出速度が低下するなどの課題がありました。NECはこの2段階アプローチを高速に処理する分析エンジンを開発し、高精度と高速を両立させています。

ANDCHESTRA VIOLIN構成