2024年9月5日
日本電気株式会社

NECは、2024年9月3日に有明アリーナで開催された「NTTドコモ　Presents　Lemino　BOXING　ダブル世界タイトルマッチ」において、スポーツ&エンターテイメント領域での新たな顧客体験創出のため、映像認識AIと大規模言語モデル(以下 LLM)を活用した「ハイライトシーンのリアルタイム自動抽出と要約文章の自動生成および投稿」の実証実験を行いました。

実施内容

本実証は、株式会社NTTドコモ(以下 ドコモ)がLemino(注1)でライブ配信する試合のストリーミング映像に対し、NECの映像認識AIとLLMを組合せ(注2)、ハイライトシーンの抽出及び要約文章の生成を自動で行い、本実証用に準備されたSNSに抽出されたハイライト映像・画像と生成された要約文章を配信しました。ラウンド毎に特徴的なシーンの抽出と、ダイジェスト文および各選手の動きに焦点を置いた説明文の作成を行い、ラウンド間のインターバル中に配信を行いました。
ハイライト抽出及び要約文章生成にはデータ活用基盤ソリューション「NEC Multimedia OLAP」(注3)を活用しました。ストリーミング映像に対して、複数の認識AIを用いたマルチモーダル分析手法(注4)により、リアルタイムにハイライトシーンを多角的に抽出しました。それらのシーンを基にLLMを活用することで、臨場感ある表現や特定の選手に焦点を当てた描写など、多様な視点でストーリーが感じられる要約文章の生成を行いました。
これにより、SNSでリアルタイムに試合状況を把握することが可能になるため、ユーザーが場所やシーンを選ばず、より手軽に臨場感あふれる情報を入手し、楽しむことができます。

実証結果と今後

本実証では、井上尚弥選手やその対戦相手であるTJ・ドヘニー選手の試合の優劣を判定する有効な攻撃やダウンといったハイライトシーンの動画とサムネイル画像およびその特定シーンを説明する文章を自動で生成し、ラウンド間のインターバル中にSNSへリアルタイム投稿を行うことができました。さらに本技術では、利用者からの指示を元に該当するシーンを要約した映像や文章を生成できるため、今後は運営側での配信負担軽減のみならず、ユーザーが求める臨場感のあるハイライトシーン投稿を自動生成するサービス開発などへの活用を目指します。

NECは今後も、生成AI活用を推進し、生活者の利便性向上に取り組んでいきます。

なお、NECはDXに関して、ビジネスモデル、テクノロジー、組織・人材の3軸で、戦略構想コンサルティングから実装に導くオファリングなど、End to Endのサービスを提供しています。さらに、従来型のSIerから「Value Driver」への進化を目指し、その価値提供モデルを「BluStellar(ブルーステラ)」(注5)として体系整理しました。業種横断の先進的な知見と研ぎ澄まされた最先端テクノロジーによりビジネスモデルを変革し、社会課題とお客様の経営課題を解決に導きます。

以上

本件に関するお客様からのお問い合わせ先

NEC　OMCS統括部、テレコムソリューション統括部
E-Mail：boxing_poc@omcs-tlsl.jp.nec.com