NEC、数秒のサンプル映像を与えるだけで、ライブカメラの映像などから見つけたい行動を検出できる技術を開発 (2021年4月5日): プレスリリース

2021年4月5日
日本電気株式会社

NEC は、行動のサンプルを数秒の映像として与えるだけで、ライブカメラの映像や映像アーカイブの中から、類似の行動を簡単に見つけ出す技術「オンデマンド行動検出」を開発しました。

本技術を活用することで、うずくまりや倒れこみなど、支援や介助が求められる行動/動作を、商業施設などに設置されたカメラの映像などからリアルタイムに検出し、施設の管理者がすみやかに現場に駆け付けたり、救急通報を行ったりすることが可能になります。

通常、特定の行動を映像から自動で検出するためには、検出したい行動が映った映像を大量に集めてAIに学習させるなどの準備が必要です。一方で、こうしたAIの学習には時間がかかるため、従来は探したい行動をすぐに登録して検出することは技術的に困難でした。また、一つの行動には様々なバリエーションが存在するため、行動を定義してAIに学習させること自体が困難であるという課題がありました。

今回開発した「オンデマンド行動検出」は、一般的な映像検索技術とは異なり、見つけたい行動を事前に定義してAIに学習させる手間が不要で、対象となる行動が映っている数秒の映像をサンプルとして与えるだけで、類似行動の検出が可能になります。また、被写体の向きに関わらず類似の行動を見つけ出すことができるため、一つの行動を検出するために複数のサンプル映像を与える必要がありません。これにより、運用者の負担を軽減し、より実用性の高い行動検出サービスを実現できます。

NECは、今後、映像解析技術などを組み合わせた見守りソリューションや映像コンテンツ編集といった用途に向けて、本技術の実証実験を進めてまいります。

技術の特長

本技術は、サンプル映像に映っている人物の骨格構造を推定し、その骨格の変化をライブカメラの映像や映像アーカイブ内の動作と比較することで、類似する行動を高精度に検出します。これにより、以下の特長を有しています。

数秒の映像を一つ与えるだけで、オンデマンドで行動を検出
サンプル映像を与えるだけですぐに類似行動の検出が可能なため、従来想定していなかった要支援行動を容易に追加し、検出することが可能です。
また、本技術は様々な動作に対応でき、要支援行動だけではなく、昨今のコロナ対策で急速に関心が高まっている、アルコール消毒をする動作の把握にも応用できます。
被写体の向きや大きさが異なっても、類似の行動を検出
ボールを投げる動作を例にとると、従来技術ではカメラを背にしてボールを投げる映像をサンプルとして与えるだけでは、同じ向きの類似行動しか検出することはできませんでした。しかし、本技術では、向きや大きさに依存しない特徴を取り出すことで、カメラに向かってボールを投げるなど、向きが異なる動作でも検出することを可能にしました。これにより、人物とカメラの位置関係を固定化することが難しい場合でも、目的の行動を検出することができます。
ライブ映像からリアルタイムに行動を検出可能
画像そのもの(面)ではなく、画像から推定した骨格の形状(十数個の関節点)を基に行動を照合することで、従来技術よりも計算量を抑えることに成功しました。これによりライブカメラの映像から目的の行動をリアルタイムに検出したり、映像アーカイブから高速に検索したりすることが可能になりました。