NEC、離れた場所から視線の方向をリアルタイムかつ高精度に検知できる「遠隔視線推定技術」を開発
~街の見守りや店舗のマーケティングに応用~
2016年12月16日
日本電気株式会社
NECは、NECの最先端AI技術群「NEC the WISE」(注1)の1つとして、街中や店舗などの既存のカメラで、離れた場所からでも人の視線の方向をリアルタイムに検知できる「遠隔視線推定技術」を開発しました。
従来、視線の検知は、赤外線ライトとカメラが一体となった専用装置を用いて、近距離から赤外線ライトを目にあてその反射の方向により検知を行っていました。
本技術は、世界No.1のNECの顔認証技術(注2)の中核となる顔特徴点検出技術(注3)を用いて、視線検知に必要な目頭や目尻、瞳など目の周囲の特徴点を正確に特定することで、通常のカメラのみで上下左右5度以内の誤差となる高精度な視線方向の検知を実現したものです。
また、低解像度や明るさの変化への対応強化により、カメラと対象者が10m離れた位置からでも視線検知を可能としました。さらに、高速に計算可能な特徴量抽出技術により、これまでは困難だった複数人の視線方向の同時検知も可能です。
NECは本技術を、通行人の視線の動きから、街中における避難・誘導標識の最適な配置や不審者の監視といった安全・安心に関わる用途への応用を進めます。また、スーパーマーケットなどの店舗にいる顧客やデジタルサイネージに注目している顧客の視線の動きから、人気商品や人気コンテンツの推定といったマーケティング用途としての応用も視野に実用化を進めます。
NECは「社会ソリューション事業」に注力しており、本技術をはじめ先進のAI技術で安全・安心で豊かな社会の実現に貢献します。
背景
昨今、安全・安心な社会の実現に向けた街中の監視やマーケティング戦略の立案に向けた顧客のニーズ調査において、人が何を見ているかがわかる視線検知の開発が注目されています。
従来、人の視線の方向は、赤外線ライトを目にあてその反射の方向により検知していました。そのため、赤外線ライトとカメラが一体となった専用装置が必要となり、通常のカメラで撮影された映像からは高精度に検知できないことが課題でした。
今回開発した「遠隔視線推定技術」は、NECの世界No.1の顔認証技術の中核となる顔特徴点検出技術を用いることで、通常のカメラのみで、離れた場所からでも複数人の視線の方向をリアルタイムかつ高精度に検知可能としました。
新技術の特長
- 通常のカメラのみで視線検知が可能
NECが培ってきた顔特徴点検出技術を応用し、視線の検知に重要な目頭や目尻、瞳など目の周囲の特徴からカメラ方向に対する視線の角度を算出する独自のアルゴリズムにより、カメラで撮影された映像から視線を高精度に推定可能です。
これにより、専用装置が不要になり、Webカメラ、監視カメラ、タブレット、スマートフォンといった通常のカメラでも高精度な視線検知を実現します。 - 離れた場所からでも視線推定が可能
従来、カメラと対象者が数m離れた場所から視線検知を行う場合、解像度が低くなるため、目の周りの特徴点を捉えるのが難しく、正確な視線検知が困難でした。今回、NECが開発した「遠隔視線推定技術」は、低解像度な画像の学習強化などを行った顔特徴点検出技術を適用し、低解像度に強く明るさの変化にも対応可能としました(図2)。これにより、10m離れた場所でも人が注視している方向を検知でき、スーパーマーケットなどの店舗で顧客が注目している商品を自動認識するなどの用途に利用可能です。 - 複数人の視線を同時に推定可能
高速に計算可能な特徴量抽出技術により、検知精度を落とすことなく1人あたり1ミリ秒以下で視線の算出が可能です。これにより、カメラに複数の人物が写っている場合でも、全ての人の視線を同時に測定することができるため、例えば、デジタルサイネージの画面上で観客ごとに注目しているコンテンツをリアルタイムで把握し、広告効果測定などの用途に利用可能です。
NECグループは、安全・安心・効率・公平という社会価値を創造する「社会ソリューション事業」をグローバルに推進しています。当社は、先進のICTや知見を融合し、人々がより明るく豊かに生きる、効率的で洗練された社会を実現していきます。
以上
- (注1)
「NEC the WISE」(エヌイーシー ザ ワイズ)は、NECの最先端AI技術群の名称です。"The WISE"には「賢者たち」という意味があり、複雑化・高度化する社会課題に対し、人とAIが協調しながら高度な叡智で解決していくという想いを込めています。
・プレスリリース NEC、AI(人工知能)技術ブランド「NEC the WISE」を策定
http://jpn.nec.com/press/201607/20160719_01.html
・NECのAI研究
http://jpn.nec.com/rd/crl/ai/ - (注2)NEC、米国国立標準技術研究所(NIST)の顔認証技術 ベンチマークテストで3回連続評価を獲得
http://jpn.nec.com/press/201406/20140620_01.html
NEC、米国国立標準技術研究所(NIST)の指紋認証技術 ベンチマークテストにおいて第1位の評価を獲得
http://jpn.nec.com/press/201503/20150306_01.html - (注3)顔特徴点検出技術:顔矩形領域から瞳中心、鼻翼、口端などの特徴点の位置を探索する技術。特徴点周辺輝度パタンを用いて最適な位置を探索しつつ、顔形状モデルにより特徴点配置に制約を加えることで、精密に特徴点位置を求めることが可能。
http://jpn.nec.com/rd/research/DataAcquition/technologies.html
本件に関するお客様からのお問い合わせ先
NEC 研究企画本部 プロモーショングループ
お問い合わせ
NECは、社会ソリューション事業を推進する
ブランドメッセージ「Orchestrating a brighter world」のもと、
今後の世界の大きな変化(メガトレンド)に対応する
様々な課題解決や社会価値創造に貢献していきます。
詳細はこちらをご覧ください。
https://jpn.nec.com/profile/vision/message.html