従来、人物行動を解析するソフトは監視カメラのオプションと位置付けられていました。監視カメラの普及・ネットワーク化により、映像監視システムは大規模なものとなり、業務支援ツールとしての画像解析ソフトはより重要度を増しています。
NECにおいても、監視オペレータの気づきを支援する警備・保守業務支援ツールとしての映像監視システムの実現を目指して、監視カメラ映像中から人物を自動検出・追跡し、あらかじめ設定した監視ルールにそった分析をリアルタイムに行い、禁止・危険行動を自動検知する人物行動分析技術の実用化に取り組んでいます。
本稿では、人物行動分析にかかわる技術課題とその対応を解説し、関連するシステムと組み合わせた適応例を紹介します。

1. はじめに

交通ターミナルや商店街をはじめとする不特定の人が往来する公共施設やエリアを中心に、監視カメラの設置は日常的なものとなっています。映像監視システムの普及に伴い、監視オペレータが注視すべき監視カメラ映像は増大し、目視確認では迅速な対応や適切な判断が困難な状況となっています。

弊社は、さまざまな施設やエリアに散在する監視カメラがネットワーク接続され大規模化することを踏まえ、高度な警備・保安業務を支援する人物行動分析システムの開発に取り組んでいます。

本稿では、監視カメラ映像をリアルタイムに画像解析することで人物の状態や振る舞いを把握・理解し、オペレータの気づきを支援するシステムの実用化に向けた要素技術の概要と、その適応例を紹介します。

2. 人物行動分析技術

NECではセキュリティ用途や業務分析、マーケティング向け情報収集に利用可能な、マルチカメラとRFIDなどの認証センサを融合した人物行動解析システムを開発しています（図1）。

監視カメラ映像から高精度に人物行動を把握するには、照明の変化や不規則な環境変動に影響されずに、安定して人物のみを検出し、その足取りを抽出する必要があります。特に、オフィスや店舗などの屋内施設では、机やキャビネット、棚などの陰に人物が隠れても、人物の足取りを追跡し続けることが必要となります。NECは、これらの条件下で高精度に人物の足取りを追跡し続けることが可能な画像解析技術を開発しました。また、RFIDなどの認証センサと連携させて、監視カメラ映像中の人物が誰なのかをリモート認証し、動線を抽出する技術を開発しました。これらの技術により誰がどこでどのような行動をしているかを把握することが可能となり、入退場管理などのセキュリティ用途のほか、店舗などでの来場者のマーケティングツールとしての応用も可能となります（図2）。

2.1 人物抽出・追跡技術

監視カメラ映像から高速かつ高精度に人物の足取りを抽出するには、まず急激な日照変動や照明変動、木の揺れなどによる誤検知を抑えながら移動体を検知する必要があります。そこで環境適応型の学習機能により上記課題を解決し、高精度に移動体を検出できる尤度ベース背景差分方式¹⁾を開発しました。次に、検出された移動体が人物かどうかを識別することが必要となります。より正確に人物を識別するために正規化融合型勾配方向特徴²⁾を用いて移動体の特徴を抽出し、GLVQ³⁾を用いて学習した移動体の特徴DBを用いることで認識精度をより高精度化しました。また、監視カメラ中の人物同士のすれ違いや物陰に隠れた場合に同一人物の足取りを正しく追跡するために、人物の移動速度や特徴を利用した追跡処理を実用化しました（図3）。

これら要素技術を組み合わせ、監視カメラ映像からリアルタイムで高精度に人物の足取りを抽出することを可能としています。

2.2 マルチカメラ連携技術

1台の監視カメラだけで人物の足取りを追跡しようとすると、オフィスや店舗などの屋内では、机やキャビネット、棚などの陰に人物が隠れてしまうと足取りを追跡することが困難となります。そこで複数台のカメラを効果的に連携させる技術を開発し、1台のカメラ映像では物陰などで見えなくなった人物も他のカメラ映像で確認できていれば確実に人物の足取りを追跡することを可能としました。

NECの開発したマルチカメラ連携技術では、複数カメラからの情報により三次元形状を推定するので、商品棚などの障害物の多い店舗内や、混雑した状況でも、人物の立っている位置を±25cm以内で推定することが可能です。また、監視エリアを地図上に展開し、複数人の位置情報をリアルタイムに表示することを可能としました（図4）。

2.3 認証センサ連携技術

監視カメラ映像中の複数人物の検出・追跡において、RFIDや顔照合によるID情報を紐付けすることで、特定人物に特化した行動を把握することが可能となります。例えば、関係者のみアクティブRFIDを持ち合わせている場合、タグを所有していない部外者のみの行動分析をリアルタイムに実行することが可能です。また、特定人物の位置情報やID情報が消失し断片化した場合にも、継続的な動線追跡が可能となります。

特定のタグ方式や特殊なセンサに依存せずに、さまざまなセンサから収集した情報と監視カメラ映像中の人物とを紐付けすることで、高精度な行動センシングが可能となります（図5）。

3. 人物行動分析システム

3.1 概要

第2章で解説した要素技術を組み合わせ、複数台の固定カメラとセンサ・タグ装置による人物行動分析システムを開発しました。このシステムは特定のカメラ機種・機能に依存せず、監視カメラ映像をもとに画像解析による行動不審者検知に加えて、センサ・タグから収集した属性情報と紐付けて、人の行動・モノの流れの把握・管理を実現します（図6）。

3.2 特徴

(1) マルチカメラ対応

監視エリア内に設置した複数台のカメラを連動させ、リアルタイムに複数人の行動分析・位置管理を実現します。複数台のカメラ映像の中で同時に撮影されている特定人物の位置を把握することで、人物の移動による重なりやカメラの死角に入った際の誤認識を低減します。
監視対象となるエリア中の人物属性や位置情報は、ビューワによりリアルタイムに確認することができます。このような画像解析処理を汎用パソコン上で実現し、既設監視カメラを特殊なタイプに変更することなく追加導入することで、人の動き・モノの流れを把握管理することができます。

(2) 環境変動への対応

学習型の画像解析エンジンを採用することで、天候や日照変動の影響を最小に抑えます。またカメラ位置からの距離で移動体の大きさを精緻に定義し、人物の形状まで分解して人物判定を行うことで、高精度の人物検出を実現します。

(3) 簡便な監視ルールの設定

ポリシー設定画面上での操作により、監視すべきエリア、警告すべき事象を登録できます。警戒エリアは任意の形状に設定でき、警戒エリアへの侵入・滞留という振る舞いを検知した場合に警告を発信します。

(4) 人物属性に応じた行動把握

センサ・タグ装置から収集した属性情報と監視カメラ映像中の人物を紐付けすることで、認証権限に応じた行動監視を実現します。

(5) トラブル発生事象の確認

禁止行動や危険行動が確認されると、アラーム音や警告メッセージにより監視オペレータに通知します。監視画面ビューワ中の該当監視カメラ映像を選択すると、事象が発生した直前の状態から映像が再生され、状況確認を迅速に行うことができます。

4. 適応例

4.1 行動不審者監視

発電所やデータセンターをはじめとする高レベルのセキュリティ管理が求められる特殊施設では、厳密な入退場管理を行うだけでなく、入場後の行動も常時監視する必要があります。また港湾・河川や空港といった広域エリア監視においては、いち早く不正侵入や危険行動の検知が求められます。

このような施設やエリアに人物行動分析システムを導入することで、膨大な数の監視カメラ映像から禁止行動やトラブルを自動検知し、警備・保安関係者の見落とし防止や気づきを支援します。可動カメラと組み合わせることで、不審者を自動追跡し、記録が必要な映像のみ記録・保存します。

また、交通ターミナルや集客施設のような不特定多数の人が来場する施設においては、顔照合システムによる不審者の顔の切り出し・照合を連動して実行し、あらかじめ登録された不審者リストとの照合を行います。

監視ルールを時間別に設定し、状態に応じた自動監視を行うことで、警備・保安業務の負荷低減を図ります（図7）。

4.2 プラント向け現場可視化

造船所や大規模プラント・工事現場などではさまざまな作業者と部材が複雑に入り組み、特定の作業工程においては事故が絶えません。また、施設だけでなく敷地内を網羅的に監視する必要があり、許可していない部外者が禁止エリアに立ち入った場合に、迅速な対応が困難な状況にあります。

このように人物とモノが混在する施設に人物行動分析システムを導入し、作業工程内容や施設の用途に応じた監視ルールを個別設定することで、施設やエリアごとのセキュリティレベルに沿った運用を実現します。また、平常時は作業員の作業内容を分析するツールとして活用することで、組立て業務の効率化を支援します。

4.3 店舗来場者管理

コンビニエンスストアやチェーン店舗をはじめ、メガストアといった不特定多数の来場者が集まる集客施設において、事件・事故の発生は重大な被害を招きます。行動不審者をいち早く検知し、巡回中の警備・保安員に状況を伝え、事件発生前に対応することで、2次被害を最小にとどめる必要があります。

このような施設に人物行動分析システムを導入することで、過去に記録された不審者との照合に加え、店舗内でのうろつきといった不審行動を自動検知し、事故の未然防止を支援します。また、平常時は性別・年齢推定システムと組み合わせることで、来店者の行動センシングツールとして滞留・動線を見える化し、マーケティング用途で利用することができます（図8）。

5. おわりに

このように、監視カメラとセンサ情報といった異種情報を統合することによって、より高精度かつ多様な人物行動の分析が可能となります。現在、人物行動分析エンジンの強化に加えて、関連する解析エンジン間の連携をサポートするプラットフォーム（IVCP:Information Value Creation Platform）の構築を推進しています。IVCPは、エンジン間の連携をサポートし新たな価値を生み出すことを目的としてますが、それだけでなく、エンジンを適切な粒度でモジュール化することにより、システムの構築を容易にすることを目指しています。モジュール化されたエンジン間で共通のフォーマットによりデータをやりとりすることで、異なるアプリケーション間で同一のエンジンを利用できます。結果として、システム構築コストの低減や他分野でのエンジン利用などの効果が期待されます。今後、技術の幅広い展開に向け、IVCPの構築を更に強化していきます。

参考文献

執筆者プロフィール