サイト内の現在位置を表示しています。

インビジブルセンシング技術によるウォークスルーセキュリティ検査

社会システムを支えるセンシング技術 ~ 検知と認識のセンシング技術

公共交通機関や多くの人が集まる施設でのセキュリティ対策として、電波の透過性を利用したセンシング技術が注目されています。実環境での運用に際しては、多数の利用者の流れを止めずに、利用者に負担なく、非接触でのセキュリティ対策が望まれます。本稿では、利用者を立ち止まらせることなく手荷物の中や衣服下に隠された危険物を検知するウォークスルーセキュリティ検査システムを紹介します。

1. はじめに

昨今、不特定多数を標的とする殺傷事件などの都市犯罪の増加やテロ脅威の高まりを背景に、公共交通機関や多数の人が集まる施設でのセキュリティ強化が急務となっています。空港などでは、図1(左)に示すような静止型ボディスキャナの導入が始まっています。ボディスキャナは電波の透過性により衣服下に隠された危険物を検知しますが、立ち止まって一人ずつ検査するためにスループットが低く、検査待ちの列が生じてしまいます。また、検査時にはポケット内の小物を取り出したり、検査装置の中で所定のポーズをとらされたりするなどの検査協力が求められ、利用者の負担が生じます。このため、都市部など多くの人が利用する場所(鉄道、学校、商業施設、スタジアム、アミューズメントパークなど)では、高スループットで人の流れを止めず利用者に負担のないセキュリティ対策が望まれます。更に、感染症対策が極めて重要視される最近の社会情勢においては、人と人との距離を保つ非接触でのセキュリティ検査、また検査渋滞解消のニーズが高まっています。

図1 インビジブルセンシングのコンセプト

NECでは、利用者の動きを止めることなく手荷物の中や衣服下に隠された危険物を非接触で検知するインビジブルセンシング技術(Invisible Sensing、以下、IVS)の研究開発に取り組んでいます(図1(右))。本稿では、NECが開発したIVSによるウォークスルーセキュリティ検査システムを紹介します。

2. 期待されるセキュリティ対策の要件とニーズ実例

都市部で多くの人が利用する施設におけるセキュリティ対策を考えるうえで、重要な要素の1つは、多数の利用者の動線のほとんどは流動的であるということです。このため、「人が多く通る場所で、人の流れを止めずに、非接触で人手をかけずに」セキュリティ検査を実現する必要があります。このような場面でのセキュリティ検査システムは、次の要件を満たす必要があります。

  • 人の流れを妨げない高スループット
  • 検査のために特定の姿勢をとらせたり動きを妨げたりしないこと
  • 特定の危険物を日用品と区別して検知すること
  • 非接触での検査

次に、実際のセキュリティ対策強化ニーズの具体例を示します。フィリピンのマニラ首都圏での交通渋滞はアジアでも特に酷く、独立行政法人国際協力機構(JICA)の試算によれば、2017年時点で1日に35億ペソ(約74億円)の経済的損失が生じていると言われています1)。これを解消するため、都市鉄道や地下鉄の延伸・建設計画があります。現在、マニラには3路線(計44駅)の都市鉄道があり、延伸後には57駅となる予定です。更に、15駅からなるフィリピン初の地下鉄の建設が計画されており、開業予定の2025年にはマニラ首都圏の鉄道利用者数は、1日当たり167万人にのぼると見込まれています。

一方、フィリピンは銃社会であり、一般市民でも所有権を取得すれば銃を持つことができ、護身用や競技用として普及しています。このため、フィリピンでは鉄道輸送安全の一環として旅客への銃やナイフ所持の検査実施は必須であり、駅改札口前での手荷物検査は日常の光景となっています。主要駅では、駅に入る前に手荷物検査を行う場合もあります。

この手荷物検査は1レーン当たり金属探知ゲートと1~2名の警備員が対応していますが、金属探知ゲートは危険物以外の金属物にもアラームを発してしまうため、実際には警備員の目視確認が頼りであり、検査に時間がかかってしまいます。朝夕のラッシュ時には、切符を買うまでに数十分、そして荷物検査のためにも長蛇の列ができ、入場までには更に数十分かかる状況です。フィリピン運輸省関係者からは、このような状況を改善し、乗客の安全・安心が担保された鉄道輸送の実現に向けたソリューションとして、IVSに強い関心が寄せられています。

3. インビジブルセンシングの概要

3.1 システム概要と特長

NECが開発したIVSウォークスルーセキュリティ検査システム(以下、IVSシステム)は、マイクロ波アクティブレーダーを用いてゲートを通過する人のイメージングを行い、手荷物や衣服下などに隠された危険物をリアルタイムで検知します。ミリ波よりも波長の長いマイクロ波を用いることで、センシング領域当たりの必要アンテナ素子数を削減し、スキャン時間を短縮することで対象物の移動に対する耐性を高め、ウォークスルー検査を実現しました。アンテナ素子数削減は、コスト削減にも寄与しています。

IVSシステムは、次の機能的・技術的特長があります。

  • 通行者の位置変化を利用したウォークスルー全身検査
  • 歩行速度に対応するビデオレートでの高速イメージング(10fps)
  • 通行中の撮像ブレを抑制する移動補償技術
  • 小型刃物などの危険物を日用品と区別して検知可能なAI検知技術

なお、開発したデモ試作機は、日本国内の技術基準適合証明(7.28~10.23GHz)を取得しています。この周波数仕様は米国FCC規格の基準を満たしている他、アジア各国でも参照される欧州規格(6.0~8.5GHz)への動作周波数帯域の変更も可能です。

3.2 全身検査の仕組みとシステム構成・処理概要

IVSシステムは、ゲートを形成するセンサーパネル間を人が通過する間に、センサーと人の位置関係が変化していくことを利用して計測を行います。図2に示すように、ゲートの入口側で検査対象者の前面を、ゲート内で左右両側面を、出口側で背面をスキャンします。これにより、IVSゲートを通過する間に全身のウォークスルー検査が可能になります。

図2 インビジブルセンシングによる全身検査

図3にIVSシステムの構成を示します。システムは対向設置してゲートを形成する主パネルと従パネルの2枚のセンサーパネルで構成され、両センサーパネルは同期して、次の処理手順に従って連携動作します2)3)

  • (1)
    各パネルのレーダーセンサーよりマイクロ波を照射し、被験者からの反射波を受信
  • (2)
    受信信号に基づき移動補償及びイメージング処理
  • (3)
    レーダー画像を入力としたフレーム単位の危険物検出処理
  • (4)
    被験者がセンシング領域を通過する間に計測した複数の検出結果(3)に基づいて、当該被験者の危険物所持有無を検知判定
図3 IVSシステム構成

主パネルと従パネルは、互いの電波が干渉しないよう、100ms間隔のスロットで交互に時分割照射します。各パネルにおいて、処理(1)~(3)は1スロット内にパイプライン処理で更新され、10fps動作を実現しています。処理(4)では両パネルでのフレーム単位の検出結果が主センサーパネルに集約され、危険物検査の最終検知判定結果を出力します。

4. インビジブルセンシングの要素技術

4.1 高速レーダーイメージング・移動補償技術

IVSシステムは、レーダーセンサーにより得られる反射波を解析して物体形状を結像するイメージング処理を高速で実現しています。レーダーセンサーは、多数の送信アンテナ(Tx)と多数の受信アンテナ(Rx)からなるMultiple-Input and Multiple-Output (MIMO) 構成です。NECが開発した試作機では、1センサーパネル当たりTx 198素子、Rx 198素子が1m四方にMIMOアレーを構成するよう配置しています。各パネルの各Txは干渉しないよう1素子ずつ順に照射し、対象物からの反射波の受信は両パネルの全Rxで同時に行います。送信波は、周波数が時間とともに段階的に変化するStepped Frequency Continuous Wave(SFCW)としています。

全Rxは、各Tx・各周波数の反射波の複素振幅(振幅Aと送信波との位相差φからなる複素数Aexp(-iφ))を取得し、これをレーダー信号として扱います。イメージング手法については、レーダー信号を周波数領域で扱うことで高速処理が可能なMIMO Range Migration Algorithm(RMA)4)を応用し、更にGPUに適した高速化処理を施し実装しました。

ウォークスルー検査を実現するにはレーダーの高速処理に加え、対象物の移動に起因する撮像ブレの抑制が重要です。そこで、レーダー信号から対象物の移動量を推定し、これをMIMO-RMAに適用して移動量を補償するイメージング手法を開発し、撮像ブレを抑制しました5)

図4に開発した移動補償処理を適用した高速レーダーイメージングの実測例を示します。上段は、拳銃(モデルガン)を手荷物の中に隠し持つ被験者が早歩き(1.5m/s)でIVSゲートを通行した際の被験者側面のレーダー画像を示しており、従来のレーダー画像(左)では歩行による撮像ブレが生じているのに対して、本移動補償技術を適用すると撮像ブレが抑制され明瞭なレーダー画像(右)が得られることが確認できます。同図下段は、拳銃を腹部に隠し持つ被験者が、IVSゲートに進入した際の被験者前面のレーダー画像を示しており、同様に本移動補償技術の適用効果が確認できます。

図4 移動補償イメージングの効果

4.2 レーダー画像に基づくAI危険物検知技術

レーダー信号を処理して得られた左右両側面及び前背面のレーダー画像を入力として、AIによる高速・高精度物体検知を行います。IVSシステムのレーダー画像データは、側面画像が119×119×69のサイズ、前背面画像が90×100×50のサイズをもつ三次元の複素数からなり、この大量のデータをリアルタイム処理するため、NECでは情報圧縮手法を開発しました6)

三次元複素レーダー画像から、側面については、レーダーセンサー配置面に対して直交方向のデータから反射強度(振幅)が最大となる複素数の値のみを選ぶことで情報を圧縮し、二次元複素数のレーダー画像を得ます。同様に、前背面はレーダーセンサー配置面と並行方向に情報圧縮し、二次元レーダー画像を得ます。データ各画素の複素数を振幅と位相に分けて色空間に変換し、RGB画像を生成します。これを入力とすることで、標準的な畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)を適用することができます。このように、複素情報を維持したまま圧縮することにより、高い検出精度とリアルタイム処理を実現しています。

本情報圧縮手法による三次元物体検出性能を、IVSシステムで実機評価しました。複数の被験者に対して異なる複数の拳銃(モデルガン)を対象物として衣服下あるいは手荷物の中に隠して実験を行いました7)。実測した三次元レーダー画像に対して前述の情報圧縮手法を適用し、側面画像・前背面画像を独立に最新の二次元CNNフレームワークを適用して学習したモデルで検出特性を評価し、画像単位の全身検査として検出率(Recall)90~95%、誤検出率(False Alarm)1~5%を得ました。処理時間は、情報圧縮手法を用いることで、GeForce GTX1080Ti上で100ms以下を実現しています。これは、元の三次元レーダー画像を用いた場合に比べて、検出性能を維持したまま約6倍高速化されていることになります。

4.3 IVSシステム表示及び動作例

IVSシステムの実際の動作例として、側面からスキャンした際の様子を図5に示します。拳銃を手荷物の中に隠し持つ被験者が、IVSゲートを通過した際の100msごとの連続撮像を並べて表示しており、危険物として自動検出した箇所を四角枠で表示しています。

図5 IVSシステム10fps動作の実測例

また、IVSシステムのデモ用に開発した画面表示を図6に示します。画面上部には、IVSゲートを通過する被験者のレーダー画像(前面、左側面、右側面、背面)を選択して動画表示でき、また検査時の様子をレーダーセンサー面に内蔵したカメラ画像と対応付けて表示できます。この際のレーダー画像は、被験者プライバシーに配慮し、検出した危険物箇所以外の領域は不鮮明化して表示されます。画面最上部の帯には被験者ごとのセキュリティ検査結果表示部を設けており、危険物を検知した場合には“Detected”、不検知の場合には“Pass”が表示されます。また、IVSシステムの入口側に内蔵したカメラで、被験者がセンシング領域に入る際に撮影した画像を表示し、検査結果との対応付けが可能となっています。

図6 IVSシステムデモ画面

5. サービス展開のイメージ

NECは、機器としてのIVSウォークスルー危険物検査システムだけでなく、セキュリティ対策ソリューションやサービスとして提供していく予定です。図7に一構成例を示していますが、各IVS装置はクラウド上の監視センターで管理することも可能であり、各設置ポイントで検査する対象物を監視センターのメニューから選択して設定することや、最新の検知エンジンを適宜アップデートすることが可能です。また、複数のIVS検査結果を統合することや、顔認証情報や他センサーによる情報と統合するなどして、付加価値を高めることも可能です。

図7 IVSシステム構成イメージ

なお、本稿ではゲート型のIVS全身セキュリティ検査システムの構成を中心に紹介してきましたが、IVSシステムは手荷物検査専用に別形態の装置構成とすることも可能であり、お客様のニーズに合わせて警備システムと一体化した包括的なセキュリティソリューションとして展開していきます。

6. まとめと今後の展開

利用者の動きを止めることなく、手荷物や衣服下に隠された危険物を検知するIVSウォークスルーセキュリティ検査システムを紹介しました。本システムは、高スループットと利用者の利便性、また特定の危険物を日用品と区別して検知する機能を実現しており、都市部の施設でのセキュリティ強化策の1つとして有効と考えています。

今後、実環境での実証実験を進め、早期社会実装を目指します。

参考文献

  • 1)
  • 2)
    Masayuki Ariyoshi:Invisible Sensing – Walk-Through Concealed Weapon Detection Using Microwave Radar,Japan Railway Engineering,Vol 61 No 1,2021.1
  • 3)
    小倉一峰、住谷達哉、カーン・ナグマ、山之内慎吾、野村俊之、有吉正行:インビジブルセンシング -ウォークスルーセキュリティ検査システム-,電子情報通信学会技術研究報告,SR2021-13,2021.5
  • 4)
    Xiaodong Zhuge et al.:Three-Dimensional Near-Field MIMO Array Imaging Using Range Migration Techniques,IEEE Transactions on Image Processing,Vol. 21 No. 6,2012.6
  • 5)
    Tatsuya Sumiya、Kazumine Ogura、Shingo Yamanouchi、Nagma Khan、Masayuki Ariyoshi and Toshiyuki Nomura:Motion Blur Suppression Accommodating to Fast Radar Imaging for Walk-Through Concealed Weapon Detection,2020 IEEE Radar Conference (RadarConf20),2020.9
  • 6)
    Nagma Khan、Kazumine Ogura and Masayuki Ariyoshi:Compressed Representation of 3D complex Radar Image for Real-Time Object Detection,2020 IEICE General Conference,B-17-4,2020.3
  • 7)
    Nagma Samreen Khan、Kazumine Ogura、Tatsuya Sumiya and Masayuki Ariyoshi:Whole Body Object Detection on Radar Images Captured by Coupled-Panel,2021 IEICE General Conference,B-17-14,2021.3

執筆者プロフィール

有吉 正行
データサイエンス研究所
主幹研究員
小倉 一峰
データサイエンス研究所
主任研究員
野村 俊之
データサイエンス研究所
研究部長
森本 伸一
ワイヤレスソリューション事業部
エキスパート
本條 翔
グローバルトランスポートインテグレーション本部