空港や駅などの公共施設における安全・安心を実現するために、顔認証に対する需要はますます高まっています。また、顔認証は、決済時における本人確認用途など、社会を構成するセキュリティ・インフラの一つとして、欠かせないものになっています。本稿では、顔・人体検出技術や顔認証技術の紹介に加え、顔認証を補完する技術である人物照合技術について紹介します。人物照合は人物の体全体を使って認証する技術で、顔が見えない場合に有効です。更に、NECがトップの認証精度を獲得した米国国立標準技術研究所（NIST）による、動画を対象とした顔認証技術評価プログラムにおける評価結果について説明します。

1. はじめに

近年、米国同時多発テロやボストンマラソン爆弾テロ事件を始めとした無差別なテロリズム行為で、セキュリティ不安が高まっており、顔認証に対する要望はますます増えてきています。NECの顔認証技術は、2009年に米国国立標準技術研究所（NIST）主催のベンチマークで第1位の評価を得て以来、3回連続で第1位の評価を獲得しています^1）。また、2017年には動画顔認証でも第1位を獲得しました^2）（図1）。

更に、その製品は世界45カ国100システム以上に採用されており、米ニューヨークJFK空港や、オーストラリア政府機関、ブラジル主要空港、サウスウェールズ警察など、世界の主要機関で活用されています。NECグループでは株式会社テイパーズとともに、顔認証技術を用いた本人確認システムを2014年に日本で初めてコンサート会場に導入し、4年間で110万人にのぼる利用を通して、チケット転売防止につながる効果を得ることができました^3）。

このように広く世界に展開している顔認証ですが、後ろ向きの人物など、顔が見えない場合には別の認証技術が必要です。一方、例えば、人が後ろ向きの人物を見た場合、それが知った人であれば全体的な人物の姿からその人物であるとわかるものです。これと同様に、人物の全身画像からその人物を識別する技術が人物照合技術です。この技術により、人物を識別できる場面を大幅に増やすことができます。

本稿では、第2章において顔認証・人物照合技術について紹介し、第3章において米国国立標準技術研究所（NIST）で実施された動画顔認証の評価結果について述べます。第4章において人物照合の利用シーンを紹介し、第5章において本稿をまとめます。

2. 顔認証技術と人物照合技術

近年の深層学習技術の発展に伴い、従来に比べ、飛躍的に高精度な顔認証・人物照合が可能になりました。本章では、これらを支えるコア技術である顔・人体検出技術、顔照合技術、人物照合技術の特徴を紹介します。

2.1 顔・人体検出技術

顔・人体検出技術は、画像のなかから顔や人体の位置を求める技術です。画像を入力すると、その画像のなかに映る顔と人体の位置を出力する畳み込みニューラルネットワークを、深層学習の技術で構築します。人体は、顔と比べて姿勢や服装の違いにより画像としての見えの変化が多く複雑です。その複雑な人体を検出するため、さまざまな人物が歩いたり走ったりする様子を多くの角度から撮影した、偏りがない大量の人体画像を学習データとして与えます。これにより、さまざまな場面で確実に顔や人体の位置を検出することが可能となります（図2）。

2.2 顔照合技術

顔照合技術については、得られた特徴点位置を用いて顔の位置や大きさ、角度などを正規化し、登録画像と照合画像の2枚の顔画像を比較することにより、本人か否かを判定します。正規化した顔画像を、深層学習で構築した畳み込みニューラルネットワークへ入力することで、個人を識別するために最適な特徴を抽出します。これにより、経年変化やマスクなどによる部分的な隠れの影響を受けにくくなるなど、さまざまな変動に頑健な個人識別が実現できます（図3）。

2.3 人物照合技術

人物照合も顔照合と同じく本人か他人かを識別する技術であるため、基本的な機能も同様となります。ただし、入力データが顔画像ではなく全身画像となります。すなわち、対象となる人物ごとに全身画像を深層学習により構成したネットワークに入力し、照合のための特徴量ベクトルを出力します。次に、照合対象の2つの特徴量ベクトルを比較し、本人らしさを表すスコアを計算します。最後にこのスコアから本人か他人かを識別します（図4）。

人物照合技術の特徴は、全身画像の一部分が隠ぺいされる部分隠ぺいに強いことです（図5）。これは、深層学習時の学習方法の工夫により実現しています。

3. 米国国立標準技術研究所（NIST）による動画顔認証の評価

2017年に公表された米国国立標準技術研究所（NIST）による動画顔認証の評価について、説明します^4）。本評価は、Face in Video Evaluation（FIVE）と呼ばれ、動画（ビデオ映像）からの顔認証技術評価で、カメラを意識していない被写体に対する顔認証の精度評価です。2015年2月から評価を開始し、2017年3月に最終報告書が公開されています。世界各国の16組織が参加しています。アプリケーションとして入退場管理や不審者発見を想定しており、さまざまな状況（登録人数、カメラ位置、カメラ台数）で、評価が実施されています。

図6にウォークスルー認証を想定した評価の概要を示します。カメラに気付かず、立ち止まらずに1人ずつ歩いてくる人物を認証し、空港などでのウォークスルー認証を想定しています。事前登録人数は480名で、1旅客機の搭乗者数が想定されています。認証対象は248動画で、評価は1位照合率で示されています。この評価は、顔がカメラに近く1人ずつの評価であるため、動画顔認証としては好環境になります。

図7に評価結果を示します。NECはトップのエラー率で0.8%であり、2位に比べて、4分の1以下のエラー率となっています。この結果は、カメラを気にせずに立ち止まらないという実環境で、高い性能が出ることを示しています。

次に、屋内カメラで撮影された映像から、登録済みの人物を認証する評価について説明します（図8）。被写体がカメラから遠く、顔の向きの変動も大きく、悪環境下での評価となります。登録人数は480名で、照合用の動画には、約133時間が使われています。カメラから人物までの距離が遠いため、顔は低解像度で映されており、顔の向きもさまざまであり、動画顔認証としても悪環境での評価になっています。

図9に評価結果を示します。85%の人物が顔認証のみで見つかることを示しており、2位に比べて半分以下のエラー率になっています。本評価から、NECは、低解像度の画像でも照合できる唯一のベンダーであることを示しています。

このように、NECの顔認証技術は、静止画の場合だけでなく、動画を対象とした場合でも高い評価を得ています。好環境や悪環境、静止画や動画といったさまざまな環境で、安定した性能を出すことができる唯一の顔認証ベンダーとして、世界各国の案件で採用される契機になっています。

4. 人物照合の利用シーン

人物照合の利用シーンとしては、空港などの広い施設における、迷子などの特定の人物の捜索が考えられます。広い施設においては通常、多くのカメラが設置されており、これらのカメラで撮影された映像を利用することにより、人物の探索を行うことができます。このように、特定の人物を探索するためには顔認証を用いることが有効ですが、後ろ向きの人物など顔が映像に映っていない人物については顔認証を用いることができません。従って、顔認証のみでは人物を見つけられない期間が発生し、その人物の探索が遅れてしまう結果となります。

このような問題を解決する手段として、人物照合を用いて複数のカメラ間で人物を追跡する方法が考えられます。すなわち、あるカメラ映像において顔が見えた場合、そのカメラ映像に対して顔認証を用いて人物を特定します。その後は、人物照合を用いてその人物を複数のカメラをまたいで追跡を行います（図10）。人物照合により、顔が見えていない場合にも追跡を継続することが可能です。これにより、カメラ映像に顔が見えていない場合においても、人物の追跡結果とその追跡に対応付けられている顔認証結果を参照することにより、その時点における人物の探索を行うことが可能となります。

また、顔認証と組み合わせない場合においても、人物照合を用いた追跡により各人物の動線を検知することが可能ですので、例えば、長時間うろついているなど不審な行動をする人の発見などに利用することができます。

5. まとめ

本稿では、顔認証・人物照合における技術の紹介と、NISTによる評価結果を説明しました。顔認証・人物照合は、年々市場が拡大していますが、実利用するためにはセキュリティとプライバシーの両面に配慮する必要があります。今後、認証精度を更に改善することにより、セキュリティ製品としての性能を向上させつつ、各国の法律に基づいたプライバシーを担保するような技術開発を進めていきます。

参考文献

執筆者プロフィール