2020年6月30日

NECは、駅や空港といった公共施設や店舗などの人が集まる場において、人と人が十分な距離を保てているかをリアルタイムに判定して可視化するソーシャルディスタンシング判定技術を開発しました。既設のカメラを活用して、わずか数分で導入できる本技術について、研究者に話を聞きました。

既設カメラの映像から、わずか数分でリスクの可視化を実現

― ソーシャルディスタンシング判定技術とは、どのような技術なのでしょうか？

西村：カメラの映像を解析し、人々の間に適切な距離が確保されているかどうか（ソーシャルディスタンシング）を判定できる技術です。映像内の人体を検知し、半径1m（cm単位で自由に設定することが可能）の円にお互いが接触していないかどうかを解析して密集度合いを判定することができます。これにより感染拡大防止に貢献できると考えています。
日本では現在（2020年6月11日取材）新型コロナウィルスの感染がすこし落ち着いたと捉える見方もありますが（注1）、これから第2波・第3波が訪れるリスクもあります。ソーシャルディスタンシングなどの対策は、まだまだ重要と言えるでしょう。
本技術は、新型コロナウィルス感染拡大に対して立ち上げたNECの新技術の第一弾です。私たちチームがこれまで培ってきた映像解析の知見を活かしてできることはないかと考えて、5月初頭から一刻も早い実用化を目指して開発に取り組んできました。

中野：今回の技術における最も革新的なポイントは、既設のカメラを利用できるという点です。一般的に用いられているカメラをそのまま活用することができます。従来の技術でもカメラから互いの距離を測定すること自体は可能でしたが、カメラが設置された現地へ実際に訪問して、撮影範囲内のさまざまな地点にマーカーを置いて測定を行うなど、入念な準備が必要不可欠でした。映像にはパース（遠近）がついているので、実際の人物の大きさや距離を実地での測定を通じて解析する必要があるからです。しかし、これでは人手やコストがかかってしまいますし、導入までに数日間の準備が必要です。また、そもそも交差点などの公共性の高い場所を想定した場合には、交通を一定時間止める必要が生じるため、導入の際には非常に大きな困難を伴います。一方で、距離を測定することのできる高機能なカメラも存在していますが、撮影・測定できる画角が狭いという課題がありました。
これに対して、わたしたちの技術では実地での測定を行う必要がありません。既存の撮影映像を指定サーバにアップいただければ、わずか数分で映像の解析を完了し、高精度なソーシャルディスタンシング判定を行うことができるようになります。実際、デモンストレーションではブタペストの市場や渋谷のスクランブル交差点の撮影済み映像を解析しました。現地で測定することができない場所ですし、広角でとらえた広範囲の映像でもきちんと解析できることを証明できたと思います。

西村：感染拡大防止に貢献できる技術というと、他にはスマートフォンの端末間の距離を測定するものがありますが、これはどちらかというと感染経路の調査に有効な技術です。私たちの技術では、人と人の間の距離を測定することに主眼を置いており、映像から正確にソーシャルディスタンシングを導き出すことができます。場所と時間帯による密集度合いを判定し、可視化・数値化できることが大きなメリットですね。

― どのような利用シーンを想定していますか？

西村：空港や駅などの公共施設、街角、店舗、ショッピングモールなど、人が集まりやすいところへの活用を想定しています。運用の仕方としては、大きく二つあると考えています。一つは、来場する皆さんへ情報を提供するという方法です。たとえば、本技術によって得られた密集リスクの高い時間帯やエリアをデジタルサイネージに表示することで皆さんと情報を共有し、リスクを避けた時間での利用をお願いすることができると考えています。また、解析した映像をディスプレイに表示して、来場する皆さんにご覧いただくというのも活用の一つです。適切なソーシャルディスタンシングを可視化することができるので、感染拡大防止への貢献にもつながると考えています。
もう一つの運用は、施設スタッフ側のリスク管理や安全確保です。どの時間帯、どのエリアでのリスクが高いかが明確にわかるので、リスクが高いところでスタッフを長時間働かせることがないようにするなどの工夫や対策も可能になります。

NECの技術アセットや組織力を結集して短期間で開発

― どのようにして本技術が成立しているのでしょうか？

中野：ベースとなっているのは、2次元の映像から立体的なカメラ位置を推定する技術です。これは私が昨年から研究に取り組んでいたもので、映像解析によって撮影しているカメラ自体が実空間のどこに設置されているかを推定することができます。映像内の物の大きさや距離を測定するための技術として開発を進めていました。もともとは、物に用いるための技術だったのです。
しかし、今回の新型コロナウィルス感染拡大に対して私たちチームができることを考えていく際に、この技術に人体検出技術を組み合わせれば、人同士の距離測定に応用できるのではないかと思いつきました。実際にチャレンジしてみた結果、映像データ内を移動する人物の大きさ等を総合的に解析することでカメラ位置や3次元的な距離を逆推定することに成功し、本技術をリリースすることができました。
人体検出技術は、同じバイオメトリクス研究所内に高精度なエンジンを開発しているチームメイトがいるので、活用させていただいています。

西村：NECには、コンピューティングとネットワークの分野で長年培ってきたアセットがあります。今回の技術も、ゼロからいきなりアウトプットできたわけではありません。すぐ近くに人体検出エンジンを開発する研究員がいたことはもちろん、「群衆行動解析」という群衆の密集度合いや状態を解析する先行技術もあったおかげで細やかな運用ノウハウや現場感覚もありました。事業部側が築き上げたお客様とのつながりをもとに、社会のニーズを正確にとらえながら的確にフィードバックしてくれたことも大きかったと思います。
これまで受け継がれてきた分厚い技術基盤とノウハウがあり、それらすべてが結びついて今回の技術につながりました。こうした資産は、私たちNECの大きな強みですね。

リモート化社会を支える「見守り」技術へ

― 今回の技術は、かなりのスピードでつくりあげられたのではないでしょうか？

西村：そうですね。新型コロナウィルス感染拡大への対策としてどんなことができるかという議論は4月頃から始めていましたが、具体的に今回の技術のアイデアを提示できたのは5月の連休明け頃です。プレスリリースまで1カ月程度というスピードで進めてきたことになりますね。実は中野さんとこうして直接顔を合わせたのも、このプロジェクトが始まってから初めてなんですよ(笑)　これまではずっとリモートでやり取りをしていました。

中野：そうですね。会社のPCにリモートで入って、プログラミングもすべて家でやっていました。事業部の方や特許事務所も含めた総勢20人くらいのブレーンストーミングもオンラインでやりましたね。もしかしたら、オンラインのおかけで情報共有がスムーズに進んだ部分もあったかもしれません。
私としては、裏方の仕事は西村さんがすべて引き受けてくれて、技術に集中できたこともありがたかったです。

西村：1カ月前には影も形もなかったものが、こうしてスピーディに形になったことには驚いています。私たちもボトムアップで事業部といろいろと調整しつつ、上層部も決めるべきところはうまくトップダウンで判断してくれたのでうまく噛み合いました。今回のプロジェクトに参加した全員が力を合わせた結果だと思います。

中野：また、本技術のもとになったカメラ位置推定技術の研究論文は国際学会25th International Conference on Pattern Recognition (ICPR 2020) において、現在審査を受けているところです（取材後、正式に採択が決定。1月に発表予定）。今回のようなソーシャルディスタンシング判定への応用も含めて、積極的に世界へ発信していきたいですね。

― さらに先の展開は考えていますか？

西村：私たちの研究チームのミッションは、映像解析を通じて社会の安心・安全や効率化に貢献することです。そういう意味では、今回の技術もその中の一つのアプリケーションであるととらえています。
アフターコロナ、ウィズコロナの世界では「タッチレス」や「リモート」といった価値がさらに重要視されるはずです。そして、その延長線上には無人店舗や自動運転も存在しています。これらが街に広がれば省人化・無人化が進み、周囲の状況を管理・把握する人がいないケースが増えることになるでしょう。私たちは、そこに映像解析による「見守り」が大きな役割を果たすと考えています。こうした新しい社会状況に対応して安心・安全を創り出す手段としても、私たちの映像解析技術やソリューションは貢献していきたいと考えています。

NECの最先端技術一覧へ戻る