2023年3月2日

近年、物流・製造・建設業界では人手不足や安全性確保などの問題が深刻化しています。そこで、現場に多数のカメラを設置し、行動認識などの映像分析AIを活用して作業進捗や不安全行動などを遠隔からリアルタイムに把握しようとするニーズが高まっています。しかし、これまでは多数のカメラと接続しながら、大勢の人物や重機が動く映像をリアルタイムに分析して処理することは、極めて難しい状況にありました。エッジデバイスの処理能力や無線のパフォーマンスに限界があり、高精度で効率的な処理ができなかったためです。NECでは今回、アプリケーションアウェアICT制御技術を開発し、この問題を解決しました。この技術の詳細について、研究者に話を聞きました。

重要領域を予測し、エッジデバイスとサーバー間で優先的に処理

― アプリケーションアウェアICT制御技術とは、どのような技術なのか教えてください。

岩井：映像処理のリアルタイム性や信頼性を向上させる技術です。私たちのチームではこれまでにも「学習型メディア送信制御技術」や「学習型通信品質予測技術」を開発してきましたが、これらはカメラで撮影した映像をクラウドなどのサーバーに効率よく送信して、サーバー側で遅延なく分析を行うための技術でした。今回の技術ではこれをさらに発展させて、現場に設置したエッジデバイスとサーバーの間で映像データの転送や分析処理をうまく分散させることに成功しています。これにより、大量のカメラで撮影された大容量の映像データであっても、複雑な映像分析AIを安定的かつリアルタイムに処理することができるようになりました。

アプリケーションアウェアICT制御技術

これまでの私たちの研究で想定していた主なユースケースは、自動運転車の遠隔管制です。車両の周りの状況を把握することを目的としていたため、映像分析で用いるのは物体検知などの比較的軽量な映像分析AIでした。しかし、今回の研究では新たに物流・製造・建設での現場をまるごと「見える化」することを想定してスタートしています。こうなると、現場を死角なく把握するために多くのカメラが必要になります。大勢の人やモノが動くなかで人の行動を認識したり、重機が人に近づいた際に危険を認識したりする複雑な映像分析AIも必要になります。それぞれの処理を総合的に考えると、映像転送する通信の観点でも、映像分析するコンピューティングの観点でも、現在のシステムでは処理を担いきれないという大きな問題が発生していました。

そこで、映像配信や通信を得意とする私たちのチームと、コンピューティング処理の軽量化を得意とするデジタルテクノロジー開発研究所のチーム（注1）と、映像分析の効率化を得意とする北米研究所のチーム（注2）との合同プロジェクトを立ち上げて、今回の技術開発に取り組んでいきました。社内で通信技術、コンピューティング、映像分析など幅広い技術を扱うNECだからこそ実現できたアプローチであったと思います。


二瓶：複数の建設現場や大規模な建設現場を遠隔から監督するニーズに対応しようとすると、カメラは少なくとも30台、多いときには100台を同時に接続するという運用が想定されます。そのようななかで複雑な分析をしようとすると、従来の技術を組み合わせるだけでは要求性能に到達できないということが数値としても見えてきていました。そこで、これを解決するためのアーキテクチャを検討して、今回は大きく2つのアプロ―チで研究を進めてきました。

一つは、映像全体を処理するのではなく、重要な領域を見つけて優先的に処理するというものです。「学習型メディア送信制御技術」を進化させたもので、今回は運転映像だけでなく、より汎用的なAIモデルで重要領域を予測することができます。

また、もう1つは映像内の領域における重要度をもとに、エッジデバイスとサーバー間でダイナミックに処理を分散する技術です。現場にあるエッジデバイスの処理能力とネットワークの通信容量にはそれぞれ制約がありますが、両者を最大限使い切らない限り要求性能は達成できません。そこで、映像内の領域ごとにエッジデバイスとサーバーのどちらで処理するのが効率的か判断し、リアルタイムに分散する必要があるという結論に至り、このアプローチをとりました。2つの研究は「重要領域予測技術」と「ダイナミック負荷分散技術」というかたちで結実し、今回の技術におけるコアとなっています。

NECが開発してきた技術とノウハウをもとに進化

― 今回の技術を構成する二つの技術「重要領域予測技術」と「ダイナミック負荷分散技術」について、教えてください。

逸身：「重要領域予測技術」は、映像分析モデルが正しい分析をするにあたって重要となる映像領域をリアルタイムに予測することができる技術です。例えば人にフォークリフトが接近している場合、それは危険な状況なので優先的に処理するべき重要領域だと判断することができます。一方で、人や重機が全く映っていないような領域では、当然重要度は下がります。こうして映像内の領域に優先度をつけることで、処理を効率的に行おうとする技術です。


二瓶：最近では、ある映像フレームはエッジデバイスで処理し、次の映像フレームはサーバーで処理するというフレームごとに処理分散を行うアプローチも生まれていますが、それではネットワークの通信容量やコンピューティング負荷の変動などの外乱に対応することができません。システムが大規模化した場合にも対応が難しいということも見えてきています。これに対し、「重要領域予測技術」はフレームごとに処理を分散するという時間軸での切り分けだけでなく、各フレームの中を切り分けて領域ごとに分散処理するという2次元のアプローチをとっています。


逸身：加えて、どんな映像分析モデルでも汎用的に使えるということも、大きな特長です。というのも、これまでは映像においてどこが重要であるかを人手で設定して学習させていく必要がありました。必要な画質の設定までは自動でできるものの、アプリケーションやカメラの画角が変わるごとに一つひとつ細かく重要領域を人が設定して学習させていかなくてはならず、スケールさせることが困難だったのです。

しかし、今回の技術では重要領域の学習を自動化することに成功しています。シミュレーションによってさまざまな領域の画質を劣化させた画像をつくり、正しい認識結果と照合する強化学習を繰り返して精度を上げていきます。映像は「何が」映っているかという意味的な情報と、「どこに」映っているかという位置的な分析という2段階の解析を行うことで、高精度な分析を可能にしました。

認識AIモデル自体にはさわらないため、たとえAIがブラックボックス型であっても、どんなモデルであれ汎用的に活用することができます。

重量領域予測技術

― 「ダイナミック負荷分散技術」は、どのようなものなのでしょうか。

森本：「重要領域予測技術」で予測された重要な領域をエッジデバイスで処理すべきなのか、あるいは無線通信で伝送してクラウドで処理すべきなのかを、瞬時に決める技術です。映像中の人やモノの増減による負荷変動に加え、無線ネットワークの通信容量変動などをリアルタイムに考慮しながら、映像処理をクラウドに送るかどうかを判断します。

本技術は、技術的には二つポイントがあります。一つは、できるだけ処理が速く行えるように最適化を図ったという点です。予測期間が長くなり過ぎると、当然その予測の精度も下がります。そこで、できるだけ短い周期で予測しながら、処理の分散を高速に決定できるようにを工夫しています。もう一つは、エッジデバイスとクラウド間での処理の引継ぎです。例えば、途中までエッジデバイスで処理していたものの途中からクラウドに切り換えた場合には、データが失われてしまうリスクがあります。これをスムーズに引き継げるように調整を加えました。その結果、データの損失が抑制され、精度を維持することに成功しています。

また、今回の技術の開発にあたっては、「学習型通信品質予測技術」など、NECがこれまでに開発した技術の蓄積も大きかったと感じています。


岩井：そうですね。NECは私たちが開発した「事前に通信容量を予測できる技術」を持っているので、それにあわせて準備ができます。また、アプリケーションアウェアという名が示しているように、アプリケーションの中身や振る舞いまで理解して処理をするので、処理を最大限に効率化することができます。こうしたノウハウが研究の土台となりました。

ダイナミック負荷分散技術

プラットフォーム化で、さらなる汎用化と普及をめざす

― 今後の展開を教えてください。

岩井：大きな目標としては2つあります。1つは、映像分析AIとの連携による適用領域の拡大です。現場の状況をまるごと把握するニーズは建設・製造・倉庫をはじめ幅広く、ユースケースによって求められる映像認識AIも変わってきます。NEC内には、映像から作業や行動を認識するコア技術がたくさん存在しています。（注3）、こうした技術との連携も深めて、より幅広い領域への展開をめざしているところです。

もう1つのチャレンジは、制御まで含めた運用です。ロボット制御についても、NECは多くコア技術を保有しています。例えば重機の自動制御技術（注4）などと組みあわせて、分析から制御まで一貫したソリューションを展開できるようにしたいと考えています。

NECが提供するべきソリューションとしては、分析結果の提示に加え、制御まで含めたシステムの全自動化を実現するところまでが本来のゴールだと考えています。そのためにも、社内の事業部門と連携して技術を束ねて事業化していくことも、私たちの役目かなと思っているところです。


二瓶：そうですね。私も本技術はネットワーク領域に閉じずに、幅広い領域へ展開していくべきものだと考えています。実際、重要領域予測技術について記述した論文は、ロボティクス領域のトップ国際学会の一つであるIROS (International Conference on Intelligent Robots and Systems) に投稿し、採択されました。これまで私たちは基本的に通信系の学会に論文を投稿してきたのですが、あえて新しい領域にもアピールしようとチャレンジした結果です。今回の技術がロボティクスの領域でも高く評価されたというのは、大きな意味があったと思っています。

また、適用領域の拡大とあわせて、広く使えるプラットフォームを構築するということも非常に重要だと考えています。今回の件についても、技術としては完成したものの、私たち研究者しか扱えないようでは様々なユースケースに適用していくことができません。事業部門のシステムエンジニアの方などが、自らお客様にソリューションを提供できるようなプラットフォームやツールを準備していくことが、技術を広めていくうえでの大きなポイントの一つだと思っているので、その辺を意識して研究をつづけていきたいと思っています。


逸身：まったくその通りで、誰でも簡単に使ってもらえるような方向性に持っていくというのは、このチームのビジョンとして共有して取り組んでいるところでもあります。しかし、そのためには岩井も言ったように私たちのチームだけでは実現できません。さまざまなチームが持つ多様な技術と連携してはじめて、プラットフォームと言い得るものになるはずです。多様な技術を結集しつつ、ITやAIに精通していない方でもうまく技術を扱えるプラットフォームを構築するところまでもっていくことが、現在の目標です。


森本：私もプラットフォームとしていかに使いやすくするかということが、これからますます重要になると思っています。特に私たちの技術の特徴である「アプリケーションアウェア」は、アプリケーションの振る舞いまで理解して動くというものです。世界のトレンドとしても同様の方向になりつつありますが、これは同時にアプリケーションとプラットフォームの境界が曖昧になるということも意味します。そのため、あまりアプリケーションの中身まで踏み込んでしまうと、汎用性がなくなってしまうという側面があることも否めません。このあたりも含めて、プラットフォームとしていかにうまくデザインするかが、今後のカギになると思っています。


岩井：まさにそこが重要で、アプリケーションの中身まで理解するのだけれども、それがいかに簡単に、自動的にできるかというところがポイントだと思っています。重要領域予測技術がAIの中身まで見なくてもできる点や、ダイナミック負荷分散技術が処理を自動的にやってくれるというのも、そのアプローチの一つの現れです。今回の技術で処理を効率的に扱う仕組みは完成しましたが、これからはそれをスケールさせるための技術が必要です。そういう意味では、私たちのチームはみなエンジニアリングの心得がある心強いメンバーばかりです。データの実装まで踏まえたプラットフォームの構築に向けて、研究をさらに加速させていきたいと考えています。

NECの最先端技術一覧へ戻る