2021年1月8日

NECは、自動車を代表とする様々なモビリティの自動運転化を支援する2つの通信技術「学習型メディア送信制御技術」と「学習型通信品質予測技術」を開発しました。2021年1月から実際に運行するバスに搭載して実証実験が始まるこの技術について、研究開発チームに話を聞きました。

監視センターや車同士との遅延ない通信によって運転の安全を確保

― 今回新しく開発した「学習型メディア送信制御技術」と「学習型通信品質予測技術」とは、どのような技術なのでしょうか？

岩井：5Gによって加速するといわれているAIやIoTを円滑に機能させるための技術です。4Gの時代には携帯電話などのモバイル端末を中心とした「人」と「人」を結ぶコミュニケーションが軸となっていましたが、5Gの時代にはAIやIoTを核として「人」「モノ」「コト」をつなぐコミュニケーションが主眼になるといわれています。重要な領域の一つとして考えられているのが、モビリティの分野です。例えば自動運転技術では現在、車単体の技術進化だけではなく、無線通信を使って車同士や路上カメラ、また遠隔地とリアルタイムに情報共有することも重要だと注目を集め始めています。通信技術を活用して安全で効率的な自動運転を実現するのが私たちのチームがフォーカスしている目標です。
通信というと、つながりさえすれば良いのだと思われがちですが、無線通信は電波環境や送信データ量によって通信速度などの通信品質が変化します。以前であれば通信品質も速度が一定程度出ていさえすれば良かったのですが、近年では通信品質だけでなく、通信を使ったアプリケーションの品質までが問われるようになっています。これは現在QoE(Quality of Experience：ユーザー体感品質)やQoC(Quality of Control：モノへの制御品質)と呼ばれ、指標化されようとしています。だからこそ、現在は通信品質だけでなく、アプリケーションの特性を理解し、アプリケーションの品質を高めるための効果的で効率的な通信制御が非常に重要です。今回私たちが取り組んだ通信による安全運転支援や遠隔管制においても、この考え方を基盤としています。
だからこそ、私たちのチームでは通信の専門家だけでなくアプリケーションである映像配信の専門家など複数のスペシャリストが参加しています。２つの技術はこのようなチームだからこそ実現できました。

運転判断に影響する注目領域だけを鮮明にして映像送信

― そのうちの一つ、「学習型メディア送信制御技術」について教えてください。

岩井：映像を監視センターなどの遠隔地へリアルタイムに送信し、映像分析AIによって危険を自動検知できる技術です。バスなどの公共交通における無人運転を主なユースシーンとして想定して開発しました。日本政府が掲げる自動運転実現に向けたロードマップでは、公共交通の場合、遠隔地からのモニタリングと有事の際でも遠隔制御ができるシステムの搭載が必須とされています。こうしたニーズに対応するのが本技術です。

逸身：通常、移動する車から映像を送信しようとすると5Mbpsほどの大きな情報を通信する必要があります。しかし、これだけ大きいデータでは、いくら5Gとはいえ通信速度は常に変動していきますから、監視センター側で受信する映像には少なからずノイズや遅延が生じてしまいます。ノイズが発生すれば対向車や歩行者などの危険因子を見逃してしまうリスクが生まれますし、遅延が生じれば遠隔からブレーキを制御しても間に合わない恐れがあります。
そこで、映像内の注目領域だけをAIにより自動で判断して、それ以外の部分の画質は極力抑えて送信するのが本技術です。車両、歩行者、信号機などといった運転の判断に寄与するような物体はAIが映像認識できるレベルの画質をキープし、逆に運転の判断には関係のない植栽や建物などの画質は大きく落とすことで、約5Mbpsの映像を1/10の500kbps程度に抑えることができます。

篠原：映像内の注目領域はAIによって自動判断したうえで、最適な画質に自動調整して送信されます。遠隔地での映像分析AIが認識可能な画質でありつつ、最も低い画質でデータを送信するという指標で機械学習を行うことで、この技術を実現しました。認識エンジン自体は今後の拡張性も鑑みてオープンソースのものを使用しているので、多くのディープラーニングがそうであるように認識過程は完全にブラックボックスです。何度も試行錯誤を繰り返しながら細かいチューニングを重ねていきました。

二瓶：映像内でどこに注目して、どのくらいの画質にするかという判断ができたら、今度は映像の圧縮も重要です。私はもともと映像配信と映像圧縮の研究を続けてきたので、映像内の任意の領域だけを鮮明にして送信するという部分を担当しました。NECには、これまでの歴史のなかで培ってきたベースとなる映像圧縮技術があったので、それを活用しています。逆に私は、どの領域をどのくらいの解像度で送れば良いかというノウハウは持っていませんから、篠原さんや逸身さんと補完しあうかたちで本技術の開発に取り組んできました。

岩井：そうですね。先ほど述べたように、通信と映像の2つのスペシャリストが連携したことが今回の技術開発に大きく寄与していると思います。

映像送信から映像分析までをリアルタイムに実現

― 今回の技術では、送信だけでなく分析までをリアルタイムに処理できるということでしょうか？

岩井：はい、そうです。そこが一番苦労した点ですね。車載カメラの映像を何もせずに処理しようとすると、約300ミリ秒かかってしまいます。1秒間に10フレーム送信される10fpsの映像であれば、少なくとも100ミリ秒以内に処理しなければならないので、これでは全く間に合わないのです。さらに今回の技術は自動運転車などのモビリティへの搭載を想定しています。動き回る物体が撮影する映像を無線で通信・処理しなければならないというのが大きな課題でした。

篠原：最適な画質を推定しようとしたとき、複雑で大きな計算モデルを使うのであれば比較的簡単に実現できます。しかし、車載できるデバイスの性能は限られていますから、研究で用いる高性能なデバイスでようやく扱えるような大きな計算モデルは使うことができません。そこで、小型デバイスでも高い精度を出せるようにチューニングをしていきました。具体的には、映像のフレーム1枚1枚を分析していくのでは到底間に合わないので、事前の学習によって重要な領域と適切な画質を予測できるような仕組みを構築しています。車の向きによって認識率が違うので微妙に画質調整するなどといった、細かい変更ですね。これによって処理を軽量化することで、リアルタイム性を確保しています。

逸身：そうですね。車載デバイスは処理性能が低いですから、実装時と評価のギャップというところで苦労しました。注目領域だけを鮮明化するといっても、はじめは追従がうまくいかなったりしましたから。

岩井：その部分では、実装時のエンジニアリングの比重も大きかったですね。アルゴリズムをどれだけ調整しても、やはり実装してみると想定外の遅延が生じてしまったりしてしまうものです。二瓶さんはもともと技術の実装を長くやっていたので、だいぶ助けられました。

二瓶：技術に加えて、実装を積み重ねて最適化していくこともあわさって初めて品質の高いものができます。私はNECに入社した当時は事業部で製品開発を行っていた経緯がありますので、映像圧縮技術とあわせて、そのノウハウをうまく連携できたと思います。

岩井：本技術は総務省管轄のナショナルプロジェクトとして群馬大学と共同研究をしているのですが、今年の1月には、実証実験を開始する予定です。前橋市の協力のもとで実際に運行するバスに本システムを搭載していきます。通信を使うことで、自動運転の精度がどれだけ高まっていくか世界的にも注目されている実証実験であると認識しています。きちんとこの実験で評価をして、今後に活かしていきたいですね。

モビリティをリスク回避するために通信遅延を高精度に予測

― もう一つの技術である「学習型通信品質予測技術」について教えてください。

岩井：通信の遅延を予測する技術です。これまでも私たちは通信スループットを予測する技術を開発してきましたが、これをもう一段階進化させてモビリティに最適化させたものです。

沢辺：従来の通信予測技術では、例えば通信スループット予測の場合、時系列的な変化から今後の通信スループットを予測していました。しかし、モビリティ分野をメインのユースシーンとして想定した際には、時系列変化ではなく位置の変化こそが通信状態を変動させる主要因となるだろうと考えたことが本技術のスタートです。
たとえば道路であれば、車両がエリア内に入ってきて、同じサーバーにデータを送って走り抜けていきます。同じ道路上を何台も車両が通ることになるので、移動中の通信がどのようなパターンになるかというのは、過去データから学習することができます。データからエリアを複数に分割し、通信品質が類似するエリアをさらに細かく分割していくことによって複数のモデルを作成し、高い予測精度を出せるように設計していきました。以前に発表した「学習型通信分析技術」では、通信状態の類似性から使用しているアプリケーションを推定していましたが、今回はこの技術をエンハンスしてエリア同士の類似性発見に活かしています。詳しい内容については、現在作成中の論文にまとめているところです。

岩井：車は高スピードで動きますから、位置の変化にあわせて電波の状態も急速に変化します。そのため、時系列だけでは十分な予測精度を発揮することができません。データをベースにして空間を切り分けて複数のモデルを作成し、状況によって切り換えていくというのは世界でも初めてのアプローチだと思います。
現在、自動車の安全性向上のためには車載センサーの運用に加えて、車同士の通信や遠隔監視などといったプラスアルファの技術が必要だと言われています。そのためにも車同士の位置情報を通信するという方向性は、一つのブレイクスルーになり得るでしょう。しかし、このアイデアを実現するためには遅延なくリアルタイムに通信することが必要不可欠です。たとえば100m秒以内の位置情報送信が必要とされた際、100ミリ秒を超過してしまいそうな場合には事前にそれを予測して何らかの対処をしなくてはなりません。「学習型通信品質予測技術」はこうした応用を考えて、まずは高精度な予測を実現するための技術として開発しました。自動運転車だけでなく、通常の自動車の安全運転支援にも活用できる技術です。他にも、搬送ロボットなど多様なシーンで応用展開ができると考えています。
この技術も、1月からの実証実験で試験運用する予定です。実際のデータをとって予測精度を丁寧に検証していきたいと考えています。そのためにも、実証実験の成功に向けて万全の準備を進めていきます。

NECの最先端技術一覧へ戻る