近年、モビリティ領域にて、ドライブレコーダーの遠隔監視への応用や遠隔型自動運転への期待が高まっています。しかし、自動車の移動により、モバイル網の通信帯域やカメラ映像の送信データ量が複雑に変動するため、複数の車載カメラ映像をリアルタイムに監視するときに映像が乱れてしまうという課題があります。この課題を解決するため、NECは通信帯域の変化を予測する通信予測と、複数のカメラから重要な通信を判定し通信帯域をルールベースのAIにより自動最適化する通信制御とを統合した通信予測制御技術に取り組んでいます。本稿では、この技術を活用して複数の車載カメラ映像のリアルタイム監視を実現した遠隔監視ソリューションを紹介します。

1. はじめに

近年、モビリティ領域にて、ドライブレコーダーや遠隔型自動運転への期待が高まっています。ドライブレコーダーは自動車運送事業者が運行中に発生した事故やヒヤリ・ハットのイベント記録などから運転者に対する指導のために活用されています。現在はイベント記録では確認できない危険運転や、前方カメラ及び運転席カメラだけでは把握できない危険運転が多いという課題があります^1）。走行中に走行映像データをクラウドへ送信する通信型ドライブレコーダーの搭載も増えており、将来はリアルタイムな走行映像データを活用して適切なタイミングで運転者指導を行うことにより、事故が減少することが期待されます。

リアルタイムな走行映像データをクラウドで活用するニーズの発展形として、過疎地での移動弱者問題の解決策となる限定地域における無人自動運転移動サービスが期待されています。本サービスでは遠隔型自動運転システムにより遠隔にいる運転者が車内外の車載カメラ映像を約0.3秒以内の遅延時間で確認し、乗客を見守ったり、自動運転システムが定めた限定領域（ODD：Operational Design Domain）から外れたときに運転者が遠隔から車両を操作したりします。日本では2020年の実現を目指しています^2）。

このように、複数の車載カメラの走行映像データを遠隔からリアルタイムに確認するニーズが高まっています。しかし、無線通信は同じ周波数を使う利用者数の増減や、車両の移動に伴う電波状況の変動により、リアルタイムに映像を伝送できないという課題があります。NECでは、無線通信帯域が変動する環境下でリアルタイムに映像を伝送するため、AIを活用した通信予測制御技術に取り組んでいます。本稿では、本技術を活用して複数の車載カメラ映像のリアルタイム監視を実現した遠隔監視ソリューションと通信予測制御技術を紹介します。

2. 遠隔監視ソリューション

無人自動運転移動サービスにおける遠隔監視ソリューションの概要を、図1に示します。遠隔の運転者が従来のバス運転者と同じように車内外の状況が確認できるようにするため、無人の自動運転バスには複数の車載カメラが搭載されます。この車載カメラ映像をコネクテッドゲートウェイと呼ぶ車載通信装置からLTE網経由でマルチビューアへリアルタイムに伝送し、遠隔の運転者が運行状況を監視します。車両の運行に問題が生じたときは遠隔の運転者がハンドル・ブレーキ・アクセルの制御コマンドをバスへ伝送することによりバスを操作します。また、乗客との連絡もコネクテッドゲートウェイを介して行います。このような仕組みにより、無人自動運転移動サービスが実現されます。

過疎地での移動弱者問題の解決に向けて、この無人自動運転移動サービスを早く広く普及させていくためには、既存のLTE網の活用が欠かせません。しかし、LTE網は無線通信帯域の変動が大きいため、リアルタイムな車載映像をスムーズに伝送することができません。車両の前後左右にカメラを取り付け、LTE網を使ってリアルタイムに車載映像を伝送しようとすると写真1のように映像が乱れてしまいます。従来方式では映像の送信側と受信側との間に数秒間の遅延を入れることにより、通信帯域の変動を検知し映像品質を下げることで、スムーズに伝送していました。そのため、遅延時間を約0.3秒以内に制限すると従来方式では映像が乱れてしまいます。また、車載カメラを複数にすると、カメラ間で通信帯域を取り合ってしまうため、更に映像の乱れが生じてしまいます。従来方式でこの問題を解消するためには、通信帯域が変動しない専用のLTE網を用意する必要がありました。

一方、NECの遠隔監視ソリューションでは写真2に示す通り、映像が乱れることなくスムーズに伝送することができます。第3章では、この遠隔監視ソリューションを実現している通信予測制御技術について紹介します。

3. 通信予測制御技術

遠隔監視ソリューションの実現で必要となる、複数の車載のカメラ映像をリアルタイムにかつスムーズに監視センターに送る、通信予測制御技術を紹介します。

図2に示すように、遠隔監視のための通信を実現するうえで、次の2つの変動に対応することが課題となります。1つ目は、モバイル網の通信帯域の変動です。これは、自動車の移動速度や通信の混雑状況によって複雑に変動します。2つ目は、自動車の前後左右を監視している各車載カメラにおける、必要な送信データ量の変動です。これは、走行環境、速度、進行方向などの自動車の走行状態によって複雑に変動します。この2つの変動によってパケットロスや通信遅延が発生し、送信する複数のカメラ映像は乱れ、リアルタイムでのスムーズな遠隔監視が困難になります。

この課題を解決するため、図3に示すように、AIによる通信予測制御を研究開発しました。本技術は、通信帯域の変化を予測する通信予測と、ルールベースのAIにより、複数のカメラから重要な通信を判定し送信データ量や画質を自動最適化する通信制御からなります。

通信予測は、映像配信において、過去1分間の通信スループット変動の予測モデルをリアルタイムに構築し、10秒先までの通信スループットの確率的な変動幅を予測可能にします。この技術は、メディア通信のコア技術として研究実績を挙げています^3）。通信制御は、自動車の走行状態などの条件や変化する映像品質、及び予測した通信帯域から、各カメラの送信データ量や映像の圧縮率をルールベースのAIにより自動最適化します。この技術は、ネットワークの通信リソースの自動最適化のコア技術として研究実績を挙げており^4）5）、コネクテッドゲートウェイへの適用のために改良を進めています。このNEC独自のAIベースの通信制御技術により、さまざまな運転状況でもリアルタイムでのスムーズな遠隔監視・制御が可能となります。

4. デモシステム

2018年度に図4に示した、大型の無線操縦車を活用した遠隔運転のデモシステムを構築しました。遠隔操作車両は、自動車に乗車したときの運転者の目高に合わせた位置に4台の車載カメラを設置しており、実車スケールの感覚で車載カメラ映像を確認することができます。

このデモシステムを用いて評価を行いました。遠隔操作車両とバーチャルコックピットはLTE通信にも対応しており、10km以上離れた場所からの遠隔監視及び遠隔運転の実証を行いました。また、NEC内のテストコースにて時速40kmで走行させることも確認できました。

5. まとめ

今後、モビリティ領域では運転者の技能向上や無人自動運転サービスの普及に向けて、リアルタイムな車載カメラ映像の活用が期待されます。このようなニーズに応えるためには、既存のLTE網の環境下にてリアルタイムな車載映像をスムーズに伝送することが必須です。NECは通信予測制御技術を活用した遠隔監視ソリューションにより、既存LTE網にてリアルタイムな車載映像の伝送を実現し、モビリティ社会の発展に貢献してまいります。

参考文献

執筆者プロフィール