DXの変革は、モビリティ市場にも、コネクテッド化、安全運転支援システムの高度化、自動運転の実用化などで、大きな影響を与えています。そのなかでも、乗用車、トラック、バスなど、車両での移動において、映像を活用した安全運転や異常時の適切な措置の支援で、安全・安心な移動を実現することが、移動サービスを提供している事業者の直近の課題となってきています。

本稿では、このような課題へのソリューションとして、NECの「リアルタイムな車載映像伝送技術」と「映像分析AI」で、安全・安心な人とモノの移動を遠隔で高度に支援する「車外・車室内状況見守りソリューション」を紹介します。

1. 「車外・車室内状況見守りソリューション」の紹介

「車外・車室内状況見守りソリューション」の全体像を図1に示します。車両側にある複数のカメラから、モバイル通信網経由で映像データをリアルタイムに伝送することにより、遠隔の監視センターにて運行管理を行う遠隔監視者は、乗務員と同じように車両の運行状況を把握することができます。映像分析AI技術を使いさまざまな運行上の問題を検知することによって、遠隔監視者は運転手や乗客と連絡をとることで、問題に対処することができます。

遠隔監視業務を行ううえで課題となるのが、監視対象カメラの多さです。1台の車両にカメラが複数搭載され、更に複数車両を同時に監視する必要があるため、業務負担が大きくなってしまいます。NECの映像分析AI技術を活用し、車外の走行環境の異常や、車室内の運転手・乗客の危険な状況をいち早く検知し、注視すべき画面を特定して表示することにより業務を支援します。

また、従来は映像分析AI技術を車両に搭載するため、車載機に高度なAIチップが必要となり、車両の消費電力の増加や車載機導入までのリードタイムの長期化が課題となっていました。更に、車載ハードウェアの性能により処理が制限されたり、ハードウェア自体は日々進化しているにもかかわらず柔軟にサービスを追加・変更することができませんでした。そこでNECでは映像分析AI技術をクラウド上で実行することで、これらの課題を解決します。同時に、映像データをクラウド上に蓄積することにより他システムとの連携が可能となり、更なるサービス向上が期待できます。

2. 「車外・車室内状況見守りソリューション」を構成する技術の紹介

次に、「車外・車室内状況見守りソリューション」を実現する、NECの3つの技術を示します。

以降の節では、これらの技術について紹介します。

2.1 リアルタイムな車載映像伝送を支える適応ネット ワーク制御技術

車両にある複数のカメラ映像をリアルタイムに遠隔監視する際に、移動体の特性として、モバイル通信網の帯域やカメラ映像の送信データ量が複雑に変動するため、映像が乱れてしまうという課題があります（図2）。この課題を解決するため、NECは通信帯域の変化を予測する通信予測と、複数のカメラから重要な通信を判定し通信帯域を自動最適化する通信制御とを統合した適応ネットワーク制御技術に取り組んできました（図3）。通信予測は、計測した通信帯域のデータから未来の確率分布をリアルタイムに予測する技術です。予測結果に基づいて映像の圧縮率を動的に制御することで、高画質で乱れのない映像配信を可能にします^1）。通信制御は、車両の走行状態などの条件や変化する映像品質、及び予測した通信速度から、各カメラの送信データ量や映像の圧縮率を自動最適化します。この技術は、ネットワークの通信リソースを自動最適化するコア技術として研究しており、通信機器への適用のために改良を進めています。このNEC独自の通信制御技術により、さまざまな運転状況でもリアルタイムでスムーズな遠隔監視・制御が可能となります。また、更なる送信データの効率化、映像画質の向上に向けて、映像データ送信におけるカメラ内の注視領域の鮮明化を進めています^2）。AIにより送信する注視領域と画質を自動制御することで、送信データ削減と映像画質の向上を実現します。

［事例紹介：自動運転バスのリアルタイム遠隔監視の公道実証実験］

2019年12月11、19、24日の3日間、群馬大学との共同研究で、群馬大学荒牧キャンパスと渋川駅間の公道にて、自動運転バスの実証実験を行いました（写真1）^3）。

実証実験では、自動運転バスに設置した12台のカメラ映像をLTE 3回線を用いて群馬大学研究・産学連携推進機構次世代モビリティ社会実装研究センター（CRANTS）の管制センターの監視サーバへ伝送しました。実証実験区間にて、LTE 1回線の上り通信の可用帯域に、約400kbps から 4Mbpsの大きな帯域変動が確認されました。既存方式を用いてこのように帯域変動が大きい通信回線で映像伝送すると、映像の遅延・乱れが発生し、バスの遠隔監視が行えません。今回、適応ネットワーク制御技術を用いて前方と後方のカメラ映像を重要な通信と割り当てた結果、すべてのカメラ映像をリアルタイムに管制センターへ伝送できることと、重要なカメラ映像を高解像度で伝送できることを確認しました。写真2は可用帯域が最も低い区間を走行中である自動運転バスの監視画面の例です。このように、公道で行う実証実験としては初めてNECの「適応ネットワーク制御技術」を搭載し、変動する混雑した通信環境でも通信の遅延変動を予測しながら安定して高品質な映像配信を行い、管制センターによる遠隔監視を支援しました。

2.2 車室内の乗員・乗客の異常検知を支える姿勢推定技術

車室内の乗員・乗客の異常な状態を検知するため、映像データから人物の姿勢（骨格の形状）を抽出する、姿勢推定の技術を活用します。姿勢推定技術の適用イメージを図4に示します。

NECの姿勢推定技術は、監視・防犯カメラを想定しているため、人が小さく映る低解像度の状況や、人混みなどの混雑状況下においても、安定して姿勢を抽出できる点が特徴です^4）5）。一般的な姿勢推定技術は、スナップ写真などの比較的人が大きく写る状況や、人同士の重なりがあまりないことを想定しているため、前述のような状況では、姿勢の一部が欠ける、他の人と関節点を取り違えるといったことが課題になっていました。また、データ量を削減するためにモバイル通信網経由で伝送される映像データを、低解像度に落としても、NECの姿勢推定技術は高い検出精度が期待できます。

この姿勢推定技術を活用することで、次のような運用が可能となり、交通事故削減や被害の低減に貢献できます。

2.3 車外の危険状況の検知を支えるシーン認識技術

車外の危険状況を検知するために、映像データから認識した交通参加者や道路形状の情報を元に交通シーンを識別する、NECのシーン認識技術を活用します。シーン認識技術のイメージを図5に示します。

NECのシーン認識技術は、モバイル通信網経由で伝送された映像データから交通参加者の位置や距離の推定や、道路や車線などの領域認識を並列処理し、これらの結果から、トップビュー変換して交通シーンを鳥瞰することができます^6）。これにより、次のような交通シーンの識別や危険状況の検知自動化が可能となります。

3. むすび

前述したNECの3つの技術で実現されるソリューションを、乗用車、バス、トラックなどの車両へ適用することにより、車外・車室内の異常をリアルタイムに検知し、交通事故や乗客の転倒など緊急事態が発生した場合に迅速かつ適切な措置を実施するさまざまなサービスにつなげていきます。このように、モビリティのさまざまな利用シーンにおいて、「車外・車室内状況見守りソリューション」を通じて、NECは安全・安心な人とモノの移動を支援していきます。

参考文献

執筆者プロフィール