Japan
サイト内の現在位置
交通事故のない世界をめざして
カメラとLiDARによるセンサフュージョン技術を活用したスマート交差点の実証
NECの最先端技術 2026年4月16日

交差点周囲の車両状況や歩行者、さらには自転車を含む交通弱者を見分けて最適な信号制御を行うスマート交差点。安全性を担保できる信頼性やコストが課題とされるなか、NECでは昨年より「児島交通みらい都市研究会」様との実証を実施し、高い精度とコスト削減を可能にする新しい技術の有効性を証明しました。その目的や内容はどのようなものなのか、そして、それを可能にした技術はどのようなものなのか。研究者と事業担当者に話を聞きました。
従来手法に比べて、広範囲・高精度の検知を実現

主任
西田 匡孝
― 今回取り組まれた実証の内容について教えてください。
西田:誰でも安心して歩き回れる街「ウォーカブルシティ」をめざし、「児島交通みらい都市研究会」様と取り組んだ実証です。交差点を渡ろうとする歩行者や車両を検知し、交通状況に合わせて動的に信号制御を行うスマート交差点の実現を目指しています。スマート交差点は、交通事故の防止はもちろん、歩行者の回遊促進による観光業の活性化、さらには路線バスを含む自動車のスムーズな運行やイベント時に行われる交通整理の効率化・最適化にもつながると期待されている仕組みです。押しボタン信号と異なり、高齢者の歩行速度にあわせて青信号の時間を制御することもできます。視覚障碍者の方にとっても、ボタンを押さなくてはならないという大きな障害を取り除くことができると期待しています。
NECではこれまでも安全で円滑な道路交通をめざす取り組みとして、日立市、渋川市、小松市、明日香村・三郷町、宇陀市、鳥取市などで路線バスの自動運転を支援する路車協調システムの実証実験を進めてきました。今回の実証も、大きな枠組みのなかではその一環として考えています。最終的に目指しているのは、車同士の通信や路側機の情報を集約してデジタルツインを構築し、危険なシーンを先読みして交通参加者へ情報提供することで安全性に寄与できる仕組みです。そのためには、ネットワークを介してリアルタイムに車両や交通管制の情報を収集し、シェアする基盤を構築する必要がありますが、さらに交差点や高速道路の合流地点などのより高い鮮度や精度を求められる現場では、その複雑さに対応するためのローカルな観測・通信を実現することも必要だと考えています。
NECは双方の実現が重要と考えて取り組んでいますが、今回は後者のローカルな通信・観測を目指した取り組みです。これまでの検証で課題となっていた夜間の精度低下や導入コストの抑制を目指した技術の実証を行いました。結果として、これまでの感知器が単一路など限定的な範囲の検知に留まっていたことに対し、本実証では検知率を維持したまま、さらに広範囲で効率的に歩行者や車両を検出することに成功しています。

主任研究員
小倉 一峰
小倉:精度の課題にはカメラによる映像に加えて、外部環境に耐性があり測距性能に優れたLiDAR(Light Detection And Ranging)を活用しました。また、コスト面の課題に対してはどちらも全方位タイプのものを使うことで対応を進めました。
全方位LiDARとカメラによるセンサフュージョンで、精度やコストの課題に対応

リサーチャー
松本 侑也
― 全方位タイプのカメラとLiDARの融合が技術的なポイントということですね。まず、LiDARを活用したという点について、詳細をお聞かせください。
松本:通常のカメラは太陽光などの反射を受けてセンシングするため、夜間は得られる情報が不足し、精度が低下してしまいます。そこで、今回は複数のセンサ情報を組み合わせるセンサフュージョン(注)という技術を導入し、可視光カメラに加えてLiDARを相補的に活用していきました。
LiDARは、自らレーザ光を照射して、反射して戻ってくるレーザ光から距離を検出するアクティブなセンサです。夜間でも問題なく観測エリアを3次元の点群情報として獲得することができるため、ロバスト性の向上に役立っています。また、道路周辺の3次元空間における距離情報は、将来的な車両への情報提供などを見据えた場合に必要になるものです。衝突リスクなどを予測するための情報として活用していくことを想定しています。
一方で、可視光カメラには、LiDARの点群情報ではわかり得ない色やテクスチャなどの意味的な情報があふれています。映像中の物体が自転車かバイクのどちらであるかを区別したり、物体の境界を判別したりするために有効です。
こうした双方の足りない情報を補い合うことで、分析の精度を安定させるとともに、分析可能な事象を拡張させています。

― 全方位センサを使って導入時のコストを抑えたという点についても、詳細をお聞かせください。
西田:信号制御や感応制御に用いる従来型の車両感知器では、十字路の全方向にセンサを設置し、さらに直進用、右折用、歩行者感知器など、用途別に専用のセンサを複数つけなければなりませんでした。しかし、これでは導入コストが跳ね上がってしまいます。近年、急激に施工費や人件費が高騰しており人手不足も課題の中、本手法では対処できなくなる未来さえ予想されます。

小倉:そこで今回の実証で導入したのが、全方位センサでした。可視光カメラとLiDAR双方で使っています。
全方位カメラを使うことで、視野角の制限がなくなり1台で広範囲を捉えることができるようになります。また、仮設柱から下向きに設置することで、分析に不要な空が画角中から消えるので効率的な運用が可能です。通常の交差点であれば1-2台で四方をほぼまんべんなく網羅することができます。
全方位センサとすることで、可視光のカメラとLiDARの間の位置合わせが問題となりましたが、そこはこれまで私たちが培ってきたノウハウが役立ちました。橋梁の検査などで双方のデータを照合させる技術を研究してきたので、可視光のカメラとLiDARそれぞれの特性や照合の仕方を熟知していたのです。この経験が、今回のセンサフュージョンの適用に役立ちました。
- 注:複数のセンサから得られた情報を統合・処理して、より正確で信頼性の高い情報を得る技術
画像の基盤モデルとVLMの活用で、汎用性と信頼性を高める

― 今後、本技術はどのように発展していくでしょうか?
松本:現在すでに検討を進めているのが、画像の基盤モデルとVLM(視覚言語モデル:Visual Language Model)の導入です。画像の基盤モデルは大規模な画像データで学習することで、検出やセグメンテーションを高精度に行えるモデルです。VLMは、映像や画像を理解できるLLM(大規模言語モデル:Large Language Model)のような技術です。
いま私たちはこれらを活用した2つの技術を検討しています。
1つは、ラベル付け(正解付け)の自動化です。現在のシステムでは、ある場所で設置し運用するとなった場合には、その映像内の物体に対して人手で車や歩行者といったラベル付けをしなくてはなりません。画角が変わったり、場所が変わったりしたらもう一度ラベル付けが必要なため、導入コストが膨らんでしまいます。
これに対し、画像の基盤モデルには画像情報の知識が豊富に備わっています。画像から物や人を高精度に検出可能で、設置場所の変化にも強いのですが、問題はLiDARの3次元情報です。画像のように大規模な学習データを集めることが難しいため、3次元点群を認識できる基盤モデルの研究は世界的に進んでいません。そこで私たちは、可視光カメラ映像とLiDARの3次元データを照合する技術をうまく活用しながら、画像の基盤モデルの知識を3次元に転移させていくことができないかと考えています。これが実現できれば、導入コストがさらに削減可能になり、本システムの普及に大きく役立つはずです。
もう1つは、エッジAIの性能を補完する仕組みです。路側機に設置するエッジAIはリアルタイムな検出が求められるため、たくさんの事物を検出できるようなリッチな性能までは持ち合わせていません。学習済みのものしか検出できないのです。しかし、現実には学習していないハプニングも起こり得ます。例えば、トラックが「何かを落とした」というところまで検出できたものの、それが何かわからないときもあるでしょう。そんなときに、その「何か」の画像の領域だけをマーキングしてVLMに投げると、VLMが「タイヤが転がっているので、危険です」と注意を発報することができる。そんな機能を構築できればエッジ側の性能を効率的に補完することが可能になります。

小倉:VLMによるメリットは他にもあります。アップデートの容易さもその1つです。例えば、AIに自動車や自転車などの乗り物を大量のデータを通して学習させたとしても、運用するうちに電動キックボードのような新しいモビリティが出てきたりするのが実社会です。仮にこういった新しいものであっても、VLMであれば画像から未知な物や事象を言語で表現することができるため、システム更新でスムーズに反映できるようになると考えています。
これによって、自動車業界で「ロングテール問題」と呼ばれる実証時の課題への対応も期待できます。ロングテール問題とは、安全を考えるうえで想定される稀な事象のことです。発生頻度は低いものの、万が一発生した場合には深刻な問題を引き起こし得るもののことで、無数に存在します。このような事象にもVLMが有効であり、我々のセンサフュージョン技術の強みと合わせて信頼性を向上させるための技術開発に取り組んでいます。

西田:そうですね。NECの技術は高い運用性と信頼性が強みになると考えています。今回の実証で取り組んだ全方位カメラの導入や、いま2人が言ってくれたラベル付けの自動化や継続的なモデルの更新の容易化は広く展開しやすくする運用性に通じるものです。現在、AIを使ったさまざまな先端的な取り組みが世界中で試行されていますが、ほとんどがPoCで終わってしまっています。その理由は性能が思うように出なかったということもありますが、ランニングコストが非常に大きな課題になることが多いと感じています。AIは人手による継続的な学習やチューニングなど、多大なコストがかかり続けるシステムです。ここを自動化して持続可能なAIを提供できると言えるのは、NECならではの強みになると考えています。
もう一つの信頼性については、今回の技術の核となったセンサフュージョンはもちろん、先ほど松本さんが言ったエッジAIからVLMへの問い合わせや、小倉さんが言ったロングテール問題への対処が相当します。信号制御や車両への情報提供ということまで見据えた場合には、リアルタイムかつ高精度であることが必須となりますので、引き続き追求していきたい点です。
NECはセンシングやAIに強いだけでなく、通信やセキュリティなどでも強い技術や実績を持っています。高度なAIに加え、大規模な基盤システムの構築や通信制御まで含めて担える企業となると、世界的にも稀有な存在と言えるはずですので、大きなビジョンを描いていきたいです。自動車メーカ各社で異なる車両や、路側機などの複数かつ大量の情報の統合といった難しい課題はもちろん、相互のリアルタイム通信に取り組んでデジタルツインを構築し、今回実証した路側のエッジによるシステムと組み合わせながら、交通事故ゼロの実現をめざしていきたいと思っています。


スマート交差点を実現するためのシステムとして実証を行い、広範囲・高精度での歩行者検知を達成した本技術は、カメラとLiDARを相補的に活用するセンサフュージョン技術を使っている点が技術的なポイントです。カメラとLiDARを組み合わせるという技術自体は自動運転車などでも研究が進められていますが、路側機側で活用するというのはNECならではのアプローチです。さらに、360°見渡す全方位型のカメラとLiDARをキャリブレーションし、2つのモーダルを統合することで高精度に歩行者検知を実現した点もNECならではのユニークな方法です。交差点全方向にカメラを設置して、さらに車両感知器や直進感知器、右折感知器などの多数のセンサを設置する必要があった従来の方法を効率化し、1台の全方位カメラでカバーすることができます。
- ※本ページに掲載されている内容は、公開時の情報です。
お問い合わせ