近年、少子高齢化に伴う労働力不足が深刻化するなか、鉄道業界でも検査業務の省力化が喫緊の課題となっています。「列車巡視支援システム」は、列車走行時に撮影した沿線環境の映像から支障物を自動で検知・可視化できるため、安全・安心な列車運行に向けた列車巡視業務の効率化に貢献します。本稿では、「列車巡視支援システム」のシステム構成、適用事例、今後の展望について紹介します。

1. はじめに

近年、日本では、少子高齢化や人口減少による労働人口の減少が、多くの業界に影響を与えてきています。鉄道業界においても、保守員や運転士などの確保がこれまで以上に困難な状況が発生しており、業務の省力化や効率化が喫緊の課題となっています。これら課題を解決するために、AI・IoT技術を活用する取り組みが加速しています。

列車巡視とは、各鉄道事業者の定めた周期に保線、電力、信号、建築などの各系統の保守員が営業列車の先頭に添乗し、目視にて列車運行に支障をきたす可能性のある事象の有無を確認するなど、沿線の環境や設備の状態を点検する業務です。安全・安心な列車運行を支える列車巡視業務においても業務省力化や効率化が必要になると考え、「列車巡視支援システム」を開発しました^*。

営業列車の車両先頭に設置した2台のカメラで走行時に沿線環境の映像を撮影し、画像解析技術を活用して建築限界を支障する物体などの有無を自動で判定します。これにより、従来保守員が目視で行っていた列車巡視業務をサポートし、効率的かつより安全・安心なメンテナンスが可能となります。巡視点検日時をあらかじめ指定するだけで、無線ネットワークを通じて自動的に沿線環境の映像を取得・解析し、支障を検知した場所の画像を自動整理、レポート作成が可能です。これにより、従来保守員が目視確認後に手入力で行っていたレポート作成作業を、大幅に削減することが可能となります。

第2章では「列車巡視支援システム」の画像解析エンジンの技術概要、第3章では適用事例、第4章では今後の展望について紹介します。

2. 画像解析エンジンの技術概要

「列車巡視支援システム」には、建築限界支障検知機能が実装されています。建築限界とは、建築物をはじめとして列車運行の障害となりうる物を設置してはならない空間の範囲を、線路を基準として定義したものです。沿線設備の異常や飛来物、動物の死骸、植物の繁茂などにより、この範囲内に何らかの異物が存在する場合には、列車運行の安全確保のため、取り除く必要があります。何らかの理由で異物が線路に接近してきている場合も、起きうる障害を回避するためには、事前に検知し対処を施しておく必要があります。

本機能は、列車先頭に設置したカメラで取得した線路周辺シーンの映像から、シーンの三次元情報を取得し、建築限界に入り込んだ異物を検知します。三次元情報は、シーン中のすべての位置ごとに、三次元座標を持つ点として取得し、それら点の集まりを点群として扱います。点群のうち、建築限界の範囲内に存在する点を建築限界支障物として検知します。

2.1 多視点ステレオによる三次元計測

列車先頭には、2台のカメラを搭載しています。これらのカメラでシーンを撮影し、得られた映像のみから画像処理により、周辺シーンの三次元計測を行います。2台のカメラを使用することで、ステレオ計測による三次元再構成が可能となります。更にステレオ映像を走行しながら連続して撮影し、多くの位置から同一のシーンを撮影した多視点画像を取得し、三次元復元に利用することで、推定される三次元情報の品質が飛躍的に向上します。

移動するカメラで撮影した映像から三次元形状復元を行う技術として、SfM（Structure from Motion）があります。画像に映った対象物の幾何学形状を計測するのみならず、カメラの動きを同時に推定します。カメラの動きの推定には、衛星測位システムGPS（Global Positioning System）や車輪の回転数を計測して進んだ距離を計測する走行距離計DMI（Distance Measuring Instrument）、車両の挙動を検知する慣性センサーIMU（Inertial Measurement Unit）を使用することも考えられます。しかし、画像解析で使用するカメラの動き情報は非常に高い精度が必要であり、前述したセンサーが地形的な要因による衛星情報の受信障害や、車輪の空転などの外乱を受けやすいため、映像情報のみからでもカメラの動き推定ができるようにしています。

フルハイビジョンの解像度を持つ車載カメラによる撮影は、毎日数時間、カメラを搭載した複数の列車から行われ、データセンターに集約され所定の時間内に結果を提示しなくてはならないため、SfMには膨大な量の計算を要します。そこで本システムでは、高速処理に特化したVisual SLAM（Simultaneous Localization and Mapping）を併用します。SLAMは、自己位置推定と環境地図作製を同時に行う技術の総称です。特に、カメラを入力デバイスとして使用するものをVisual SLAMと呼び、ロボットや自動運転車のナビゲーション応用に向けて、実時間処理に特化したかたちでSfMから派生して開発しています。

2.2 建築限界支障検知の高速化

映像を入力するとVisual SLAMを適用し、カメラの動き情報と粗い三次元情報の計測を高速に行います。「粗く」とは、シーン中の被写体の概形のみをとらえられる程度の粗い点群として計測します。本システムが建築限界支障判定を行うことを目的としていることから、建築限界支障が生じそうな疑わしい箇所を取りこぼしなく検知します。検知された疑わしい箇所のみに、多視点再構成を適用し、粗な点群を高密度化して、詳細に建築限界支障の存否を検証します。このようにすることで計測精度を損なうことなく、高速な検知を実現しています。高密度化された三次元復元結果を図1に示します。

次に、撮影した画像フレームから、レールを検出します（図2 （a））。検出したレールに対して、建築限界に相当する枠をレールの線形に沿って配置します。高密度化された点群が建築限界の内部に存在するかを判定し、万が一そのような物体が存在する場合には、建築限界支障として発報します（図2（b））。

3. 適用事例

「列車巡視支援システム」は、2020年4月に九州旅客鉄道株式会社様で運用を開始しました。システム構成は、大きく車上局と地上局に分類されます（図3、4）。

車上局では、映像を撮影し、列車の位置情報を受信し、これらを地上局に伝送します。無線ネットワークは通信事業者のLTE回線を利用し、列車走行中においても撮影した映像を伝送することが可能となります。

地上局では、データセンター内に表示系サーバ及び解析系サーバを設置し、映像と位置情報を対応付けて蓄積し、画像解析エンジンで支障物の有無を判定します。解析した結果と蓄積した映像は、保守員が勤務する各事務所に設置する表示装置にて、閲覧・レポート出力を行います（図5）。

4. 今後の展望

4.1 差分検知の開発、三次元点群情報の活用

今後の「列車巡視支援システム」に提供する要素技術として、差分検知技術、異常検知技術、VRによる軌道検査技術などがあります。

4.1.1 差分検知

まず、差分検知は、正常状態の映像（リファレンス映像）を記録しておき、巡視時の映像（テスト映像）と比較することで、差異が発生している箇所を検知します（図6）。保守が必要となる事象が発生した状態を映像として網羅的に収集することができ、これを機械学習すれば、映像からこれらの検知を可能にできると考えられます。しかし、実際の運用において、これら保守が必要となる事象は多種多様であり、更に大量かつ網羅的に収集することが困難であることが想定されます。そこで、正常状態からの差分を保守対象の事象の候補として定義することで、この問題を解消します。

4.1.2 異常検知

人が直感的に異常を察知するように、正常な状態を精密に記憶していなくても、異常を検知することを可能とする方法の開発に取り組んでいます。例えば、レール周辺に放置された飛来物、レールのゆがみなど、人はそれを見ただけで、瞬時に正常状態ではない違和感を察知することができるものと考えられます（図7）。

これを実現するために、正常状態（と少量の異常事象）のイメージをディープニューラルネットワークに抽象化した状態で記憶させておき、平常状態からの外れ値として異常事象を検知します。この方法も差分検知と同じく、発生頻度が低い異常事象の映像を収集して機械学習するという煩雑かつ困難な作業を省力化して、効率的な巡視支援機能に貢献します。

4.1.3 VR軌道検査

コロナ禍や保線熟練者の労働人口の減少により、現場に赴いての検査などの作業の負荷軽減が求められています。図1で示したような三次元計測結果からVR空間を構成し、同空間内で必要となる検査作業を実施することを可能とするシステムを開発します。

VR空間内では、実際に計測器を被写体にあてて計測を実施するのと同様のユーザーインタフェースを実現します。空間内に再現されたレール側面や設備の特定位置などに計測点をあてて、計測点間の距離を測定したり、植生の特定の範囲を囲うようにポインティングして、該当する植生の面積を計算したりすることなどを想定しています。

4.2 サービス事業化

今後は「列車巡視支援システム」を普及させることで多くの鉄道事業者の列車巡視業務の支援に寄与したいと考えています。現在の「列車巡視支援システム」はオンプレミスで提供していますが、初期導入費用の抑制、利用頻度や機能に応じた費用体系など、各鉄道事業者が「列車巡視支援システム」を導入しやすくするために、クラウドを活用したサブスクリプションによるサービス事業化を目指しています。

執筆者プロフィール

関連URL