2023年5月29日

高度経済成長期に建造されたインフラの保守や再整備は、いま日本が直面している大きな問題の一つです。NECは今回、こうした問題の効率的な解決に貢献することができる「3Dモデルに画像をマッチングする技術」を開発しました。橋などの建造物のデジタルツインを構築して、点検に活かすという本技術について、研究者に話を聞きました。

点検画像を3Dデータ上の位置と自動対応させて一元管理

― 3Dモデルに画像をマッチングする技術とは、どのような技術なのでしょうか？

小倉：橋梁などの建造物の点検を効率化する技術です。現在日本には約73万基にもおよぶ橋が存在していますが、その多くが高度経済成長期につくられたものです。橋梁の寿命は約50年と言われていますから、いま多くの橋梁がその寿命を迎えようとしており、メンテナンスが欠かせない状況です。しかし、その一方で、日本は年々労働人口が減っていることから人手不足が進んでおり、このままでは法律で定められた５年に１回の点検業務もままなりません。このような状況のなかで、橋梁の点検作業の効率化が求められていました。我々の開発した技術は、こうした問題に対応できる技術です。

安倍：今回の技術では通常のカメラによるセンシングに加えて、LiDARというレーザー光によるセンシングを組み合わせています。LiDARは測距性に優れており、撮影位置から対象物までの距離や、対象物自体のサイズを正確に測定できます。橋梁などの巨大な構造物でも実物大の点群データ（3Dモデル）としてデジタル化することが可能です。いちど構築した3Dモデルは構造物の形状が大きく変化しない限り、使いつづけることができます。今回の技術では、こうして構築された3Dモデルに紐づけるかたちで、点検時に撮影されたカメラの画像を一元管理できます。画像をシステムに放り込むだけでOKです。画像認識AIが、画像中の被写体が3Dモデル内でどの位置に当たるかを自動的に紐づけてくれます。実寸大の3Dモデルと対応づけができるので、画像内のヒビや剥離などの大きさも正確に把握することが可能になります。実世界の橋梁をデジタルの世界に写し取るデジタルツインを構成するイメージです。


小倉：このとき、過去に撮影した画像も使えるということが非常に大事なポイントです。新しく導入するシステム向けにイチから画像データを用意するとなれば、時系列データを蓄積するために多大な手間と時間がかかってしまいます。橋梁では「損傷が進行しているか」を見極めることが、補修時期を判断するうえで重要になります。変状のなかには、長い期間特に変化がなく、深刻ではないものも含まれているからです。そういう意味でも、過去の記録を活かすことが重要なのです。

5年に1回の点検であれば、変化を観測するためには、少なくとも10年かかってしまいます。だからこそ、過去に撮影された点検画像をそのまま使えるということは、どうしても実現したかったポイントでした。本技術では時系列データを多く確保することができるので、システムを導入した時点で損傷の進行をある程度予測することが可能になります。

どんな画像データでも高度な画像認識で対応可能

― どのような仕組みで、今回の技術が成立しているのでしょうか？

安倍：LiDARによる点群データを扱う技術と最先端の画像認識技術をうまく融合させることで、実現させています。点群データの扱いについては、NECではLiDARを使った空港や変電所などの点検・保守ソリューションに早くから取り組んできた実績がありますので、そのノウハウも活かされています。点群データ同士を高精度に素早く結合するレジストレーション技術に関しては、ISPRSと呼ばれるリモートセンシングのトップ学会にも論文が採択されています。今回ターゲットにしているような橋梁点検への応用についても、コンクリート橋に生じた剥離・鉄筋露出をLiDARで検知する技術を土木学会にて発表しました。


松本：画像認識技術については、近年の深層学習のモデルを複数応用した最先端のものです。LiDARによる3D点群データとカメラによる2D画像は、そもそもデータ構造が異なります。これらの違いを吸収してマッチングする技術を開発し、多数特許も出しています。また、難関国際会議に採択された独自技術も用いており、非常に高精度なものになっています。先ほど、小倉から過去の画像でも使えるという話がありましたが、どんな画像でも使えるというところが、もう一つ大きなポイントです。というのも、実際の現場で管理されている過去の点検画像では、さまざまなカメラで撮影されていますし、解像度も異なればズームの有無も異なります。しかし、我々の技術であれば、任意のカメラ、任意の画像であっても問題なく対応できます。


― とはいえ、橋は橋脚がいくつも連なった構造で、あまり特徴がないような気がします。どうやって画像と3Dモデルを対応させているのでしょうか？

松本：おっしゃる通り、橋などの人工構造物は基本的な構造が繰り返し連なってできています。表面のテクスチャーにも特徴が少なく無機質で、場所の区別をつけにくい場合がほとんどです。これにどう対応するかというのは、一番の技術的な課題でした。しかし、これを解決するアプロ―チは既にいくつか用意ができています。オープンデータセットにおいて我々の技術を検証したところ、現時点で最先端レベルの性能（SOTA）を達成できました．今後の実証の過程で、その効果を証明していきたいと考えているところです。

都市への拡張など、広がる可能性

― 実証実験の予定はあるのでしょうか？

小倉：2023年4月から愛知県豊田市様と連携して、実証実験を開始していきます。実際の豊田市内の橋を対象にした事前実証も既に行っており、過去に撮られた画像と3Dモデル中の位置の対応づけができることを確認できました。また、これに基づいて画像中に検出された変状のサイズも算出したところ、記録されていたサイズとほぼ同じであることも確認できました。これからさらに多くの橋梁で同様の実証実験を重ね、技術を進歩させていきたいと考えています。

― この技術の将来的な可能性について教えてください。

小倉：これからは予測の精度をさらに上げることもできるのではないかと考えています。技術者の方々は、ただ変状の大きさやその変化を見るだけではなく、周りの状況なども踏まえて変状の深刻度を推し量っていると聞いています。こうした人間の思考をデジタルツイン上のデータから導きだすことができれば、さらにサービスの質を向上させることができるはずです。


安倍：そうですね。また、今回の技術の本質は、3Dモデルをもとに写真から位置を特定し、サイズを正確に把握できるようになったということでもあります。さらに将来的な可能性を言うならば、近年盛んになってきている街全体を3Dデータ化する試みと連携して、より大規模なデジタルツインを構築していくこともできると思います。


松本：確かに。橋梁だけでなく、もっと一般的な空間に拡張して、変化の検知なども自動で行うようなこともできるかもしれません。


小倉：なるほど。コンピュータビジョンの世界では”Building Rome in a day（ローマを一日で成す）”という有名な論文があります。SNS上の膨大な数の画像を利用して、自動でローマの街並みの点群データをつくりだすというものなのですが、確かにそのようなかたちで世界中の情報から街を再現して変化を検知したり、予測したりすることができたら面白いかもしれません。実は同僚とコンセプトを議論していた時に話題になったもので、本研究を始めるきっかけとなった論文でもあります。まずは実証実験を成功させていくことが第一の目標ですが、そういったビジョンも描きながら、研究開発をさらに進めていきたいと考えています。

NECの最先端技術一覧へ戻る