2023年8月25日

近年、豪雨災害の激甚化や巨大地震の発生などにより、自然災害への対策強化に注目が集まっています。特に国や自治体においては、被災状況を正確に把握して救助を適切かつ迅速に行うことが重要な課題です。そのような中、NECではAI技術を活用して被災状況を効率的に把握する技術を開発しました。大規模言語モデル（LLM）と地図データを活用したという本技術の詳細について、研究者に話を聞きました。

画像から被災状況を正確に把握して避難誘導や救助を迅速化

― インタラクティブに被災状況を把握する技術とは、どのようなものなのでしょうか？

谷：自然災害が発生した際に、国や自治体が被災状況をすばやく正確に把握し、迅速な初動対応ができるように支援する技術です。災害発生時に時々刻々と集まる大量の現場画像の中から、被災状況の把握に必要な画像をすばやく見つけるとともに、番地レベルの正確さで画像を地図上にプロットすることができます。


寺尾：大量の現場画像から必要な画像を見つけるためには、災害の状況に応じたさまざまな調査に対応できることが重要です。そこで、LLMが持つ言葉の意味解釈力を活用することで、事前に学習することなく任意のモノや状況をフリーワードで探し出せるようにしました。さらに、得られた結果に対して探していた画像/探していない画像といった指示も入力できるようにすることで、ユーザの意図に応じた画像の絞り込みを可能にしています。


谷：画像の撮影場所を推定する技術については、2022年2月に発表した「景観画像の場所を衛星画像や航空写真から推定する技術を開発」（2022年2月10日 プレスリリース）をさらに発展させて、災害シーンにおける推定精度を向上させています。今回は衛星画像や航空写真等の上空から撮影した画像に加え、新たに地図データも活用することで、住民から寄せられた被災現場画像の撮影位置をさらに高精度に推定できるようにしました。災害のような緊急時に撮影された現場画像には、必ずしも位置情報がついているとは限らないため、画像から正確な場所を推定することには、救助活動を進めるうえで大きな意味があります。また、地図データと連携することによって画像を地図上にプロットできるので、被害状況を直感的に把握できるようになっています。


谷：近年では全国各地で集中豪雨や浸水などが発生し、自然災害が激甚化しているといわれています。南海トラフ地震の発生も危惧されているなかで、この状況に適応し、災害対策を強化することは非常に重要です。自治体をはじめとしたお客様からご相談・ご要望をいただくなかで、開発を進めています。


枌：なかなか利用イメージを想起しにくいと思いますので、実際のデモをご覧ください。左側はユーザがインタラクティブにシステムと対話して画像を絞り込んでいくための画面で、右側は絞り込んだ画像を地図上にプロットした画面になっています。本デモは、既にシステムのデータベース内に画像群を取り込んで位置情報を推定してあるため、画像を地図上にプロット可能な状態です。

ここで例えば、チャット上で「A市の画像を探して」と入力すると、A市内の画像だけに絞り込むことができます。さらにここから「倒壊している建物を探して」と入力すれば、AIが該当すると考える画像だけを絞り込んでくれます。ただ、一口に「倒壊」と言ってもさまざまな様相があるので、ユーザの要望を言葉で完全に説明することはなかなか難しいと思います。ここでは、絞り込んだ画像のなかから要望に適した画像を選択することで、さらにユーザの要望を反映した絞り込みを実行します。例えば、被害が大きい建物が写っている画像に注目して、「1、2、4、5、6枚目は私の要望に合っています。」と入力してみましょう。すると、倒壊の様子が類似した画像のみを検索して絞り込んでいくことができます。これらは右側の地図上にも表示されるので、被害状況が大きいエリアを直感的に把握することができます。

谷：交通が機能しなくなっているおそれもある被災現場には、不用意に救助に入ることができません。まずは遠隔から被害状況とその位置をすばやく正確に把握することが、迅速かつ適切な初動対応を行うために重要であると考えています。

事前学習していない状況でも検索可能

― 本技術は、どのような仕組みで実現しているのでしょうか。

寺尾：大きなポイントは先ほど申し上げたようにLLMを組み合わせたという点と、地図データと連携したという点の2点です。LLMを活用することで、事前に学習することなく任意の対象物やシーンを見つけることができるということが大きなメリットです。従来の技術では、人物や車など、事前に想定してAIに学習させておいたものしか検知できませんでした。しかし、LLMを活用した今回の技術では、あらかじめAIに覚えさせていない対象であっても探すことができます。例えば、倒れている信号を探したり、浸水している場所を見つけたり、倒木を見つけたりするなど、ユーザが入力する言葉に対応して柔軟に検索することができるようになっています。


柴田：一口に災害による被害といっても、いろいろな事態が起こり得ます。たとえば地震一つとってみても、建物が倒壊したり、道路が陥没したり、浸水したりと多種多様な状況が生まれます。こうしたものを全て事前にAIに学習させておくことは困難です。学習データに存在しない未知な状況にも対応できるように学習することを「ゼロショット学習」と呼びますが、今回はこのゼロショットを実現させるためにLLMを活用しました。LLMには言葉の中に「信号機はこういうもの」「浸水はこういうもの」という私たち人間の常識のようなものが詰め込まれていますから、膨大な画像のなかから任意のものを粗く絞り込むためには有効です。

とはいえ、自然言語のみを用いて、ユーザの意図を反映させた詳細な絞り込みを行うことは困難です。例えば私たち人間も、大勢の中から誰かの顔を探そうとするときに「眉毛が上がっていて、髪の毛が短くて……」などと言葉だけで事細かに全てを表現することは難しいですよね。そのかわり「〇〇さんと似ている」というように言えば、すぐ見つけられるはずです。画像はそれ自体に自然言語とは異なる情報が豊富にあるものなのです。そこで、今回は類似画像を検索する技術を組み込むことで、さらに高いレベルでの絞り込みを実現できるようにしました。LLMで洗い出された画像に対し、どの画像が条件に適合しているか、もしくは条件に適合しないかをチャット上で指定することで、より簡単にユーザの意図を反映させることができるようになっています。

地図データを活用することで世界最高精度（注1）を実現

谷：2点目のポイントである地図データとの連携については、撮影位置推定の精度向上に役立っています。以前の弊社技術では地上で撮影された写真を衛星画像や航空写真と照合していましたが、今回は新たに地図データのレイアウト情報を活用することで、どこが道路で建物か、信号機があるかどうかなどが明確にわかるようになりました。これにより、世界最高（注1）の照合精度94.4％（注2）を実現しています。

また、地図のレイアウト情報を使うメリットはもう1つあります。例えば地震が起きた場合には、道路の方が建物よりも損壊しているリスクが低いと考えられますので、地震の際には道路の情報を積極的に使って推定する方が、精度が高くなるでしょう。逆に、水害の際には道路が冠水している可能性が高いので、建物の情報を積極的に活用したほうが、精度を高められるはずです。このように地図上のデータの優先順位を使い分けて照合することで、種々の自然災害にロバストに対応できるようになっています。

本技術の内容は論文にまとめ、信号処理分野の主要国際学会であるICASSP2023に採択（注3）され、口頭発表しています。


柴田：画像と言語ですとか、言語と音などの異なるメディアを組み合わせてマルチモーダルに処理する技術は珍しくありませんが、画像と地図データを組み合わせるというのは世界的にもユニークなアプローチだと思います。社会課題の解決をめざすNECだからこそたどり着いた斬新なアイデアだと言えるのではないでしょうか。

国や自治体向けに実用化をめざす

― 今後の展開を教えてください。

谷：まずは国や自治体のお客様にご協力をいただきながら実証実験を重ねていくつもりです。今年度から来年度にかけて実証を始め、現場で必要とされる要求性能を明らかにしつつ、2年後を目処とした実用化をめざしていきます。ゆくゆくは公共機関だけでなく、損害保険会社様に対して被災状況の把握を迅速化するためのサービスなどへも展開できるだろうと考えています。


寺尾：技術的には、地図情報とのさらに密接な連携も考えているところです。地図上にもたくさんの情報があります。これをLLMと連携することができれば、さらに精度を高め、本技術の可能性を広げていくことができるでしょう。激甚化する災害に適応し、状況把握や救助活動に貢献する技術として、これからも研究開発を進めていきます。

NECの最先端技術一覧へ戻る