LLMと画像分析を活用した被災状況の把握

Vol.75 No.2 2024年3月 ビジネスの常識を変える生成AI特集 ~社会実装に向けた取り組みと、それを支える生成AI技術~

近年の豪雨災害の激甚化や近い将来における巨大地震発生への懸念を背景に、災害対策のより一層の強化が求められています。災害発生時においては、避難誘導や救助活動などの初動を迅速に行い、被害を最小化できるよう、被災状況を素早く的確に把握することが重要です。本稿では、災害発生時に集まる膨大な被災現場の画像を活用し、大規模言語モデル(Large Language Model、LLM)と画像分析により被災状況を把握する技術について紹介します。

1. まえがき

近年、豪雨災害の激甚化や巨大地震の発生など、世界の多くの地域で自然災害の頻度や深刻さが増しています。こうした災害発生時には、被災者の避難誘導や救助活動などの初動を迅速に行えるよう、被災状況を素早く的確に把握することが極めて重要です。しかし、災害発生時に関係省庁が公開している降水量分布や震度分布、住民から寄せられる被害や安否についてのテキスト情報には、詳細な被災状況や場所の情報は十分に含まれておらず、迅速な初動の実現にはいまだ課題があります。一方、自治体などへ提供される被災現場の画像(スマートフォン、ドライブレコーダー、街頭カメラなど)には、詳細な被災状況や場所の情報が含まれているため、現場画像の活用が期待されています。

本稿では、初動の迅速化に向けて、膨大な現場画像から被災状況の把握に必要な画像を素早く的確に探し出し、それらを番地レベルの正確さで地図上に表示する被災状況把握技術について紹介します。

2. 技術の特長

被災状況把握技術により、膨大な現場画像から利用者が必要な画像を探し出し、地図上に表示することができます(図1)。第2章では、これを実現する画像検索AIと位置推定AIの特長を説明します。

図1 被災状況把握技術の概要

2.1 画像検索AI

画像検索では、大規模言語モデル(Large Language Model、以下、LLM)による言葉の意味解釈と画像分析による画像の類似性判定を活用することで、膨大な現場画像の中から利用者の意図に合う画像を探し出すことができます。

従来、画像を検索するためには画像認識技術が広く用いられてきましたが、あらかじめ学習した特定の対象物しか認識できず、探し出せる画像が限られていました。そのため、災害の種類、規模や被災地域、事態の進行状況によって多様化する利用者の意図に応じて、的確に調査することが難しいという課題がありました。

本技術では、LLMを活用することで、利用者が自由に入力可能なフリーワードによってさまざまな対象物を現場画像のなかから探し出すことができます。更に、画像分析を併用することで、言葉では表現が難しい場面でも、利用者が探したい場面を画像で指定することによって類似した画像に絞り込むことが可能です。このようにフリーワードによる検索と画像による検索を組み合わせることで、利用者の意図に合う画像を的確に探し出すことができるため、さまざまに変化する被災状況に素早く対応することができます。

2.2 位置推定AI

位置推定では、被災場所が分からない現場画像について、街の広い範囲をカバーする上空画像や地図データと照合(クロスビュー照合)することで、現場画像の場所を番地レベルの正確さで推定し、地図上に表示することができます。

災害時などの緊急時に提供される現場画像には、必ずしも位置情報が付与されておらず、被災場所の特定が難しい場合があります。これまでNECは、衛星画像や航空写真などの上空画像を活用して場所を推定する技術を開発してきました1)が、今回、地図データの地理情報を合わせて活用することで、世界最高水準の照合精度を達成2)し、災害時の現場画像でも高精度に場所を推定することが可能になりました。

本技術は、現場画像から道路、建物、信号機などの領域を自動抽出し、地図のレイアウト情報(道路や建物などの形状や配置)と照合することで場所を推定します。これにより、地震の際は建物よりも損壊リスクの低い道路の情報を積極的に用い、水害の際は道路よりも冠水リスクの低い建物の情報を用いて照合することで、建物の一部倒壊や道路の一部浸水がある現場画像でも高精度に撮影場所を推定することができます。

3. アプリケーション

本技術を用いて大量の現場画像から被災状況を把握するアプリケーションを図2に示します。利用者とシステムとの対話的なやりとりによって画像が絞り込まれ(画面左)、絞り込まれた画像の場所が地図上に表示されます(画面右)。図2の例では、まず、フリーワード入力によって「倒壊した建物」の画像を探し出しています。更に、検索結果のなかから被害が大きい画像を選んで指定することで、被害の度合いのような言葉では表現しにくい状況まで考慮して画像を絞り込むことができます。検索された画像は、位置推定によって得られた情報に基づいて地図上に表示されます。このように、本技術を用いることによって、利用者が調べたいさまざまな被災状況を素早く把握することができるようになります。

図2 被災状況把握のアプリケーション

4. むすび

本稿では、災害発生時の膨大な被災現場の画像を活用し、LLMと画像分析により素早く的確に被災状況を把握する技術について紹介しました。NECは今後、本技術を実用化し、災害発生時の避難誘導や救助活動をはじめとする初動の迅速化を目指します。また、LLMや画像分析技術の活用シーンを広げていくことで、社会の安全・安心、利便性の向上に貢献していきます。

参考文献

執筆者プロフィール

谷 真宏
ビジュアルインテリジェンス研究所
ディレクター
寺尾 真
ビジュアルインテリジェンス研究所
ディレクター
枌 尚弥
ビジュアルインテリジェンス研究所
研究員
柴田 剛志
ビジュアルインテリジェンス研究所
シニアプロフェッショナル
先崎 健太
ビジュアルインテリジェンス研究所
プロフェッショナル
ロドリゲス ロイストン
NEC Laboratories Singapore
Senior Researcher

関連URL