2026年10月14日
日本電気株式会社

NECは、災害時に自治体などへ集まる現場画像から、画像内に小さく写る被害を高精度に把握するVLM(Vision-Language Model、視覚言語モデル)局所領域理解技術(注1)と、VLMの認識能力を維持したまま新たな被災事象を追加できるVLM継続学習技術(注2)の2つを新たに開発しました。なお、本技術は国立大学法人東北大学岡谷研究室との共同研究による成果です(注3)。
VLMは、大量の現場画像を文章で検索し、必要な状況に合致する画像を効率的に絞り込めるため、自治体の救助活動や復旧対応への活用が期待されています。本技術により、小さく写る被害の見逃しを減らせるほか、検索事象を後から追加することも可能になり、これまで目視で約7時間かかっていた特定の被災状況の把握を1時間弱に短縮できます(注4)。NECは本技術を通じて、自治体などの災害対応の迅速化に貢献し、2027年度中の実用化を目指します。

背景

近年、自然災害の激甚化や頻発化に伴い、被害の最小化と迅速な意思決定の重要性が高まっています。自治体などには災害発生直後から数千～数万枚もの現場画像が集まりますが、担当者がこれらすべてを目視するには膨大な労力と時間を要します。こうした中、担当者が文章で問いかけて合致する画像を絞り込めるVLMの活用により、少人数でも短時間に被災状況を把握する取り組みが期待されています。
しかし、従来のVLMでは、救助や復旧の判断に重要な被害の多くは現場画像の中で小さく写るため、こういった画像面積の10%以下の小さな事象を見逃してしまう場合がありました(注5)。また、VLMは、一般的な物体や状況の認識には強みがある一方で、土砂崩れや冠水といった地域特有の事象や新たに判明した被災事象など、未学習の内容には対応が難しく、追加学習を行うと、それまで認識できていた事象の精度が低下する(忘却)という課題がありました。
NECはこれらの課題に対し、画像の細部まで理解するVLM局所領域理解技術と、既存の知識を維持しながら新たな知識を追加するVLM継続学習技術を開発しました。これら研究成果は、コンピュータビジョン分野の国際会議「ECCV 2024」「ECCV 2026」でそれぞれ論文採択され発表しました。

提供価値

本技術により、現場画像の中に小さく写る被害の見逃しを減らすとともに、担当者が目視で約7時間を要していた特定の被災状況の把握を1時間弱に短縮します。被災直後の初動では「土砂で塞がれた道路」のような文章による検索で状況把握を迅速化し、復旧判断の場面では道路や建物の被害画像を仕分けることで、現地確認の優先付けを支援します。また、震災後の水害など想定外の災害リスクや地域の状況にも柔軟に対応できるよう、検索事象を継続的に追加可能です。

本技術の特長

1. 小さな部分や狭い範囲など、画像の細部まで高精度に把握

NEC独自のVLM局所領域理解技術は、画像内の対象物の領域情報をVLMの特徴抽出処理に反映することで、画像全体だけでなく小さな部分や狭い範囲にも注目して情報を抽出できます。これにより、画像面積10%以下の小さな部分でも、従来VLMが対応できる30～40%程度の大きさと同等の精度で把握できることを確認しました。建物の部分的な損壊や道路のひび割れといった細部の被害も高精度に把握し、詳細な説明文を出力できます。

2. 既存のVLMの認識能力を維持したまま、新たな事象を後から追加可能

NEC独自のVLM継続学習技術は、追加学習データだけでなく、追加学習前のVLM自身が生成した多様な説明文をお手本として双方を併せて学習することで、新たな事象の認識能力を獲得しつつ、これまで認識できていた事象の精度低下を抑制します。過去の大量の学習データを用意する必要がないため、検索事象を後から繰り返し追加することが可能です。これにより、新たに学習した被災事象と、既存の山や河川などの事象を手がかりに画像を絞り込むことができ、検証実験では、人による最終確認が必要な画像枚数を検索対象5,035枚から平均544枚へと約1/9に絞り込み、確認時間を1時間弱に短縮できることを確認しました(注4)。

NECは、本技術を通じて、自治体などによる災害時の迅速な状況把握を支援していきます。今後は、地上の現場画像に加え、光学や合成開口レーダー(SAR)による衛星画像など広域観測データの解析とも組み合わせることで、災害状況の多角的な把握を支援するとともに、災害の未然防止に向けた研究開発も進めていきます。

以上

本件に関するお問い合わせ先

NEC 研究&事業開発戦略統括部