2023年12月5日
日本電気株式会社

NECは、生成AI(Generative AI)を支える大規模言語モデル(Large Language Model、以下「LLM」)と映像認識AIを組み合わせ、長時間の動画から利用者の目的に応じた短縮動画と説明文章を自動生成する技術を、世界で初めて開発しました(注1)。
本技術をドライブレコーダーの動画分析に活用することで、事故発生時の状況や発生に至った経緯などを説明する文章と短縮動画を自動で生成可能となります。また、それらをもとに、損害保険金請求や交通安全指導などに向けた事故調査報告書を、フォーマットに合わせて自動作成します。これにより、従来は手作業で行っていた報告書の作成にかかる時間を半減できます。NECは本技術の試用版を、2024年3月に提供する予定です。

背景

近年、交通、物流、製造、建設、小売りなど、様々な場面で安全管理や業務の効率化を目的とした動画の利活用が進んでいます。しかし、長時間の動画の確認と、作業のヒヤリハットや改善点に関する報告書の作成に、膨大な工数と時間がかかることが課題となっています。生成AIの活用により、静止画の説明文章の自動生成は可能となりましたが、様々な物体や環境から構成され、かつ時間経過とともに変化する複雑なシーンを含む動画には適用が困難でした。

開発した技術の特長

1. 効率的にシーンを見つけ出し、報告書の作成を迅速化

映像認識AIとLLMを組み合わせて、動画の各シーンを理解することが可能となりました。具体的には、100以上の映像認識AIを活用し、シーンを構成する人物、車、建物、動物、樹木などの自然物、天気などの様々な物体や環境と、それらの変化を個別に認識します。その認識結果だけをLLMで分析することで、動画全体を分析する場合と比較して、利用者が求めるシーンを効率的に見つけ出すことができ、目視による動画の繰り返し確認が不要となります。

2. 動画の正確な解釈で、専門家と同品質の報告書を生成

生成文章の品質を向上させるために、対象分野のサンプル映像を使ってLLMを事前にファインチューニングします。例えば、ドライブレコーダーの動画に適用する場合、事前に道路交通関係の動画を分析します。これによりLLMが専門知識を備え、動画内で起きた出来事を正しく理解できるようになります。その結果、生成AIの正確性の課題であるハルシネーション(注3)に対応しながら、信頼性の高い報告書を作成できるようになります。

3. 大規模なコンピュータを使うことなく、数秒間で報告書を作成

1時間以上の動画から、目的のシーンの動画と説明文章を数秒間で作成可能です。そのために、NECが開発したコンパクトで高性能なLLMと、高速なデータ検索システムを活用しました。

検証結果

NECは本技術を、ドライブレコーダーの動画から事故調査報告書を作成するユースケースに適用し、検証を行いました。検証の結果、従来は人手で行っていた事故および事故原因となったシーンの探索や、報告書案の作成を自動化し、報告書作成にかかる時間を半減できることを確認しました。

今後の展開

NECは2024年3月に、本技術の試用版を損害保険会社や自動車メーカーなどに提供開始し、ドライブレコーダーの動画を活用した事故報告書などの資料作成を支援します。
また今後は本技術を、看護・介護記録の作成支援、製造・建設現場での作業記録の作成支援、自動運転用AIに学習させる事故シーンの収集と説明文の作成、放送映像向け特定コンテンツの収集とナレーション原稿の作成など、様々なユースケースに展開する予定です。

以上

本件に関するお客様からのお問い合わせ先

NEC　グローバルイノベーション戦略統括部