建設業界における最重要テーマである「安全」。重機が稼働する建設現場では、ひとたび事故が起これば重大な結果を招きかねず、各社では安全性向上に向けた施策や技術の研究開発が継続的に進められてきました。

住友重機械工業株式会社様（以降、住友重機械と記載）では、同社グループ会社である住友建機株式会社様（以降、住友建機）によって油圧ショベルなどの建設機械が提供されています。住友重機械グループ全体の組織的な研究開発を担う技術研究所では、油圧ショベルにカメラや各種センサを搭載し、現場の作業データからソリューション提案を行うなど、ITを活用した先進的な安全対策にいち早く取り組んできました（注1）。

NECでは2026年4月から住友重機械と協力し、建設現場の安全性向上に向けた新たな技術の共同開発を実施します。2025年には既に技術検証を完了しており、NECが開発した最先端技術である映像認識AI×LLM（注2）を活用し、住友建機製の油圧ショベルから取得した映像やセンシングデータを解析する技術的な実現可能性を検証していました。膨大な時間を記録したデータの中から油圧ショベル周辺で発生したヒヤリハット事象を自動検出し、その内容を文章として要約。さらにレポートを自動で作成し、現場への的確で効率的なフィードバックを可能にするという本技術。今後は、その実装に向けた取り組みが始まります。新たなスタートを前に、その開発背景や技術的な工夫、そして今後の展望について、両社の研究者に詳しく話を聞きました。

現場で本当に役立つ安全対策を目指す

― 今回の技術検証に至った背景や目的を教えていただけますでしょうか？

因藤：建設業界では、常に「安全」を最優先の課題として追求しつづけています。重機が稼働する建設現場では残念ながら痛ましい死亡災害も起きており、油圧ショベルを提供する私たちとしては、作業員の安全を確保するための技術研究に取り組み続けてきました。


李：安全性は現場でも極めて重要視されていて、「KY（危険予知）活動」をはじめとした数々の対策も講じられています。しかし、現場で一人ひとりが安全上適切な行動をとれるかというと、必ずしもそうとは言い切れない実情があります。

生沼：納期が差し迫って目の前のノルマを達成することでいっぱいになり、安全な作業を徹底しきれないという事態も起こり得るのです。


因藤：危険が生じたら機械を停止する安全装置を搭載したりもしますが、不要なタイミングでの機械の停止は作業効率の低下を招きます。近年、建設業では人材不足も深刻化しており、現場は作業の安全と効率化とのジレンマに悩まされながら懸命に稼働しています。こうした根本的な課題にアプローチしなくては、本当の意味での解決策にはなり得ません。

だからこそ、私たちは安全性と作業効率の両立を図るために、数年前から油圧ショベルにカメラやセンサを搭載し、実際の作業データを活用した安全対策を講じられるようにする試みを開始しました。しかし、さまざまなデータを取得して蓄積する環境が整ったものの、この膨大なデータを効果的・効率的に活用する方法を模索する状況が続いていたのです。近年急速に進化した生成AIの登場に解決の糸口を感じ始めていましたが、そんなときに出会ったのがNECさんでした。

研究者同士の対話でゴールを明確化

― 協業は上手くスタートしたのでしょうか？

劉：最初は上層部からの紹介でコンタクトして、お互いにどういったご協力ができるか模索していきましたね。そこからのスタートでした。

李：その後、展示会で劉さんの講演をお伺いして、ドライブレコーダーの膨大な記録映像のなかから任意の映像を検索し、事故時の状況や要因などを要約して提示するという技術を拝見したときに、これは私たちの技術にも適用できるのではないかと直感しました。


平川：講演会後から、協業がより具体的な話となって加速していきましたね。私たち研究者が直接お客様と議論し、課題の真因を明らかにしながら伴走する「NEC先端技術コンサルティング」（注3）というサービスを組み込むことで、ふさわしいソリューションを探っていきました。


因藤：実は十数年前にもNECさんと一緒にプロジェクトに携わったことがあるのですが、そのときのNECさんの印象とは大きく変わりましたね。当時は割とカチッとしていたというか、できないところはできないと明確にされている印象を受けました。いまは、まだ先が見えないような新しいプロジェクトにも、いっしょに挑戦してくださっています。私たちとしてもスピード感持って時勢を追っていけるパートナーを探していたので、協業が始まったときから「これはいける」という感覚を持ちました。


劉：社外からもそのようにおっしゃっていただけるのは、とても嬉しいですね。NECとしても急速な進化をつづける生成AIやLLMを活用した製品やサービスをつくっているので、常に一刻も早い製品化を目指すように心がけてきました。研究開発を続け、1年後にリリースした製品が時代遅れになってしまうということがある世界ですから。いち早くトライアル版を作成して現場に投入し、フィードバックを受けて改善を繰り返すアジャイル開発を取り入れ、迅速に製品化するというやり方を徹底しています。


平川：今回は住友重機械の皆さんの目的や課題感をヒアリングしながら、どういうゴールを目指すかという議論から始めていきました。そのなかで最初のトライアルとしてターゲット設定したのが、今回の技術検証で実現したヒヤリハット事象の検索と要約でした。


生沼：何か危ないことが生じたとき、全てが重大災害につながるわけではありません。危険な事象が何回も繰り返され、積み重なっていくうちに、それが最終的に大事故につながってしまう方がはるかに多く、こうした事態にこそ注意しなくてはなりません。しかし、ヒヤリハットは「叱られるのでは」などの心理的側面から報告がされないこともあります。報告を受けた側も、事故に至っていない場合、エスカレーションすべきか内部改善にとどめるかの判断は難しいものです。そこで、油圧ショベルの映像からヒヤリハット事象を抽出し、解析して概要をテキストで提示してくれるシステムができれば、安全な環境づくりに貢献できるのではないかと考えました。


因藤：ただ、ヒヤリハットを検知して管理者が作業者に「危険なことをしているだろ」と指摘するシステムにはしたくないという思いもあります。現場で危険な使い方をしたことには何か理由があるはずなので、そうした事情も踏まえながら「〇〇を急いでいるのであれば、〇〇するといいですよ」などと改善につなげられる提言まで実現できるといいですね。最終的には、このようなかたちで現場管理者のトレーニング・教育にもつながるようなシステムにしていけたらと考えています。


平川：そうですね。今回の技術検証で、映像からヒヤリハット事例の検索や要約が実現できたという段階ですが、今後は管理者側の教育も含めて多岐にわたってサポートできる技術開発を進めていきたいと考えています。

マルチモーダルデータを構造化して高速・高精度に処理

― 本技術は、どのようにして実現しているのでしょうか？

平川：ベースとなっているのは、「記述的映像要約技術」と私たちが呼んでいる映像認識AIとLLMを掛け合わせたNECの独自技術です（注2）。住友重機械さんからいただいた映像やセンサ情報をこの技術のなかに入れ込むことで実現しています。映像理解にVLM (Vision and Language Model)だけを使うと処理が非常に重くなってしまいますので、より軽量な映像認識AIを上手く活用して重要シーンの抽出を行えるようにしています。これにより実用的なシステムにしていることもポイントです。

アウトプットとしては、映像のなかからヒヤリハット事象を抽出して要約提示するレポートを出力します。先ほど述べたように管理者側での教育まで今後のターゲットにしていますので、現段階では状況に応じた提言を入れられるような文言のイメージも付記しています。提言部分については、今後精度強化をしていけば使えるものになりそうだというところまでは見えてきたという状況です。

因藤：建設現場での知識やノウハウが必要な領域は、私たちが担当しました。具体的には、危険なシーンを指定するアノテーションです。動画内でショベルを使用する上でどのような危険があるか、などといった部分は、住友重機械側で情報を補うことで精度を上げていきました。しかし、私たちから提供した映像の画質は決して良いものではありません。そんな映像でも精度よく認識できることには驚きました。LLMについても、私たちとしてはページ数を指定しても間違うくらい数字に弱いものだという認識があったのですが、時間指定などもぴったり合うことに驚いています。


劉：そこには、メタデータをコンパクトに独自の構造で表現するという私たちの技術が活きています。時間・空間を含めて構造化することで、マルチモーダルな情報を高速かつ高精度に検索することができます。LLMについても検索拡張生成（RAG）の技術を使うことで、複数のモーダルが整理された中から情報を検索できるように落とし込んでいます。これによってハルシネーションを抑え、精度を上げるような工夫を施しています。

山田：マルチモーダルなデータの構造化は難しいポイントです。映像認識結果とセンサ情報という異なるモダリティをどう結び付けるか。ヒヤリハット事象と判断するためには、どちらか一方の情報だけ使えばいいというわけではありません。それぞれをどうマッチングさせて判定させていくかというところは、何度も調整を繰り返していきました。

事業検証を経て、建設業界への展開を目指す

― 今後の展望や目標について教えてください。

生沼：最終的に今回のシステムが実現する理想形として、現場の方が特に意識しないでも、安全に作業ができるようになればと思っています。「安全」を言葉で伝え続けることも大切ですが、繰り返し言われるほど動きづらくなる方もいるのではないでしょうか。さまざまな人が働く現場だからこそ、自然と安全な行動を選べている環境をつくることの効果は高いと思うのです。普段の業務が自然と安全になり、安全に対する意識も自然と高まり、重大災害を防ぐ。そんなシステムを目指していけたらと思っています。


平川：そうですね。死亡災害を含む重大災害を防ぎ、安全な建設現場をつくるというのは非常に大きな社会課題です。これを解決するということに対しては、私たちも強い想いを持って取り組ませていただいています。1年間の技術検証を経て、映像認識AIとLLMをベースにしてヒヤリハット事象を抽出するというところまで実現する目処がつきましたが、今後1年は本格的に社会価値を創出するフェーズだと思っています。NECは他にも多様な技術を保有していますから、課題解決に向けてあらゆる方法を模索しながらご提案を繰り返していきたいと考えているところです。

因藤：エンドユーザを想定しながら、実際に使ってもらうための実装も考えていきたいですね。建設業といっても、作業者や現場責任者、安全管理責任者など、さまざまな立場や責任が存在します。同じ「安全」でも求めるアプリケーションが異なるはずですので、まずはトライアルとして使っていただけるエンドユーザを今年中には探していきたいところです。そして、実際に活用いただいてフィードバックを得ながらブラッシュアップをしていけたらと思っています。

山田：はい。実際に使っていただくと、また新しい課題が出てくると思いますので、そこは一つひとつ克服していきたいですね。加えて、映像やセンサ情報だけでなく、他の情報も使ってさらに精度向上や新しい価値を作れないかなどの研究も並行して取り組んでいきたいです。


李：私たちとしても、データをお渡しする前段階の処理で何かできることがないかと検討をしているところです。例えば、映像や機械データは1台あたり週3000～4000分という膨大な時間が記録されていますから、全てをLLMで処理することは現実的ではありません。機械の利用状態から要約・分析が必要な部分だけを提供できる仕組みにしたいと思っています。


劉：ありがとうございます。平川も言ったように今年度は事業検証フェーズに入りますので、是非いっしょに成功させて、製品・ソリューション開発につなげていきましょう。そして、この協業によって作り上げた製品・ソリューションを建設業界に広く展開して、事故のない建設現場を実現する。そんなことを目指していきたいと思っています。

NECの最先端技術一覧へ戻る