2025年1月29日
日本電気株式会社

NECは映像解析技術と生成AIを活用して、お手本動作と実際の作業の違いを把握し、改善に向けたアドバイスを生成する技術を開発しました。本技術を活用することで、手指を使う細かな作業から体全体を使う作業まで、改善のための適切なアドバイスを自動で提示できるようになります。これにより、製造や物流、建設など様々な業種の作業現場で、指導者なしでも作業習熟が可能になるセルフ教育を実現します。

近年、熟練作業者の高齢化に伴う指導者不足により、技術伝承が進まないことが課題となっています。また、多品種少量生産の増加や労働者の多様性と流動性により、指導者による作業教育のコスト増加や作業教育が十分に実施できないことによる作業品質の低下が懸念されています。

本技術は指導者の代わりにAIがアドバイスを行うことで、多種多様な作業に対するセルフ教育を可能にします。これを実現するために、お手本動作との細かな動きの差異が発生している区間を検知する映像解析技術と、差異に基づいて生成AIがお手本動作に近づくための適切なアドバイス文を生成する技術を開発しました。

差異区間を検知する映像解析技術では、お手本動作と実際の作業を比較し、同じ動作が行われている区間の対応付けをします。その際に、人の動きだけでなく作業対象の物体に対する「つかむ」「持つ」といったインタラクションも捉えることで、お手本動作と動作時間が異なっても正確な対応付けが可能になります。これにより、従来は検知できなかった細かな作業動作の差異を検出できます。

アドバイス文を生成する技術では、検出した差異区間映像に加えて、腰や膝の動き、手や指の形状といった骨格情報を大規模視覚言語モデル(Vision and Language Model : VLM 、注)に入力します。映像情報だけでなく骨格情報も入力することで、VLMが改善すべき作業姿勢や動作を正確に特定し、具体的なアドバイス文を生成します。生成されたアドバイス文を該当部分の映像と共に提示することにより、物品の細かな組み立て作業や箱詰め、運搬作業など、様々な業種の現場で指導者を必要としない作業習熟を可能にし、教育コストの大幅な削減にも貢献します。

今後の展開

NECは本技術について、2025年度中に実証と製品開発を進め、2026年度内のサービス提供を目指します。

以上

モノづくり現場の作業品質を高めるAIによるセルフ教育 作業教育を支援する技術について

URL：https://jpn.nec.com/rd/technologies/202405/index.html

本件に関するお客様からのお問い合わせ先

NEC　グローバルイノベーション戦略統括部
E-Mail：https://jpn.nec.com/cgi-bin/cs/opinion_form4.cgi