2022年9月15日

製造工場や倉庫などで、現在も変わらず重要な工程を担うことの多い人手による作業。しかし、手元で行う細かな作業にかかる時間の客観的な把握は非常に難しく、生産性の改善における大きな課題となっていました。NECでは、こうした作業においてもデジタルトランスフォーメーションをもたらす「作業行動識別技術」を開発しました。人手作業の各工程にかかる時間を可視化し、現場の生産性を大きく向上させる可能性をもつ本技術について、研究者に詳しく話を聞きました。

映像データから数十工程を高精度に自動識別

― 作業行動識別技術とは、どのような技術なのでしょうか？

井下：映像から作業者の行動を自動的に識別することができる技術です。手指形状と手の周辺の画像を解析するAIによって、数十種類の細かい作業を高精度に識別することができます。

現在では工場や倉庫など、さまざまな場所で作業の自動化が進んでいますが、まだ人手作業が欠かせない工程も多く、生産性の向上には課題がありました。本技術は、そのような人手作業をターゲットとして考えたものです。一つひとつの工程にかかる時間を効率的に把握し、生産性の改善に寄与することを目的に開発しました。従来では担当者が定期的にストップウォッチで時間を計測するアナログな方法に頼るほかありませんでしたが、本技術を使えば自動かつ正確に、しかも恒常的に工程ごとの作業時間を把握できるようになります。


石原：これまでも映像データを丸ごとディープラーニングによって解析するというアプローチはありましたが、これには膨大な学習データが必要となりますし、解析可能な作業もわずか数工程に留まっていました。一方で、人の体の関節点から姿勢を解析するというアプローチもありますが、これは体全体を使うような大きな動きが対象のときに有効となるものです。部品の組み立てのような細かい作業には適しません。

これらに対して、本技術は手指形状とその周辺画像を解析するという新たなアプローチから取り組んでいます。これにより、細かな手作業でも数十工程におよぶ高い解像度で高精度に識別することができます。

数本の手本作業映像から、約20工程を識別できるAIを1日で作成

― 具体的には、どのような技術が使われているのでしょうか？

石原：手指形状を認識するアルゴリズム自体は一般的な手法を用いていますが、製造現場特有の手袋への対応など、実現場でのロバスト性を上げる工夫をしています。NECが得意とする生体認証で培った知見を大いに活用することで、精度や効率性を高めることに成功しました。


井下：導入しやすさ、運用しやすさという点にも追求して開発を進めてきました。というのも、映像データを丸ごと使う従来型の技術では、教師データの準備に非常に大きなコストがかかっていたからです。お手本となる映像を撮影し、ここからここまでの時間が工程A、ここからここまでが工程B……、という「正解付け」作業をひたすら繰り返していきます。しかも、それを数百本の映像に対して行わなければなりません。これが、お客様へ大きな負担を強いていました。だからこそ、解析できる工程もわずか数種類までに留まっていたのです。

しかし、本技術では手指とその付近の小領域に着目して解析しているので、たった数本だけ教師データを作成すれば、数十種類にわたる工程を自動で解析できるAIをつくることができます。解析内容にもよりますが、およそ1日程度あれば学習が完了するので、導入する際も非常にスピーディです。


石原：また、数十種類もの工程を高精度に識別するために、手指と周囲の画像情報間の「共起関係」を学習しています。というのも、手指だけを見ていたのでは、異なる部品を掴んだときに同じ工程だと識別してしまうこともあり得ますよね。だからこそ、手指形状に加えて、周囲に映り込んだ部品の色や形状などの画像情報も参照するような技術に仕上げました。双方の情報を掛け合わせた「共起関係」を学習し、細かな作業でも高精度に識別できるようになっています。

この技術をまとめた論文は、画像の認識/理解技術では国内最大規模を誇る会議MIRU2022に採択され、7月26日に口頭発表しました。また、つい先日、世界で難関とされている国際学会ICIP2022にも採択されました。10月中旬に発表を予定しています。

異常検知や事前準備の容易化までを視野に入れて検証中

― 現在、技術はどこまで完成しているのでしょうか？

井下：NECグループのNECプラットフォームズ株式会社がもつ製造工場内で実証実験を行いました。無事に作業工程の識別と時間を導き出すことに成功し、予め規定していた作業時間との差異が把握できました。これによって、作業のボトルネックを可視化し、生産性の向上に寄与できることが確認できたことは大きな成果でした。

すでに複数のお客様からも引き合いをいただいているので、現在はさらに実証を加速させていきたいと考えているところです。製造業だけでなく、倉庫作業や中食工場でのお弁当の詰め作業など、幅広いお客様のお役に立てる技術だと思いますので、より広い視野で実証に取り組んでいくつもりです。


― 本技術のさらなる可能性や今後の目標はありますか？

石原：私としては、「異常検知」も組み込んでいきたいと考えています。規定の工程の順番が入れかわってしまったり、工程を飛ばしてしまったりしたときにアラートを出せるような仕組みです。こうした異常が作業中に検知できれば、生産性の向上に大きく貢献できるはずです。実証実験では、この技術も同時に検証していきたいと考えています。


井下：並行して、お客様の導入しやすさ、使いやすさという点はこれからも追求していきたい点です。先ほど述べた学習データの準備にしても、さらなる簡略化ができないかという点は変わらず検討を進めていきたいところです。例えば、データの準備まで丸ごと自動化できれば、お客様にとって大きなメリットになるでしょう。これからも常にお客様の視点に立って、事業化を推進する技術の研究を進めていきたいと考えています。

NECの最先端技術一覧へ戻る