サイト内の現在位置

多種物体認識技術

NECの最先端技術

2018.3.5

不定形な生鮮品からパッケージ品まで幅広く認識

昨今、労働人口の減少による労働力の不足が叫ばれていますが、コンビニやスーパーなどの小売業の現場では特に深刻です。小売店での業務の中で、決済業務(レジ精算)は店員負荷が特に高く、これを無人化することへの期待が高まっています。

従来から決済の無人化については、バーコードスキャンを用いたセルフレジがありますが、利用者がバーコードを1つ1つかざす手間があって時間がかかったり、生鮮品のようにバーコードが付与できない商品には対応できないなど、効率化には課題がありました。またRFIDを商品に付与して決済の自動化を行う試みも開始されていますが、まだ1枚1枚のコストが高く、一般小売店への本格導入はまだ先となっています。

当社は、画像認識技術を用いて、バーコードやRFIDを必要とせず、カメラから小売商品そのものを認識させるアプローチによって、利用者にとって操作が簡単で、導入業者の運用コストも抑えられる無人決済が実現できる技術を目指しました。今回開発した多種物体認識技術は、小売店で扱うあらゆる商品を、雑然と並べた状態でも正確に画像認識できるため、決済における商品読み取りを大幅に効率化しました。

多種物体認識技術

技術の特長

コンビニやスーパーなどの小売店で扱う商品は、青果物などの生鮮品のように個体ごとに外観の違いが大きい自然物から、飲料・菓子・カップ麺・雑貨などのパッケージ品のように酷似したデザインが大量にある工業製品、また弁当・デリカなどの日配品のようなパッケージの中に自然物が入っていて両者の特性を併せ持つ商品など、実に多種多様です。このように特性の異なる多種多様な商品を一律に精度良く画像認識するのは困難で、また、多数の商品を雑然と置いた複雑環境では、認識精度が低下してしまうという、実用面で大きな問題があります。

そこで次の二つの方法を採り入れて、この問題を解決しました。

  1. ディープラーニング技術と特徴点マッチング技術の、異なる特性を持った画像認識技術を融合し、商品ごとに認識精度が最大化するように、両技術を最適に組み合わせて認識します。これにより、自然物から工業製品まで、多種多様な商品に対して高精度な認識を実現しました。
    自然物から工業製品までの多種多様な商品の認識
  2. 個々の商品を撮影するだけで、多数の商品が雑然と混在した複雑環境の画像を大量に自動合成し、これらの画像を機械学習します。これにより、複雑環境下の画像を物理的に大量撮影することなく、多数の商品が雑然と置かれた状態でも個々の商品を頑健に認識することができました。
    多数商品を雑然と置いた複雑環境での頑健な認識

今後の展望

画像認識技術を用いた決済無人化は、米国や中国など、小売業が急速にITサービス業化している地域で先進的な取り組みが次々と行われています。当社はこの多種物体認識技術により、小売業の革新を実現していきます。