Japan
サイト内の現在位置を表示しています。
あらゆる小売商品を認識可能にする多種物体認識技術
人とともに未来を創る最新のAI技術近年の労働人口減少によりコンビニエンスストア・スーパーなどの小売業界でも労働力不足が深刻化しており、特に業務負荷の高い決済業務(レジ精算)に対しAIを活用した省力化・無人化の実現が期待されています。本稿では、カメラからの画像認識を用いた決済無人化の実現に向け、小売店で扱うパッケージ品などの定型物から日配品・生鮮品などの非定型物まで、あらゆる商品を一括で画像認識する多種物体認識技術を解説します。また本技術を活用し、来店客が複数の商品を雑然と置くだけの簡易な操作で高速決済可能な、画像認識POSシステムについて紹介します。
1. はじめに
近年、コンビニエンスストアなどに代表される小売業界では、労働人口の減少による労働力不足が深刻化しており1)、店舗運営の省人化・無人化への取り組みが強く求められています。一方で、AIの分野ではディープラーニングとして知られる機械学習手法の登場により画像認識技術が急速に進展しています。そこで、これらAIの最新技術を活用し省人化・無人化を進めることが期待されています2)。
小売店での業務は多岐にわたりますが、特に、決済業務(レジ精算)は店員を拘束する時間が長いため、AIの活用による無人化が大きく期待されています。決済無人化の実現に向け、既にバーコードスキャンによるセルフPOSレジの導入は検討されていますが、一つずつの商品スキャンが必要であり利用者にとって手間や時間がかかることから、当初想定ほどは普及していません。商品スキャンを効率化するために、電子タグ(RFID)3)の検討も進められていますが、導入・管理コストが高いことが普及への課題となっています。そこで、近年急速に進展している画像認識技術を活用し、バーコードやタグを用いることなく商品をカメラで撮影・認識するアプローチが有望視されています。
画像認識技術を活用した決済効率化の事例4)5)として、パンや青果物など特定商品に特化したものは存在しますが、店舗内の商品はコンビニエンスストアのような小型店舗でも数千種類の多種多様な商品が存在しているため、幅広く商品をカバーできる商品認識が求められます。また、チェックアウトフリー型6)と呼ばれる天井に設置されたカメラに加え、棚に重量センサーを配置するなど、複数のセンシングデータを分析することでレジ作業なしで来店客の商品取得から決済を完了させる取り組みも進められていますが、レジ作業を無くすには大量のセンサーの設置・調整が必要で導入・運用コストが大きくかかり、特に既存店舗への組み込みは困難です。
本稿では、多種多様な商品をカバーし、導入・運用コストが低く小型店舗でのレジを代替・決済無人化を実現できる多種物体認識技術を紹介します。第2章においてNECの多種物体認識技術について説明し、第3章において本技術を活用した画像認識POSシステムについて紹介します。第4章で本稿をまとめます。
2. 多種多様な商品を画像認識する多種物体認識技術
コンビニエンスストアやスーパーなど一般小売店における利用者にとって容易で高速な決済を実現するためには、お菓子・カップ麺のようなパッケージ品などの定型物(コンビニエンスストアでは約8割)と、お弁当・パンのような日配品や青果物のような生鮮品などの非定型物(コンビニエンスストアでは約2割)で構成される多種多様な商品をすべて高精度で認識する必要があります。定型物は、味違いなどで少しデザインが異なるだけで別商品となる場合が多いですが、非定型物は1つひとつ大きな個体差があっても同一商品であり、両者の特性は大きく異なります。近年のディープラーニングを適用した画像認識技術によって、認識精度は飛躍的に進歩しましたが、このような特性の異なる多種多様な商品を、一律にかつ高精度に認識するのは容易ではありません。
NECが開発した多種物体認識技術は、図1に示すとおり、定型物と非定型物に対して、それぞれの特性に合った認識技術を組み合わせることで高精度を実現します。具体的には、(1)デザインされた定型物のわずかな違いをとらえ正確に照合する特徴点マッチング技術と、(2)個体差がある非定型物を同一物と認識できるディープラーニング技術とを融合させています。この技術により、両者が混在して机の上に置かれても、瞬時に認識することが可能となります(写真1)。


定型物認識に用いる特徴点マッチング技術は、図2に示すとおり、パッケージ品の外観デザインといった模様中にある角の点など複数の特徴点を抽出し、あらかじめデータベースに画像登録された商品の特徴点と同じ位置にどの程度あるかをマッチングさせて認識する技術7)8)です。特徴点の微少なずれをとらえることができるため、デザインのわずかな違いを容易に区別できます。

非定型物認識に用いるディープラーニング技術としては、物体検出・認識9)10)11)で良く用いられるConvolutional Neural Network(CNN)を採用しています。多様な学習データを与えることで、個体差のある物体でも高精度に識別することが可能です。しかし、CNNを用いて高い認識精度を実現するためには、学習データとして多数商品が多様に配置された画像を大量に準備する必要があり、多大なコストと時間がかかります。そこで、図3に示すとおり、単一の商品をそれぞれ個別に画像撮影しておくだけで、多数商品が多様に配置された学習用の画像を自動合成で作成し学習する手法12)を開発しました。この方法によって、学習用の画像を容易に大量生成することができ、少ないコストと時間で実用レベルの精度を達成することを可能にしました。

前述の2つの認識技術それぞれ単体の場合と融合させる場合の認識精度比較を、図4に示します。図4から分かるとおり、単体の認識技術よりも融合させた場合の認識率が高く、定型物と非定型物を広くカバーできる物体認識技術となっていることが確認できます。

なお、実際の決済時には、販売したい商品だけでなく、利用者の手や財布などさまざまな想定外の物体が混入する場合に対応する必要があります。従来のCNNでは、このような想定外の物体をうまく扱うことができず、学習・登録した商品として認識してしまう誤認識が発生したり、誤認識を避ける設定とすると正しく商品が認識できなくなる問題が発生したりします。開発した手法は、独自の学習方法を採用することで、学習された商品とそれ以外の未学習・未登録の物体とを高精度に分離しながら商品を認識することを可能にし、誤認識を抑制しました。コンビニエンスストアで扱う非定型400商品で評価した結果、新手法搭載前の誤認識を14%から0.5%に大幅低減することを確認しました(図5)。

3. 画像認識POSシステム
3.1 開発した画像認識POSシステムの構成
第2章で紹介した多種物体認識技術を用い、既存セルフレジのように商品1つひとつをわざわざセンサーにかざすことなく、複数の商品をレジ台上に置くだけで一括認識する画像認識POS試作システム(写真2)を開発しました。この試作システムは、上方に設置されたカメラで対象物を撮像し、画像認識PCで多種物体認識技術による認識処理を行い、商品載置面上に結果を表示する構成となります。

3.2 実店舗での実証・運用
開発した画像認識POSシステムの有効性を検証するため、社内売店のPOSとして図6に示す認識・決済フローとして導入し、2018年度の1年にわたり実施しました。

実証を行った社内売店では、パッケージ品から日配品までを含む全体で約800商品を扱っており、商品入替が毎週行われ、月に約1割の商品が入れ替わります。これら新規商品に対し認識処理を迅速に対応させるために、商品棚を撮影した画像やWeb上に公開されている新商品の情報より登録するツールを開発し、人手による作業負荷を1/4に効率化しました。これにより、実証後半の半年間、全商品のデータベースを継続して維持できることを確認しました。
また、実証では延べ5,000人以上が利用し、特に問題なく処理したこと、決済時に商品スキャン時間をバーコード利用と比較し1/2~1/3に短縮できることを確認しました。利用者約150名に対し、5段階の主観評価によるアンケート調査を行ったところ、85%以上のユーザーから「かなり良い」「良い」とする良好な評価が得られ、本システムの有効性を確認しました。
開発システムは社内だけではなく社外の店舗(台湾セブン-イレブン)でも2018年7月から実証実験を継続実施中(2019年9月現在)であり、頻繁に商品が入れ替わる環境で長期の継続運用が可能であることを実証しています13)。
4. まとめ
本稿では、労働力不足が深刻化するコンビニエンスストアやスーパーなどの小売業界における、省力化・無人化の期待に対して、AIを活用した決済無人化の取り組みを紹介しました。NECは、多種多様な商品をすべてカバーしカメラを用いて認識するために、特徴点マッチング技術とディープラーニング技術を融合した多種物体認識技術を開発しました。この多種物体認識技術を用いて、簡易かつ高速に決済ができる画像認識POSの試作システムを開発し、実店舗での実証・運用を通してその有効性を確認しました。今後は、試作システムの運用結果を生かし画像認識POSシステムの改善を進め、普及と業務改革への進展に貢献していきます。
参考文献
- 1)
- 2)
- 3)経済産業省ニュースリリース:「コンビニ電子タグ1000億枚宣言」を策定しました~サプライチェーンに内在する社会課題の解決に向けて~,2017.4
- 4)
- 5)
- 6)日経XTREND:レジなし決済を低コストで米国でAmazon Go的技術が続々,NRF2019 第6回,2019.4
- 7)Kota Iwamoto,Ryota Mase,Toshiyuki Nomura:BRIGHT:A Scalable and Compact Binary Descriptor for Low-Latency and High Accuracy Object Identification,2013 IEEE International Conference on Image Processing,pp.2915-2919, 2013.9
- 8)Ruihan Bao,Kyota Higa,Kota Iwamoto:Local Feature Based Multiple Object Instance Identification Using Scale and Rotation Invariant Implicit Shape Model,Computer Vision-ACCV 2014 Workshops,pp.600-614,2014.
- 9)Shaoqing Ren,Kaiming He,Ross Girshick,Jian Sun:Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks,Advances in Neural Information Processing Systems 28 (NIPS 2015) ,Vol. 1,pp.91-99,2015
- 10)Wei Liul,Dragomir Anguelov,Dumitru Erhan,Christian Szegedy,Scott Reed,Cheng-Yang Fu,Alexander C. Berg:SSD:Single Shot MultiBox Detector,European Conference on Computer Vision (ECCV2016),pp.21-37,2016
- 11)Joseph Redmon,Santosh Divvala,Ross Girshick,Ali Farhadi:You Only Look Once: Unified, Real-Time Object Detection,The IEEE Conference on Computer Vision and Pattern Recognition (CVPR),pp.779-788,2016
- 12)Saiprasad Koturwar,Soma Shiraishi,Kota Iwamoto:Robust Multi-Object Detection Based on Data Augmentation with Realistic Image Synthesis for Point-of-Sale Automation,The Thirty-First Annual Conference on Innovative Applications of Artificial Intelligence (IAAI-19),2019
- 13)
執筆者プロフィール
データサイエンス研究所
主任研究員
データサイエンス研究所
主任
データサイエンス研究所
主任
データサイエンス研究所
Israel Research Center
エキスパート
データサイエンス研究所
研究部長
NEC技報 人気コンテンツ
近い将来、AIの普及によって社会のあり方にさまざまな影響が出ることが予想…

AI時代における社会ビジョン ~人々の働き方、生き方、倫理のあり方~
マイナンバーカードは、マイナンバー法に基づき地方公共団体が希望者に交付するICカードです。…

マイナンバーカードに関わる顔認証システムの活用
量子暗号は、将来にわたり解読されるリスクがなく超長期的に情報を保護できる暗号方式で、…

光が導く次世代の暗号技術「量子暗号」
サイバー攻撃は高度化・巧妙化が進み、既存のセキュリティ対策では検知も難しく、…

AI(人工知能)を活用した未知のサイバー攻撃対策
鉄道業では「AI・IoT」を活用した業務変革(鉄道DX)が加速しており、NECは「鉄道輸送」や「旅客サービス」で…

AI・IoTを活用した鉄道業務変革(鉄道DX)