近年の労働人口減少によりコンビニエンスストア・スーパーなどの小売業界でも労働力不足が深刻化しており、特に業務負荷の高い決済業務（レジ精算）に対しAIを活用した省力化・無人化の実現が期待されています。本稿では、カメラからの画像認識を用いた決済無人化の実現に向け、小売店で扱うパッケージ品などの定型物から日配品・生鮮品などの非定型物まで、あらゆる商品を一括で画像認識する多種物体認識技術を解説します。また本技術を活用し、来店客が複数の商品を雑然と置くだけの簡易な操作で高速決済可能な、画像認識POSシステムについて紹介します。

1. はじめに

近年、コンビニエンスストアなどに代表される小売業界では、労働人口の減少による労働力不足が深刻化しており^1）、店舗運営の省人化・無人化への取り組みが強く求められています。一方で、AIの分野ではディープラーニングとして知られる機械学習手法の登場により画像認識技術が急速に進展しています。そこで、これらAIの最新技術を活用し省人化・無人化を進めることが期待されています^2）。

小売店での業務は多岐にわたりますが、特に、決済業務（レジ精算）は店員を拘束する時間が長いため、AIの活用による無人化が大きく期待されています。決済無人化の実現に向け、既にバーコードスキャンによるセルフPOSレジの導入は検討されていますが、一つずつの商品スキャンが必要であり利用者にとって手間や時間がかかることから、当初想定ほどは普及していません。商品スキャンを効率化するために、電子タグ（RFID）^3）の検討も進められていますが、導入・管理コストが高いことが普及への課題となっています。そこで、近年急速に進展している画像認識技術を活用し、バーコードやタグを用いることなく商品をカメラで撮影・認識するアプローチが有望視されています。

画像認識技術を活用した決済効率化の事例^4）5）として、パンや青果物など特定商品に特化したものは存在しますが、店舗内の商品はコンビニエンスストアのような小型店舗でも数千種類の多種多様な商品が存在しているため、幅広く商品をカバーできる商品認識が求められます。また、チェックアウトフリー型^6）と呼ばれる天井に設置されたカメラに加え、棚に重量センサーを配置するなど、複数のセンシングデータを分析することでレジ作業なしで来店客の商品取得から決済を完了させる取り組みも進められていますが、レジ作業を無くすには大量のセンサーの設置・調整が必要で導入・運用コストが大きくかかり、特に既存店舗への組み込みは困難です。

本稿では、多種多様な商品をカバーし、導入・運用コストが低く小型店舗でのレジを代替・決済無人化を実現できる多種物体認識技術を紹介します。第2章においてNECの多種物体認識技術について説明し、第3章において本技術を活用した画像認識POSシステムについて紹介します。第4章で本稿をまとめます。

2. 多種多様な商品を画像認識する多種物体認識技術

コンビニエンスストアやスーパーなど一般小売店における利用者にとって容易で高速な決済を実現するためには、お菓子・カップ麺のようなパッケージ品などの定型物（コンビニエンスストアでは約8割）と、お弁当・パンのような日配品や青果物のような生鮮品などの非定型物（コンビニエンスストアでは約2割）で構成される多種多様な商品をすべて高精度で認識する必要があります。定型物は、味違いなどで少しデザインが異なるだけで別商品となる場合が多いですが、非定型物は１つひとつ大きな個体差があっても同一商品であり、両者の特性は大きく異なります。近年のディープラーニングを適用した画像認識技術によって、認識精度は飛躍的に進歩しましたが、このような特性の異なる多種多様な商品を、一律にかつ高精度に認識するのは容易ではありません。

NECが開発した多種物体認識技術は、図1に示すとおり、定型物と非定型物に対して、それぞれの特性に合った認識技術を組み合わせることで高精度を実現します。具体的には、（1）デザインされた定型物のわずかな違いをとらえ正確に照合する特徴点マッチング技術と、（2）個体差がある非定型物を同一物と認識できるディープラーニング技術とを融合させています。この技術により、両者が混在して机の上に置かれても、瞬時に認識することが可能となります（写真1）。

定型物認識に用いる特徴点マッチング技術は、図2に示すとおり、パッケージ品の外観デザインといった模様中にある角の点など複数の特徴点を抽出し、あらかじめデータベースに画像登録された商品の特徴点と同じ位置にどの程度あるかをマッチングさせて認識する技術^7）8）です。特徴点の微少なずれをとらえることができるため、デザインのわずかな違いを容易に区別できます。

非定型物認識に用いるディープラーニング技術としては、物体検出・認識^{9）10）11）}で良く用いられるConvolutional Neural Network（CNN）を採用しています。多様な学習データを与えることで、個体差のある物体でも高精度に識別することが可能です。しかし、CNNを用いて高い認識精度を実現するためには、学習データとして多数商品が多様に配置された画像を大量に準備する必要があり、多大なコストと時間がかかります。そこで、図3に示すとおり、単一の商品をそれぞれ個別に画像撮影しておくだけで、多数商品が多様に配置された学習用の画像を自動合成で作成し学習する手法^12）を開発しました。この方法によって、学習用の画像を容易に大量生成することができ、少ないコストと時間で実用レベルの精度を達成することを可能にしました。

前述の2つの認識技術それぞれ単体の場合と融合させる場合の認識精度比較を、図4に示します。図4から分かるとおり、単体の認識技術よりも融合させた場合の認識率が高く、定型物と非定型物を広くカバーできる物体認識技術となっていることが確認できます。

なお、実際の決済時には、販売したい商品だけでなく、利用者の手や財布などさまざまな想定外の物体が混入する場合に対応する必要があります。従来のCNNでは、このような想定外の物体をうまく扱うことができず、学習・登録した商品として認識してしまう誤認識が発生したり、誤認識を避ける設定とすると正しく商品が認識できなくなる問題が発生したりします。開発した手法は、独自の学習方法を採用することで、学習された商品とそれ以外の未学習・未登録の物体とを高精度に分離しながら商品を認識することを可能にし、誤認識を抑制しました。コンビニエンスストアで扱う非定型400商品で評価した結果、新手法搭載前の誤認識を14%から0.5%に大幅低減することを確認しました（図5）。

3. 画像認識POSシステム

3.1 開発した画像認識POSシステムの構成

第2章で紹介した多種物体認識技術を用い、既存セルフレジのように商品１つひとつをわざわざセンサーにかざすことなく、複数の商品をレジ台上に置くだけで一括認識する画像認識POS試作システム（写真2）を開発しました。この試作システムは、上方に設置されたカメラで対象物を撮像し、画像認識PCで多種物体認識技術による認識処理を行い、商品載置面上に結果を表示する構成となります。

3.2 実店舗での実証・運用

開発した画像認識POSシステムの有効性を検証するため、社内売店のPOSとして図6に示す認識・決済フローとして導入し、2018年度の1年にわたり実施しました。

実証を行った社内売店では、パッケージ品から日配品までを含む全体で約800商品を扱っており、商品入替が毎週行われ、月に約1割の商品が入れ替わります。これら新規商品に対し認識処理を迅速に対応させるために、商品棚を撮影した画像やWeb上に公開されている新商品の情報より登録するツールを開発し、人手による作業負荷を1/4に効率化しました。これにより、実証後半の半年間、全商品のデータベースを継続して維持できることを確認しました。

また、実証では延べ5,000人以上が利用し、特に問題なく処理したこと、決済時に商品スキャン時間をバーコード利用と比較し1/2～1/3に短縮できることを確認しました。利用者約150名に対し、5段階の主観評価によるアンケート調査を行ったところ、85%以上のユーザーから「かなり良い」「良い」とする良好な評価が得られ、本システムの有効性を確認しました。

開発システムは社内だけではなく社外の店舗（台湾セブン-イレブン）でも2018年7月から実証実験を継続実施中（2019年9月現在）であり、頻繁に商品が入れ替わる環境で長期の継続運用が可能であることを実証しています^13）。

4. まとめ

本稿では、労働力不足が深刻化するコンビニエンスストアやスーパーなどの小売業界における、省力化・無人化の期待に対して、AIを活用した決済無人化の取り組みを紹介しました。NECは、多種多様な商品をすべてカバーしカメラを用いて認識するために、特徴点マッチング技術とディープラーニング技術を融合した多種物体認識技術を開発しました。この多種物体認識技術を用いて、簡易かつ高速に決済ができる画像認識POSの試作システムを開発し、実店舗での実証・運用を通してその有効性を確認しました。今後は、試作システムの運用結果を生かし画像認識POSシステムの改善を進め、普及と業務改革への進展に貢献していきます。

参考文献

執筆者プロフィール