動きを止めず、リアルタイムな画像認識が可能に　高速カメラ物体認識技術: NECの最先端技術

2019年3月28日

高速カメラと画像認識の組み合わせにより、高速移動する物体でも、動きを止めずにリアルタイムで認識することのできる高速カメラ物体認識技術。この革新的な技術の詳細について、開発者の二人に話を聞きました。

特別な工程を設けなくても、流れのなかで認識可能

― 高速カメラ物体認識技術とは、どのような技術なのでしょうか？

横山：動く物体を止めることなく、外観のわずかな違いまで認識できる基礎技術です。1000fpsのような高フレームレートで撮影できる高速カメラと、高速軽量な画像認識技術を使っています。動く物体を静止させずに画像認識できるということは、単なる効率化以上の意味を持っています。なぜなら、従来の画像認識において必要だと考えられていた工程や動作を丸ごと省略することが可能になるからです。
たとえば、製品の外観検査に画像認識を活用する場合、従来では決まった条件で撮影するために、特定の場所で対象物を静止させる必要がありました。また、製品の種類が変わるたびに、照明やカメラの設置条件を細かく再調整しなければなりませんでした。今回の技術のねらいは、こうした設置条件の制約をなくし、最終的には検査工程そのものを不要とすることです。作業ラインのなかにカメラを設置しておけば、流れを止めることなく自動的に検査を完了して不良品を取り除くことができるようになります。

バイオメトリクス研究所
シニアリサーチャー
横山恵子

データサイエンス研究所
リサーチャー
並木重哲

スピードはもちろん、高い精度での認証も実現

― 高速カメラを軸に、どんな技術によって構成されているのでしょうか？

横山：動く物体の画像認識では、大きく分けて「撮像」「追跡」「認識」という３つの処理を行います。「撮像」「追跡」については、高速カメラが大きな役割を果たしています。たとえば1秒間に1000枚の画像を撮影すれば、対象物が動いていても、認識しやすい瞬間を確実に捉えることができます。また、動きが非常にゆっくり見えるので、軽量・高速な処理だけで対象物を追跡しつづけることが可能です。今回の技術を共同開発した東京大学の石川・妹尾研究室は、このような高速カメラの特徴を活かしたビジョン技術の先端研究を行っています。

並木：一方で、NECは「認識」において高い技術力を持っています。特に、画像認識技術の分野では世界をリードしつづけてきました。たとえば顔認識では、昔から世界No.1の精度とスピードを実証しつづけてきた実績があります。* この画像認識技術と高速カメラによるセンシングの融合には大きな可能性がありました。しかし、1秒間に1000枚といった大量の画像を扱う高速カメラですから、当然のことながら処理量は膨大となり多大な時間がかかってしまいます。この課題を解決するために開発したのが、今回の高速カメラ物体認識技術の核となる認識適合画像選択技術と、精度を保ちながら大幅な軽量化を実現した画像認識技術です。

横山：認識適合画像選択技術というのは、高速カメラで撮影された大量の画像のなかから、画像認識にふさわしい画像を瞬時に判断して選び取る技術です。撮影時に得た物体の移動量などの情報をもとに、ブレが少ないものやピントが合っているもの、エッジが明瞭なものなどを基準にして適合画像を選び出します。だいたい数十分の1の枚数にまで絞り込むイメージですね。ランダムに画像を抽出するのとは異なり、認識にふさわしい画像のみを複数枚抽出することができるので、画像認識の精度が上がります。ブレた画像などが選ばれた場合には、逆にノイズとなって精度が下がってしまいますから。
データを軽量化するためには画像の解像度を落とすという方法もありますが、それでは高精度な判断のもととなる微細な情報までも犠牲になってしまいます。適切な画像を選択することは、精度の向上にも大きく貢献しています。

並木：認識工程では、抽出した複数の画像を使って何回も認識を行っています。１回の認識だけでも、ディープラーニング等の手法を用いて高い判定精度を出すことはできますが、演算量がより大きくなってしまうため、どうしても時間的に制約が生じてしまいます。また、選択した１枚の画像が、判定しづらいような、非常に紛らわしい画像であった場合には誤認識にもつながりかねません。しかし、1回で判定するのではなく、ある程度の精度の認識でも複数回処理を行って多数決を行えば、１回の判定を上回る高い精度が出せるようになります。今回の認識技術では、この方法を採用してスピーディーな認識を実現しました。ただし、ある程度の精度とは言っても、外形や色味だけを見て閾値判定するようなルールベースの認識を行っているわけではありません。そのため、たとえば良品か不良品かを見分ける場合に、過剰に機能して良品まで欠陥があると弾いてしまうような確率も低く抑えられるようになっています。機械学習を経た高精度かつ柔軟な認識を、スピードと両立できるように工夫しているのが今回の認識技術です。

* 2017年3月16日　プレスリリース

「NEC、米国国立機関による動画顔認証の性能評価で4回連続の第1位を獲得」

工場のインライン検査や製品のトレーサビリティで活用

― どのような応用を考えていますか？

横山：いまは実証実験に向けて、さまざまな業界・業種のお客様とお話を進めようとしているところですが、
目下検討を進めているのは製造工場内での活用です。近年は世界的に、従来の少品種大量生産から、顧客ニーズへフレキシブルに対応する多品種少量生産（多品種変量生産）へと変化してきています。製造プロセスが多様化する分、工程間検査の重要性が増しますが、検査パターンが複雑になるため検査人材の確保や段取り替え効率化などは大きな課題となります。これに対し、高速カメラ物体認識技術を活用すれば、複数製品の混流ラインのなかでも、製品の外観を認識して自動で仕分けるような仕組みを実用化できると考えています。製品ごとの検査工程を設ける必要のないインライン検査の実現ですね。これが現在考えている一つの目標です。
実は、私自身の話をすると、NEC入社当初は工場の生産革新やサプライチェーンマネジメントに従事していたんです。研究所に異動してきたのは、このプロジェクトの開始と同時期なので今から1年半ほど前ですね。だから、製造現場が抱える課題意識というのも、よくわかるつもりです。こうした課題の解決やスループット向上のためにも、本技術は高速かつ高精度な自動化ツールとして大きな力を発揮すると思います。

並木：そうですね。製造業でいえば、錠剤の製造工程にもうまく適用できると考えています。錠剤には文字が印字されますが、この印字にキズや欠けが生じてしまうこともあります。こうした細かい不良品の摘出にも力を発揮するはずです。あとは、将来的に考えていることとして、スマートフォンなどの機器に埋め込まれたレアメタル回収への応用も想定しています。一般的に「都市鉱山」と呼ばれているものですね。現在では、レアメタルを回収するためには組み立てた工程をたどって人が一つひとつ部品を解体していくという手間が必要になっています。機器を粉砕してしまうと、形状がわからなくなってしまうからです。しかし、高速カメラ物体認識技術を軸に他の技術と組み合わせていけば、機器を粉砕しても目的のレアメタルを抽出できる可能性があると考えています

横山：画像認識に必要とされる積極的な動作や工程を排して無意識化し、非積極的な認証ができるようになるというのが本技術の本質的な部分です。生体認証など様々な領域で大きな可能性があると思いますから、いろいろな業界や業種で積極的に展開していきたいと考えています。