計算リソースが少ない安価なIoT端末上でも動作する、顔映像からの眠気推定技術について紹介します。ヒトの眠気は、顔の表情変化、特にまぶたの動きの変化によく表れます。まぶたを閉じている時間やまばたきの回数の増加などをとらえることで、高精度に眠気を推定できますが、動きの速いまばたきをとらえるには、緻密にまぶたの動きを抽出する必要があり、多くの計算コストがかかります。NECでは、眠気の兆候として動きの緩やかなまぶたの揺らぎをとらえる方法を開発し、これまでの3分の1の緻密さで抽出したまぶたの動きからでも、眠気を高精度に推定できるようになりました。安価なIoT端末上で動作させることが可能なため、適用先を拡げることができます。

1. はじめに

「働き方改革」による労働生産性の改善が進むなか、その一環として働き方の見える化の必要性が増しています。生産性の低下と密接に関連するものの一つに、覚醒度の低下、いわゆる眠気が挙げられます。眠気を見える化し、最適な心身状態にすることによって、従業員一人ひとりが生産性を改善することは極めて重要です。

眠気を推定する技術の研究開発^1）-5）は、眠気が重大事故の発生につながる自動車業界で盛んに行われてきました。顔映像からまぶたの動きを緻密に抽出、分析することで、高精度に眠気を推定できることが知られています^1）-4）。しかし、そのためには、15fps以上の高いフレームレート（1秒あたりの画像の枚数）の顔映像を処理する必要があり^3）、安価な機器では実現が困難です。

本稿では、NECが開発した、安価なIoT端末上でも動作する顔映像からの眠気推定技術^5）について説明します。第2章では、新たに眠気の兆候として見出した、まぶたの揺らぎをとらえる手法について説明します。第3章では、この手法により、これまでの3分の1のフレームレート（5fps）の顔映像からでも高精度に眠気を推定できることを評価実験にて示します。第4章では、眠気推定システムの実現例を紹介します。

2. 顔映像からの眠気推定技術

眠気推定技術の研究開発は、自動車業界を中心に研究開発が行われてきました。表にさまざまな手法による眠気推定の例を示します。

表　さまざまな手法による眠気推定

対象者本人に眠気を申告してもらう手法は、頻繁な申告は煩雑であるという課題があります。また、ハンドルやブレーキなどの機器操作から眠気を推定する手法は、自動車以外への適用が難しいという課題があります。また、脈拍から眠気を推定する手法については、個人差が大きく、センサーの装着負荷が高いという課題があります。これらに対して、顔映像からまぶたの動きを抽出し、分析する手法は、個人差が比較的少なく高精度に眠気を推定できます。また、センサーの装着が不要で利便性が高く、自動車以外にも広く適用するうえで有望な手法です。しかし、高速な画像処理が必要なため、機器コストが高くなってしまうという課題があります。

第2章1節では、顔映像からの眠気推定の流れを説明し、高速な画像処理が必要な理由を説明します。第2章2節では、高速な画像処理を不要にするために眠気の兆候として、新たに見出したまぶたの揺らぎについて説明します。

2.1 顔映像からの眠気推定の流れ

図1に顔映像から眠気を推定する流れを示します。まず、（1）顔映像から眼の位置を見つけ出し、まぶたの開き度合いを時系列で取得します。次に、（2）まぶたの動き（時系列データ）から「眠気」に関する特徴量を算出します。最後に、（3）事前に機械学習により作成した推定モデルを用いて、眠気を推定します。

「眠気」に関する特徴量として、まぶたを閉じている時間（閉眼時間）^1）やまばたきに関する特徴量^2）3）がよく利用されます。閉眼時間は最も広く利用される特徴量ですが、これだけでは十分な推定精度を得ることができません。そこで、高精度な推定を実現するために、まばたきの発生頻度・動作速度・時間間隔のばらつきなどの特徴量が組み合わせて利用されることがよくあります。しかし、図1に例示するまぶたの動きからも明らかなように、まばたきは数百ミリ秒と速い動きです。そのため、まばたきをとらえるためには、15fps以上の高フレームレートの顔映像を処理する必要があり、安価な機器での実現が困難です。

2.2 まぶたの揺らぎ

安価なIoT端末でも高精度な眠気推定を実現するため、眠気の兆候として、まぶたの揺らぎに着目しました。まぶたの揺らぎは動きが遅いため、フレームレートの低い顔映像からでも十分にとらえることができ、高速な画像処理が不要になります。以下、NECが新たに見出した2種類のまぶた揺らぎの特徴量について説明します。

1つ目は、図2に例示する時間揺らぎです。これは、眠くなるとまぶたの開閉を一定に保つことが難しくなることをとらえる特徴量です。まぶたが開いている状態の変動（図2の薄い灰色線）を、時間揺らぎの特徴量とします。図2から、眠い状態では時間による揺らぎが大きくなることがわかります。この時間揺らぎは遅い動きであるため、5fps程度の低フレームレートの顔映像データでも特徴を十分にとらえることができます。

2つ目は、図3に例示する左右差です。これは、眠くなると左右のまぶたの動きを揃えることが難しくなることをとらえる特徴量です。左右のまぶたの動きの差（図3の黒色線）を、左右差の特徴量とします。図3から、眠い状態では左右の差が大きくなることがわかります。この左右差も時間揺らぎと同様に遅い動きであるため、低フレームレートの顔映像データでも特徴をとらえることができます。

3. 眠気推定評価

まぶたの揺らぎに関する特徴量の効果を検証するために、眠気推定評価を行いました。評価データには、実験の説明を十分に行い、協力の同意を得て収集した29名、計41時間分の顔映像データを用いました。収集した顔映像データの解像度は640×480画素、フレームレートは30fpsとしました。眠気の正解ラベルは、参考文献4）を参考にして、顔映像10秒ごとに5段階（1：まったく眠くなさそう～5：非常に眠そう）で付与しました。十分に訓練したラベラー3名が付与した5段階のラベルの平均値を、正解ラベルとしました。眠気の推定精度の評価指標には、眠気の正解ラベルと推定値の相関係数（0.0～1.0）を用いました。比較のため、従来技術では眠気に関する特徴量として、閉眼時間、まばたきの発生頻度・動作速度・時間間隔のばらつきを用いました。新たに開発した技術では、それに加えて、第2章2節で説明した2種類のまぶたの揺らぎ特徴量を用いました。顔映像データのフレームレートを30fpsから3fpsまで変化させて、従来技術と新技術の推定精度を比較しました。

図4に評価結果を示します。従来技術で15fpsの顔映像データを処理した場合と同じ推定精度を、新技術では3分の1のフレームレート5fpsの顔映像データを処理することにより達成できることを確認しました。フレームレートを低くしても新技術が高い精度を維持できる理由は、まぶたの揺らぎは動きが遅く、特徴を十分にとらえることができるためです。新技術を使うことで眠気推定に必要なデータ量と処理量が3分の1になり、安価なIoT端末でも高精度な眠気推定を実現できます（図5）。

4. 眠気推定システムの実現例

新たに開発したまぶた揺らぎ特徴量を用いて、リアルタイムに眠気を推定できるシステムを試作しました。ここでは、2つの実現例を紹介します。

4.1 小型PCでの実現

図6に小型PCで実現した例を示します。小型PCとして筐体サイズ約115×110×35mmの非常にコンパクトなものを利用しました。この小型PCの4つのUSBポートそれぞれにUSBカメラを接続し、各カメラから入力される4名分の顔映像データ（640×480、5fps）を同時に処理することで、各人の眠気を推定できます。小型PC1台で4名分の眠気推定処理を実現することで、機器コストを削減できます。

4.2 スマートフォンでの実現

図7にスマートフォンで実現した例を示します。スマートフォンに内蔵されたカメラから入力される顔映像データ（640×480、5fps）を処理することで、眠気を推定できます。約2万円（2018年11月時点）と比較的安価なスマートフォン単体で眠気推定処理を実現することで、機器コストを削減できます。

5. むすび

本稿では、NECが開発した、安価なIoT端末上でも動作する、顔映像からの眠気推定技術について説明しました。新たに眠気の兆候として見出した、まぶたの揺らぎをとらえることにより、これまでの3分の1のフレームレート（5fps）の顔映像からでも高精度に眠気を推定できます。少ない計算コストで済むため、眠気推定システムの実現例として紹介したように、小型PC1台で4名分を処理する、またスマートフォン単体で処理するなどにより、必要な機器コストを削減できます。今後、本技術を応用して、従業員一人ひとりが「良好な心身状態で勤務できるようにする」ソリューションを広くパートナーシップを構築することで開発していきます。

参考文献

執筆者プロフィール

関連URL