サイト内の現在位置

生理情報認識:顔映像からの眠気(覚醒度)推定技術

NECの最先端技術

2018.7.25

顔映像から眠気を推定

背景

「働き方改革」による労働生産性の改善は企業のみならず、日本社会全体の課題とみなされるようになりました。こうした中、勤務時間を「見える化」して長時間勤務を是正する等、働き方を改善するサイクルを回し、労働生産性を向上する取り組みが増えてきています。

生産性の低下と密接に関連するものの一つに、覚醒度の低下、いわゆる眠気が挙げられます(注1)。眠気を見える化し、最適な心身状態にすることによって従業員一人ひとりが生産性を改善することは極めて重要ですが、これを低コストに、かつ広く応用可能な方法で実現することは容易ではありません。例えば、眠気によって重大なインシデントが起こりうる自動車業界では、運転時のハンドル操作等の情報から眠気レベルを推定し、居眠りを検知する方法が開発されていますが、これを一般業務に適用するのは困難です。また、別なアプローチで、運転手の顔映像からまぶたの動きを抽出し、眼を閉じている時間やまばたきの回数といった情報を用いる方法も開発されています。これは眠気レベルを高精度に推定できますが、一回のまばたきが数100ミリ秒と動きが速く、それを捉えるためには、高速な画像処理が必要になります。そのため、安価な機器でこれを実現することは困難でした。

新技術の特長

そこで当社は、新たな眠気の兆候としてまぶたの揺らぎに着目をしました。まぶたの揺らぎは動きが遅いため、1/3のフレームレートに落とした顔映像データでも眠気の兆候を十分に捉えることができるようになりました。これによって安価な機器で眠気の推定が可能となり、広く適用することができるようになります。

図1:安価なIoT端末で高精度に眠気を推定できる

遅い動きの「まぶた揺らぎ」によって眠気の兆候を捉える

ウェブカメラ等で取得した顔映像から、眠気レベル(注2)を精度よく推定するために、二種類のまぶた揺らぎの特徴量を今回新たに見出しました。

  1. 時間揺らぎ
    眠くなると、まぶたの開閉を一定に保つことが難しくなることを捉えます。まぶたが開いている状態の変動(図2の赤線)を、時間揺らぎの特徴量とします。時間揺らぎは遅い動きであるため、5フレーム毎秒(毎秒5枚の画像)程度の低フレームレートの顔映像データでも特徴を捉えることができます。
    図2:眠くなると時間揺らぎが増える
  2. 左右差
    眠くなると、左右のまぶたの動きを揃えることが難しくなることを捉えます。左右のまぶたの動きの差(図3の赤線)を、左右差の特徴量とします。左右差も時間揺らぎと同様に遅い動きであるため、時間揺らぎ同様の低フレームレートの顔映像データで特徴を捉えることができます。
    図3:眠くなると左右の差が増える
    本技術の効果を実験協力者29名の計41時間分の顔映像データを用いて実際に検証したところ、従来技術で15フレーム毎秒の顔映像データを処理した場合と同じ推定精度を、本技術では5フレーム毎秒の顔映像データを処理することにより達成できることを確認しました(図4)。
    図4:新技術ではフレームレートを1/3にしても従来技術と同精度を達成

当社は本技術を応用して、従業員一人ひとりが「適した心身状態で勤務できるようにする」ことや、適した覚醒度を維持するための生活習慣の改善などに貢献するソリューションを広くパートナーシップを構築することで開発していく所存です。
なお、今回の研究成果は医工学分野のフラグシップ国際会議「new windowIEEE The 40th International Engineering in Medicine and Biology Conference」にて発表を実施しています。

  • (注1)
    覚醒度と生産性の関係
    生理心理学の基本法則であるヤーキーズ・ドットソンの法則において、適度な覚醒度で生産性が高まるとされる。
  • (注2)
    眠気レベル
    訓練を受けた第三者3名が顔の表情を観察し、全く眠くなさそう~非常に眠そうの5段階の眠気レベルを付与する。その平均値を眠気レベルの正解値とし、まぶたの動きから推定する。