2023年2月10日

最近では決済や入退場などのシーンで顔認証技術が少しずつ広がりを見せていますが、NECではこの顔検出・顔認証技術をベースにして、顔から健康情報を取得する技術を開発しました。顔画像からむくみ具合(体重)を推定する本技術は、透析患者の方々のセルフケアへの活用が期待されています。本技術のねらいや技術の詳細について、研究者に詳しく話を聞きました。

オンライン診療にも活用できる顔画像からの健康情報取得

― 顔画像から浮腫推定するとは、どのような技術なのでしょうか？

大西：タブレットPCやスマートフォンなどの通常のカメラで撮影された顔写真を分析して、浮腫（むくみ）の程度を推定することができる技術です。NECでは世界No.1の評価（注1）を受けた顔認証技術を医療やヘルスケア分野への活用するプロジェクトをかねてより推進してきましたが、本技術はその一環として開発されたものです。特に近年ではオンライン診療が広がりを見せていますから、顔の映像から健康情報を取得することには大きな可能性があると考えています。

研究は筑波大学の医師の先生と共同して進めていますが、浮腫は顔から得る情報として分かりやすいというお話をいただいたので、まずはそこにフォーカスしたというかたちです。


赤松：浮腫は、腎疾患、心疾患、肝疾患などさまざまな臓器の不調によって現れます。特に腎臓を患って透析治療を受ける患者さんは、体内に溜まる水分量を意識し、こまめに摂取する水分量を気にしなくてはなりません。そこで、今回の技術では顔画像から透析前か後かという点と、体重を推定できるようにしています。透析患者さんは、体内の水分量がそのまま体重に現れるので水分摂取のための重要な指標になるのです。これにより、例えば外出先のレストランで食事をする際にも、スマートフォンで顔画像を撮影するだけで気軽に体重がわかり、どれだけ水分を摂っていいか目安がわかるようになります。


大西：患者の方々には、ご高齢の方や車いすの方も多くいらっしゃいます。体重計に乗ることが簡単ではない場合も多いのです。この技術が運用されれば、そうした面でもより便利になると考えています。

事前学習と個人専用のAIモデルで高精度な推定を実現

― 具体的には、どのような技術が使われているのでしょうか？

赤松：まず複数の患者のデータを学習した後、それを各個人に落とし込む「転移学習」を行っています。はじめは一般的なディープラーニングのように、AIに複数人のデータを学習させていくアプロ―チで試してみたのですが、新たな患者に適応した際の透析前後分類の正解率は60％程度にとどまり、ほとんど機能しませんでした。それもそのはずで、患者さん一人ひとりの顔はまったく違いますし、浮腫の出方も実にさまざまです。目に出る方もいれば鼻に出る方もいて、普遍化できるものではありません。これに対応するためには、個人専用のAIモデルをつくるしかないと考えて、複数人のデータの事前学習を経て各個人への転移学習を行う現在のアプローチに至りました。まず事前学習で浮腫というものが何かを学習し、今度はそれを個人の浮腫の出方にあわせて独自のAIモデルをつくりあげていくというイメージです。


大西：浮腫に注目したのは、先述のとおり医師の先生から浮腫は顔に出てわかりやすいと言われたという経緯があるのですが、「医者ならわかる」と言われて研究を始めてみたものの、実際に画像を目の前にしてみると私たちでは全くわからないレベルの微細な差異なのです。AIでも一筋縄ではいかず、赤松さんが中心となって技術を開発してくれました。


赤松：今回1番工夫したのは、事前学習のアルゴリズムです。透析の前後と体重という二つのラベルを使った対照学習（Contrastive Learning）というものをしています。透析の前後の状態と体重が近ければ、浮腫の程度が同程度であると仮定して設計したものです。透析前後の情報に加え、60kgの状態と58kgの状態では浮腫の程度が近く、60kgと50kgでは遠いというように体重の距離に応じた学習をすることで、実用的な精度を達成することができました。

本技術について書いた論文は医療・ヘルスケアAI分野で最も権威のあるジャーナルの一つであるIEEE Journal of Biomedical and Health Informaticsに投稿し、採択されています。（注2）

顔映像から心拍数を取得する技術も検証中

― 本技術のさらなる可能性や今後の目標はありますか？

大西：現在はまだ研究段階の技術なので、本格的な応用へ向けた議論はこれからだと思っています。研究にあたってお話しさせていただいた患者様や病院の先生方からは、この技術の将来的な可能性に興味を持っていただけました。「どのようなユースケースにつながっていくか、またフィードバックをください」というような嬉しい反応もいただいています。どのような応用につながっていくかは、これからの議論次第だと思いますので、さまざまな現場の方とお話しさせていただきながら、活用の幅を広げていきたいと考えています。


岩舘：また、本技術は顔や外観から医療・ヘルスケアに関する情報を取得するというプロジェクトに関するものです。画像や映像から健康に関する情報を取得するという研究はこれからも進めていきたいと考えています。例えば現在NECでは、顔の映像から心拍数やSpO2（酸素飽和度）を計測する技術も開発しています（注3）。こうした技術と組み合わせていけば、オンライン診療やセルフメディケーションの可能性を広げていくことができるでしょう。私たちのグループでは、NECの生体認証技術を生かし、このような医療領域での活用をめざして研究をつづけていきます。

NECの最先端技術一覧へ戻る