Japan

関連リンク

関連リンク

関連リンク

関連リンク

サイト内の現在位置

顔映像から浮腫の度合いを推定する世界初の技術を開発

~疾患の早期発見や悪化防止に貢献~

2023年2月10日
日本電気株式会社
国立大学法人筑波大学

NEC(本社:東京都港区、代表取締役 執行役員社長 兼CEO:森田 隆之、以下 NEC)と国立大学法人筑波大学(所在地:茨城県つくば市、学長:永田 恭介、以下 筑波大学)は、疾患や体調の変化などにより皮膚組織に水分がたまる症状である浮腫(むくみ)の度合いを、AIを活用して顔映像から推定する技術を開発しました。このようにAIを活用して顔映像から浮腫を推定する技術は世界初です(注1)。

浮腫は、腎疾患や心疾患、肝疾患など様々な原因で生じますが、その患者数は透析34万人(注2)、心不全120万人(注3)と推定されています。浮腫の状態を日常的に確認する技術は、原因となる疾患の状態の変化を把握し、慢性期の悪化防止や早期発見につながるため、その実現が期待されています。

従来、透析患者は浮腫の簡易計測手段として体重計を用いています。今回開発した、透析患者の顔映像から浮腫の度合いを推定する技術を検証した結果、従来の体重測定による計測を代替できる精度であることを確認しました。

本技術は、スマートフォンやタブレット端末のカメラで撮影した顔映像で推定ができるため、外出先や車いすの利用者でも負荷なく利用ができます。さらに、場所や環境の制限をうけずにデータが取得できるため、食事や排泄による浮腫度合いの経時変化の分析などが可能となります。

NECと筑波大学は今後も連携し、本技術の向上のため更なるデータ集積を図るとともに、医療介護・ヘルスケア分野での具体的応用に関して探索していきます。また、NECでは2024年度の実用化を目指します。

本技術の特長

(1)AIで推定モデルを作成し少量の患者個人の顔映像で推定可能

浮腫による顔の変化はごく僅かであり、患者ごとに違いが表れる部分が異なるため、利用する患者ごとに浮腫による顔の変化を学習し推定モデルを構築する必要があります。しかし、一人の患者から大量のデータを収集することは患者の負担が大きくなります。本技術では複数の患者の顔映像を用いて顔に表出する様々な浮腫の情報を抽出するAIモデルを事前に学習します。その際に、浮腫と相関のある体重を教師データとして用いることで、浮腫の有無や度合いを高精度に事前学習する方式を開発しました。この事前学習したAIモデルをベースにすることで、利用する患者のデータが少量でも、その患者の浮腫に合わせたAIモデルを転移学習し(注5)、推定精度を高めることができます。

(2)顔認証技術を応用した、スピーディで利便性の高い浮腫推定

本技術は、顔映像のみで浮腫の有無や、浮腫の度合いを推定することができます。人物の顔の検出には、米国国立標準技術研究所(NIST)が実施した認証技術のベンチマークテストで世界No.1(注6)となったNECの顔認証技術を応用することで、迅速かつ正確な検出を実現しています。また、通常のカメラ映像で推定できるため、スマートフォンやタブレット端末が利用でき、高い利便性が得られます。

評価結果

今回は39名の透析患者データを用いて技術検証を行いました(注7)。本検証では、透析患者は透析前/後において、浮腫の有/無の変化が生じることと、その際の体重変化が余分な体液の変化とみなせることに着目し、客観性のある教師データとして用いています。
39名から取得した約2万枚の画像を用いた検証の結果、正解率(注8)85%で浮腫の有無を判別し、体重変化の平均絶対誤差0.5kgで浮腫の度合いの推定が可能であることを確認しました。この平均絶対誤差は、人が外観から判断が難しい浮腫の変化が判別できる水準であり、疾患の悪化の早期発見につながると考えます。

研究代表者

  • NEC バイオメトリクス研究所
    宮川 伸也 所長
  • 筑波大学 サイバニクス研究センター
    鶴嶋 英夫 客員准教授(研究当時:筑波大学医学医療系 准教授)

掲載論文

  • 題名 Edema Estimation from Facial Images Taken Before and After Dialysis via Contrastive Multi-Patient Pre-Training
  • 著者 Yusuke Akamatsu, Yoshifumi Onishi, Hitoshi Imaoka, Junko Kameyama, and Hideo Tsurushima
  • 掲載誌 IEEE Journal of Biomedical and Health Informatics
  • URL new windowhttps://ieeexplore.ieee.org/document/9976202 (Early Access)
  • DOI 10.1109/JBHI.2022.3227517

以上

  • *
    本研究は、NECと筑波大学との共同研究契約に基づいて実施されました。
  • (注1)
    2023年2月10日時点、NEC調べ。特許出願済。
  • (注2)
    わが国の慢性透析療法の現況
    new windowhttps://docs.jsdt.or.jp/overview/
  • (注3)
    2055年までの日本の心不全の将来予測
    new windowhttps://www.jstage.jst.go.jp/article/circj/72/3/72_3_489/_article
  • (注4)
    図の顔写真は説明用のイメージであり、研究で用いたデータとは関係ありません。
  • (注5)
    事前学習したモデルを出発点として、新たなデータを用いて学習する手法。
  • (注6)
    米国国立標準技術研究所(NIST)による顔認証ベンチマークテストでこれまでにNo.1を複数回獲得
    https://jpn.nec.com/biometrics/face/history.html
    ※NISTによる評価結果は米国政府による特定のシステム、製品、サービス、企業を推奨するものではありません。
  • (注7)
    医療法人ヒポクラテス 竹村内科腎クリニックにおいて、研究参加に同意いただいた患者データを収集(年齢73.5±9.4、男性25名、女性14名)。透析前および透析後にタブレット端末のカメラを用いて約3分の顔映像を収集し、正面を向いている区間を検知して100枚の画像を抽出。データ収集に参加した日数は患者により異なり(1~10日)、のべ39,200枚の画像を技術検証に用いた。
  • (注8)
    浮腫有無の2クラス分類の正解率。データのうち正しく分類できた割合。

本技術について

本件に関するお問い合わせ先

NEC グローバルイノベーション戦略部門

Orchestrating a brighter world

NECは、安全・安心・公平・効率という社会価値を創造し、
誰もが人間性を十分に発揮できる持続可能な社会の実現を目指します。
https://jpn.nec.com/brand/

Escキーで閉じる 閉じる