近年、「働き方改革」や「健康経営」に向けた取り組みが重要となっています。「NEC 感情分析ソリューション」で従業員の日々の感情変化を可視化し、適切な施策を取ることで、個々人に最適な業務、職場環境を提供することが可能となります。本稿では、「NEC 感情分析ソリューション」のシステム構成、適用事例、今後の展望について紹介します。

1. はじめに

労働力人口の減少、身体的・精神的不調による生産性の低下といった社会課題をIoT・AI技術により解決する「働き方改革」や「健康経営」に向けた取り組みが加速しています。そのなかで、個々の従業員のパフォーマンス（能力）を最大化するための、職場環境の見直し、個性（スキル、適性、生活）を尊重した業務アサインなど、働きやすい仕組みづくりが検討されています。

このような取り組みに対する効果を検証する手段としてはアンケートが一般的ですが、短期間に何度も実施することは難しく、客観性に乏しいという課題があります。そこで、客観的数値データによる、従業員の感情の見える化が期待されています。見える化しタイムリーに対応することで心身の健康状態を維持し、客観的で時間分解能の高い数値データに基づき評価することで、的確な施策を講じることができます。

本稿では、NECが開発した「NEC 感情分析ソリューション（以降、本製品）」について説明します。第2章ではウェアラブルデバイスで取得したデータから感情を推定する感情分析技術、第3章ではリアルタイム性、データ連携性を意識して開発したシステム構成、第4章では適用事例と今後の展望について説明します。

2. 感情分析技術

顧客や従業員の感情は、アンケートで収集され、製品企画や企業運営に有益な情報として活用されてきました。アンケートでは短期間に何度も実施することは難しく、細かな時間単位での記録ができない、客観性に乏しいという課題があります。そこで、対象者が作業することなく取得可能な、客観的数値データによる感情の可視化に向けてさまざまな研究開発が行われてきました。

感情とは刺激に対する脳内反応である情動を自覚（認知）したものです。また、情動には感情だけではなく、行動表現（表情、身振り、言動）や生理反応を伴います。したがって、行動表現や生理反応から情動を検知することで感情を推定することが可能と考えられています。

感情推定に用いる情報としては、表情^1）、音声^2）、生理指標（脳波、心拍/脈拍、皮膚電気反応（発汗）など）^3）などがあります。表情はカメラの視野内にいる時だけ、音声は発声した時だけなど、利用シーンが限定されます。一方で生理指標を測定するにはウェアラブルデバイス（ヘッドセット型、眼鏡型、シャツ型、リストバンド型など）を用いるのが一般的ですが、装着する負担が課題となっています。本製品では、さまざまな業態、多様な働き方に対応するため、利用シーンの限定されないウェアラブルデバイスで測定した生理指標を用いることとしました。そのなかでも、装着負担の小さいリストバンド型デバイスを適用し、収集したPPI（Pulse Peak Interval、脈拍数=60秒/PPI、以下、PPI）の時系列データに基づいて感情分析を実現しました。

2.1 感情/情動概念モデル

喜び、興奮、緊張、ストレス、悲哀、穏やか、リラックスなど、さまざまな情動のそれぞれの関係性について、研究されてきました。ジェームス A. ラッセルは、情動を互いに独立な二次元の軸（Arousal：覚醒度とValence：感情価（快/不快））で表現できるとし、さまざまな情動を二次元軸上に配置した円環モデルを提唱しました^4）5）。円環モデルは、多くの感情に関する研究に適用されています。図1は、縦軸をArousal、横軸をValenceとした二次元モデルに、各種情動を配置したラッセルの円環モデルです。本製品では、感情を表現するテンプレートとして、ラッセルの円環モデルを用いています。

2.2 感情分析の流れ

図2に､感情分析アルゴリズムの概要を示します。ウェアラブルデバイスで収集したデータからPPIの時系列データを抽出します。連続的に出力されるPPIデータから、256秒間のデータを5秒ごとに切り出し、切り出したデータから後述する心拍変動解析により特徴量を算出します。算出した特徴量を事前に機械学習により作成した推定モデルに代入することにより、Arousal、Valenceそれぞれの推定値を算出します。Arousal、Valence推定値から、ラッセルの円環モデルのどの象限に位置するかを判断し、各象限を代表するHAPPY、ANGRY、SAD、RELAXEDの4つの感情のいずれかを提示することとしました。

心拍変動解析は、疲労、眠気、ストレスなど人の内面状態を推定する研究開発に多く使用されている心拍数や脈拍数の時系列データ解析手法であり、平均、標準偏差（SD）、変動係数（CV）、二乗平均の平方根（RMSSD）、周波数成分（VLF、LF、HF）などを特徴量として算出する手法です^3）。心拍数は自律神経活動（交感神経、副交感神経）の影響を受けて絶えず変動しています（いわゆる、心拍の揺らぎ）。例えば、心拍数の時系列データを周波数解析すると、交感神経、副交感神経の影響を受けた低周波数成分（LF）、副交感神経の影響を受けた高周波数成分（HF）を抽出することができ、LFとHFの比（LF/HF）から自律神経機能の活動状態を推定することができます。交感神経は興奮した時に活発となるのに対して副交感神経はゆったりとしている時に活発となるなど、人の状態を反映した活動をとるため、心拍変動解析より算出した特徴量は感情推定に有用であると考えられています。

図3に、本製品で分析した、従業員の出張時の1日の感情分析結果を示します。図3上段の帯グラフは時間ごとの感情を示し、中段の棒グラフは歩数と会話量を示し、下段に業務履歴を付記しました。感情帯グラフで感情が出力されていない部分は、体動などでデータを取得できなかった時間帯です。午前中のメール対応時に「ANGRY」、講演中と新幹線乗車中は「HAPPY」、帰宅中は「ANGRY」と「SAD」が出力されています。本人に結果をフィードバックすると、午前中のメール対応時は複雑な対応が必要な作業を行っていたため、講演は自身の得意な業務であり、帰宅中は混雑した通勤電車に乗っていたので、納得できる分析結果であるとのことでした。図3のように、感情分析結果と業務履歴を突き合わせることにより、どのような感情で当該業務を遂行しているかを振り返ることが可能となります。

3. 「NEC 感情分析ソリューション」のシステム構成

本製品は、従業員の見守りや業務改善施策に利用することを想定し、リアルタイム性、データ連携性を意識したシステム構成となっています。図4に本製品のシステム構成を示します。ウェアラブルデバイスで取得したデータは、スマートフォンを介してクラウドへ送信され、第2章2節で示した方法に従い、クラウド上で逐次分析処理されます。分析結果をWebブラウザにて閲覧、及び、csvでダウンロードすることができるため、ほぼリアルタイムに利用者の感情を確認することができます。また、感情分析結果を取得するためのAPIを備えており、既存システムから本クラウドへデータ取得コマンドを通信することで、容易にシステム間連携が可能となっています。

なお、本製品はクラウドサービスとして提供しており、お客様側にてシステムを構築する必要がないため、初期導入費用を抑え、試用から本格導入までの契約者数（ID数）増減に対しても柔軟に対応することができます。

3.1 ウェアラブルデバイス

脈拍数などの生理指標を収集するデバイスは各社より多数製品化されていますが、感情分析に十分な指標を取得可能な製品は限られています。そこで、TDK株式会社（以下、TDK）と連携し、市販の「Silmee W20/W22」、及び、専用アプリケーションを一部カスタマイズすることにより感情分析が可能となりました。また、「Silmee W20/W22」は、脈拍数、体表温度、歩数以外に、会話量や紫外線量など（以下、総称としてバイタルデータ）、感情分析だけではなく、健康管理や行動分析などに活用できるデータの取得も可能です。

3.2 クラウドシステム

データ分析はクラウド上に実装された感情分析エンジンで実行されます。受信した大量のデータをユーザーIDごとに振り分け、256秒分の時系列データを抽出、分析を行います。感情分析結果及びバイタルデータはデータベースに格納され、Webポータル画面「感情見える化ダッシュボード」にて分析結果を確認することができます。また、前述したcsvダウンロードも本ポータル画面にて実行することができます。

4. 適用事例と今後の展望

本製品は、2018年6月にプレスリリースして以降、一般企業、運輸、工場、建設、医療・介護など、多様な業界にて本導入・試用されています。

NECの関連工場では、ライン作業者にウェアラブルデバイスを装着し、各作業工程における感情を分析しました。その結果、他の工程に比べてストレスの高い（Valence値が低い）工程を抽出することができました。本作業工程を見直すことにより、作業性向上が期待できます。

他の業界においても、感情と業務履歴を突き合わせることにより、心的負担の高い業務の抽出、個々の業務適正、複数人で対応する業務のメンバー間の相性など、業務プロセス改善や適切な業務アサインに有用な情報を得られることが分かってきています。

また、「働き方改革」や「健康経営」以外の用途展開も検討しています。例えば、社内イベント（講演会）の聴講者へウェアラブルデバイスを装着し、講演に対する感情変化を分析したところ、講演の内容に相関した感情変動を得ることができました。これにより、講演や教育現場での聴講者の反応の確認や、講演者の発表技術の改善指導などにも活用できると考えています。

これまで、主に業務履歴と感情の相関分析を行い、業務上の課題を抽出してきました。一方で、感情はその時の業務内容だけではなく、日々の疲労蓄積や生活習慣、あるいは、温湿度などの影響も受けると考えられます。今後は、継続して取得した感情データ、バイタルデータ、詳細な業務履歴データ、あるいは、環境データなどを組み合わせ、AI技術を活用した分析により、今まで気づかなかった課題抽出、改善に向けた具体的提案まで実現することを目指しています。

5. むすび

本稿では、NECが開発した感情分析技術とそれを実装した「NEC 感情分析ソリューション」について説明しました。本製品により、手軽に従業員の心身状態を見守り、適切な業務支援、業務改善が可能となります。今後、本技術・製品を更に発展させ、「働き方改革」や「健康経営」に向けて取り組む企業に寄与することで、安全・安心な社会の実現に貢献していきます。

参考文献

執筆者プロフィール

関連URL