本記事の執筆者

1. 氏名：新藤 佳子

2. 所属：金融システム統括部　金融デジタルイノベーション技術開発グループ
   役職：プロフェッショナル
   
   2002年NEC入社。金融機関向けのインフラ構築やアプリケーション開発に従事。その後、企画職など経て、2018年から金融デジタルイノベーション技術開発グループで、先端技術の調査およびデジタルサービスの企画・開発を担当。AIや生体認証などの先端技術を活用した新たな社会価値創出を推進中。

デジタルヒューマンが注目される背景

近年、デジタル技術の急速な進化に伴い、情報技術の活用における格差（デジタルデバイド）が社会的な課題となっています。この解消には、デジタルに不慣れな利用者にも配慮したサービス提供が重要です。そこで注目されているのが、人間同士の対話に近い自然なインターフェースを実現する技術です。当社は2024年10月に株式会社アイシン(1)との共同開発を発表(2)したデジタルヒューマン「NEC Personal Consultant(3)」によって、画像、音声、表情、動作などの非言語情報を統合することで利用者が安心して利用できる新たな顧客体験の提供を目指しています。

金融分野では、テキストや音声を用いたAIチャットボットやデジタルアシスタントを通じて、問い合わせ対応、取引履歴確認、財務アドバイス提供などの顧客向けサービスが展開されています。[1][2] 今後は、さらに表情や動作などの非言語情報を取り入れ、デジタルに不慣れな利用者でも直感的に利用できる顧客体験の創出が期待されています。

一方で、社会実装にあたっては、欧州連合のAI-Actなどの法規制や倫理的責任の確保が課題となります。これら法規制の枠組みを理解し遵守することは、安全性と信頼性を確保するために不可欠です。本記事では、こうした法規制への理解を踏まえたうえで、「NEC Personal Consultant」の特長について、技術的側面に焦点を当ててご紹介します。

「NEC Personal Consultant」の特長①
人間らしさを追求したリアルタイムマルチモーダル対話

デジタルヒューマンとの対話では、わずかな違和感や処理遅延が利用者の不安を引き起こす可能性があります。特に金融機関のような信頼性が求められるところでは、利用者の不安をやわらげることが求められます。「NEC Personal Consultant」では最新のディープラーニング技術を活用し、「音声認識・応答生成・音声合成のリアルタイム逐次処理」、「表情を含むフォトリアルな視覚表現」、「イントネーションや感情表現を再現した自然な音声生成」により、違和感のないスムーズな対話を実現しています。

具体的には、ユーザーの発話を音声認識技術（ASR）で即座にテキスト化し、それを基にLLM（大規模言語モデル）がリアルタイムに適切な応答を生成します。その応答を音声合成技術（TTS）で自然な音声として表現し、人間同士の対話に近い自然な流れを再現しています。また、対話内容に即した表情や動きをリアルタイムに描画し、視覚的にも違和感のないコミュニケーションを実現しています。さらに、音声区間検出（VAD）に画像情報を統合し、背景雑音耐性を高めるなど機能強化を進め、実用化に向け取り組みを加速しています。

将来的には、視覚・聴覚を活用した感情認識技術により、ユーザーの感情状態に基づいた柔軟な応答を目指します。例えば金融分野では、利用者の理解度や許容度に合わせて、投資リスクや商品の説明を丁寧に行うなど、対話システムの高度化を目指しています。

「NEC Personal Consultant」の特長②
自然で精度の高い応答技術

デジタルヒューマンには、雑談、質疑応答、タスク指向対話など多様なシナリオで自然な応答が求められます。特に金融機関など社会的影響が大きな業務では、LLM活用時の生成AIが事実に基づかない情報を生成してしまう現象であるハルシネーションへの対策が重要です。このため「NEC Personal Consultant」では、金融法規、理想的な会話例、会話履歴などを体系的に整理した外部データを活用し、応答精度の向上を目指した検証を進めています。また、外部データのみでは対応困難なケースやリアルタイム性が求められるケースなど、用途に応じて最適なLLM（例：NEC開発の生成AI「cotomi(コトミ)」^※(4)(5)など）を選定可能です。こうした取り組みと並行して、顧客の同意を得た長期的な対話履歴を活用したパーソナライズ化も目指しています。

※cotomi
「cotomi(コトミ)」はNECが開発した生成AIの名称です。ことばにより未来を示し、 「こと」が「みのる」ようにという想いを込めており、生成AIを軸にお客様と伴走するパートナーでありたいとNECは考えています。
https://jpn.nec.com/LLM/index.html

「NEC Personal Consultant」の特長③
リアルタイム処理を支えるハイブリッドアーキテクチャ

デジタルヒューマンのLLM処理をサーバーサイドで行うことは、大規模な計算能力やリソースが活用でき、モデルの拡張性や管理のしやすさなどのメリットがあります。しかし、すべての処理をサーバーサイドで行うと、リアルタイム性の確保が難しいという課題があります。このため「NEC Personal Consultant」では、描画処理、画像処理、音声認識などリアルタイム性が求められる一部の処理を近年、性能が向上しているエッジデバイス上のGPUで処理するハイブリッドなアーキテクチャを採用しています。この構成により、高精度かつリアルタイムな応答と描画を実現しています。今後は処理効率をさらに高め、リアルタイム性の向上を図るとともに、より多様で複雑な処理への対応を目指していきます。

デジタルヒューマンの将来像とまとめ

今後デジタルヒューマンは、従来のQA対応やWebインターフェースの枠を超え、自律型AIエージェント(6)として既存システムと統合されることで、人とやりとりをしながらタスクを自動実行する仕組みの中核となることが期待されます。また、こうした進展に伴い、パーソナライズ化やスマートフォンへの展開が加速し、プライバシー保護の強化や技術最適化などが求められることが予想されます。

さらに、デジタルヒューマンが高度な表現力と自律性を獲得することにより、この技術を悪用するケースが出てくることも懸念されています。例えば第三者が他人の顔や声を不正利用して本人になりすますケースや、本物と見分けがつかない偽のデジタルヒューマンの生成といった新たなリスクも懸念されます。こうしたリスクに対して、リアルタイム偽装検知やeKYC（本人確認）システムの連携、さらにデジタルヒューマン協議会(7)(8)などの業界団体が整備するガイドラインへの準拠など、多層的な対策が必要となります。

我々は、デジタルヒューマン技術の革新および利活用と共に、これらのリスクへの対応を進め、金融業界をはじめ幅広い分野において、安全・安心で信頼できるデジタルヒューマン活用環境の整備に貢献してまいります。

参考文献

[1] Bank of America 「Erica」：https://www.bankofamerica.com/erica/
[2] Capital One 「Eno」：https://www.capitalone.com/digital/eno/

関連リンク

(1) 株式会社アイシン- AISIN CORPORATION
(2) NEC、アイシンと共同で生成AIとデジタルヒューマン技術を組み合わせたパートナーAIシステムの開発を開始 (2024年10月15日): プレスリリース | NEC
(3) ひととAIの新たな未来を実現する！パートナーAIシステム [NEC公式] - YouTube
(4) NEC開発の生成AI 「cotomi」:NEC Generative AI | NEC
(5) NEC、高度な専門業務活用に向けてcotomiを強化 圧倒的な高速性を維持し世界トップレベルの精度を実現 (2024年11月27日): プレスリリース | NEC
(6) NEC、高度な専門業務の自動化により生産性向上を実現するAIエージェントを提供開始 (2024年11月27日): プレスリリース | NEC
(7) デジタルヒューマン協議会
(8) NEC、デジタルヒューマン協議会を設立 (2023年4月25日): プレスリリース | NEC