企業における大規模言語モデル（Large Language Model、LLM）の活用を進める動きは、業務効率の向上を目的として加速していますが、一方で、その出力の正確性を検証することは、依然として、大きな課題であり続けています。本稿で紹介するLLMエクスプレーナーは、AIが生成した回答とその根拠となるソース文書を紐付けることで、AI出力への信頼性と透明性の向上を支援するソリューションとなります。これにより、AI出力の迅速かつ効率的な検証が可能となり、特に高リスク領域での活用に有効です。LLMエクスプレーナーは、自動データ生成及び高効率な帰属モデルの訓練によってこの仕組みを実現します。本技術の有効性評価の結果、従来の大規模モデルに比べて計算コストを70分の1に抑えながら、高い精度を達成することが確認されました。本技術は、LLMの利用を潜在的なリスク要因への対応から解放し、ミッションクリティカルなインテリジェントシステムにおける信頼性の強化を通して、戦略的な能力へと転換させるものです。

1. はじめに

大規模言語モデル（Large Language Model 、以下、LLM）は、「業務の自動化」「知見の創出」「顧客エンゲージメントの高度化」を推進する、企業活動の中核的なコンポーネントとして急速に浸透しつつあります。しかし、その導入が拡大する一方で、信頼性・透明性・コンプライアンスといった重要な課題も同時に顕在化しています。なかでも最も喫緊な課題の1つが、いわゆる「ハルシネーション」と呼ばれる不正確または誤解を招く出力の防止です。こうした出力は、信頼の失墜や業務プロセスの混乱を招くだけでなく、法規制上またはレピュテーション上のリスクにもつながる恐れがあります。企業がLLMを意思決定などの高リスク領域で活用しようとするなかで、AIが生成するコンテンツの検証可能性を確保することは、説明責任、業務の健全性、そしてステークホルダーの信頼を維持する上で不可欠となっています。

本研究では、LLMの回答を特定のソース文書に紐付けることで、この課題に対応しました。これにより、LLMの出力結果を効率的に検証できるようになり、AIによる出力に透明性・監査性・信頼性を求める組織にとって不可欠な機能が提供可能となりました。

今回、新たに開発したLLMエクスプレーナーは、先進的なLLMを活用して高品質な合成訓練データを自動生成し、小型で効率的なモデルによるリアルタイムかつ高精度な文単位のコンテキストアトリビューションを実現します^1）。コンテキストアトリビューションとは、LLMが生成した文書を、それを裏付けまたは反証するソース文書と紐付けるタスクです。従来手法のように文書全体レベルの粗い証拠や、高コストな推論処理に依存することなく、LLMエクスプレーナーは迅速かつ正確なアトリビューションを提供し、高コストな手動アノテーションの必要性を大幅に削減し、多様な分野でのスケーラブルな運用が可能です。

本技術は、NECのお客様である政府機関、通信事業者、金融機関、輸送分野の組織にとっての具体的なメリットを提供します。AI生成コンテンツの信頼性向上に加え、AI生成回答の迅速かつ正確な検証による業務効率化、そして透明性と説明責任が求められる厳格な規制への対応が可能です。ユーザースタディの結果からは、LLMエクスプレーナーのアトリビューションモデルは、エンドユーザーによるAI生成回答の検証をより迅速かつ高精度に実現し、手作業による負担を最大50%削減できることが確認されています。

LLMエクスプレーナーを用いたコンテキストアトリビューションにより、ユーザーは自動質問回答の信頼性を高め、ミッションクリティカルな意思決定プロセスを支援する堅牢かつスケーラブルなツールを利用できます。このような技術革新により、複雑な規制要件を有する産業分野や公共機関においても、「安全性・透明性・信頼性」を備えたAI技術の提供が可能となります。

図1に示したとおり、「質問」「LLMが生成した回答」「（手動入力または検索による）コンテキスト」を入力すると、アトリビューションモデルはコンテキスト内からLLMの生成回答を裏付ける文書セクションを特定します。この裏付け情報の提示により、ユーザーはLLMの生成回答をより迅速かつ正確に検証できることがユーザースタディにおいて確認されています。

2. システム概要

本ソリューションは、AIが生成したテキスト回答のリアルタイム検証を可能にしつつ、運用効率も維持する革新的な自動ソースアトリビューションシステムです。本システムは、各AI生成回答を裏付ける具体的なソース文書を自動的に特定・引用することで、迅速なトレーサビリティを提供します。

本技術は、AIの生成コンテンツを出力後に分析する「検証後方式」を採用しており、既存のAIシステムや業務フローを変更することなく導入可能です。コアとなるアーキテクチャは、次の3つの統合コンポーネントで構成されています。

3. LLMエクスプレーナー

従来のソースアトリビューションシステムでは、AIが生成した回答を裏付ける参照文書のどの部分が根拠となるかを正確に特定するため、大量の訓練データを必要とするのが一般的です。従来手法では、高コストな手動アノテーション作業が必要なため、大規模環境で検証システムを展開しようとする組織にとって大きな導入障壁となっていました。本ソリューションは、訓練データを自動生成することで、手動アノテーションを不要としつつ、従来手法を上回る高品質な結果を実現し、この課題を解決します。

ソースアトリビューションとは、信頼できるドキュメント群のなかで、AIが生成した質問回答ペアを裏付ける部分を特定するための技術です。具体的には、ビジネス上のクエリ、AIが生成した回答、複数の文書セクションからなる組織内コンテキストドキュメントを与えると、AIが生成した回答を完全に裏付け（または反証）する具体的な文書セクションを特定する技術となります。この検証モデルを高コストな人的監督なしに効率的に学習させるため、本研究では先進的なAIシステムを活用した自動データ生成手法を開発しました。

自動訓練データ生成には2つの手法を実装しています。1つ目は、ベースライン手法として識別的アプローチを用います。既存の質問回答ペアとその関連ドキュメントコンテキストをAIシステムで処理し、回答を裏付ける文書セクションを特定します。これを基に知識移転によって小型の検証モデルを訓練します。2つ目の手法であるSynQA（Synthetic Question Answering）手法では生成的アプローチを採用しています。選択した文書セクションをAIシステムに入力し、それらを十分に裏付ける質問回答ペアを自動生成します。この手法は、AIの自然文生成能力をより有効に活用しつつ、訓練データ内に明確な根拠のトレイル（証拠の流れ）を確保できる点が特長です。

3.1 訓練設定

LLMエクスプレーナーの訓練データ生成は、「コンテキスト選択」「質問回答生成」「ディストラクター（無関係情報）統合」の3つの統合コンポーネントを通して実行されます。この包括的なアプローチにより、関連情報とは無関係な情報源を検証システムで除外しなければならない実際のエンタープライズ環境を忠実に反映した訓練データの作成が可能となりました。

3.2 戦略的優位性

本手法は、エンタープライズ向けAI検証システム導入において、次の3つの重要な優位性を提供します。

図2の上部は、 ベースライン手法による合成帰属データ生成フローのイメージです。コンテキスト及び質問回答ペアを入力して、LLM に回答を裏付ける文を特定させ、それを用いてより小規模なアトリビューションモデルを訓練します。しかし、この判別的アプローチでは、LLM が分類タスクを苦手とするため、ノイズの多い訓練データになりやすいという課題がありました。一方、図2の下部は、データ生成パイプラインが次の4ステップでLLMの生成能力を活用する本手法のフローのイメージであり、これによりこれらの課題を解決しました。

4. LLM エクスプレーナーの適用と評価

本研究では、LLMエクスプレーナーのソースアトリビューション技術について、その実用性と性能上の利点を明らかにするため、複数のシナリオで包括的な検証を実施しました。評価では、LLMエクスプレーナーモデルを主要な2つの代替手法と比較しました。

4.1 評価フレームワークと指標

エンタープライズ向けAI検証システムでは、「正しい情報源の識別精度」「関連するエビデンスの網羅性」「全体的な信頼性」という3つの重要な性能要素のバランスが求められます。本研究では、ソースアトリビューション（根拠帰属）に適応した標準的な評価指標を用いてシステム性能を測定しました。

4.2 自動評価の結果

タスクごとに結果を説明します。

4.3 ユーザースタディの結果

4.4 LLMエクスプレーナーのエンタープライズ価値

信頼性の高い検証結果は、ソースアトリビューション技術を導入する組織にとって、明確で測定可能なビジネス上のメリットに直結します。LLMエクスプレーナーは、従来のLLMと比較して計算コストを98%以上削減しながら、高精度を維持します。この効率性により、特別なインフラを必要とせず、標準的な業務用ハードウェアでの導入が可能です。また、訓練データを自動生成する機能により、これまで多大な費用と数カ月を要していた手動アノテーション作業が不要となります。こうした仕組みによって、法規制対応から技術文書の検証まで、さまざまなエンタープライズでの用途において高いパフォーマンスを維持しつつ、コストと工数を大幅に削減できます。

5. むすび

LLMエクスプレーナーによる自動化されたソースアトリビューション技術は、企業がAIによる生産性向上のメリットを享受しつつ、ミッションクリティカルな運用に必要な説明責任や検証基準も維持できるよう支援することで、エンタープライズ向けAI導入における重要な課題を解決します。自動学習データ生成や高効率なLLMエクスプレーナーモデルの開発を通じて、従来のAI検証システムで問題となっていたコストや複雑さの障壁を排除し、現実的なソリューションを実現できます。本技術は、従来の高コストな大規模AIソリューションや手動アノテーション手法と比較して、標準的なエンタープライズ向けハードウェア上でも効率的に動作し、優れた性能を発揮します。

LLMエクスプレーナーは、70倍規模のゼロショットシステムと比較して一貫して高いパフォーマンスを示し、幅広いコンテンツタイプや業務プロセスを持つ組織にとって不可欠なクロスドメイン汎用化能力も実証しています。更に、システムが高品質な学習データを自動生成するため、手動アノテーションを必要とせず、各部門や新たなコンテンツ領域への迅速な展開も可能です。これらの特長により、規制された環境、お客様対応領域、検証や説明責任が重視されるミッションクリティカルな業務へのAIシステム導入が容易となります。

参考文献

執筆者プロフィール