開催日：2021年9月8日 会場：オンライン開催
講師：江間有沙氏（東京大学未来ビジョン研究センター准教授）、松本敬史氏（同センター客員研究員）

AIサービスにおける信頼性の確保や倫理的な問題が社会的に議論される中、AIのリスクマネジメントについての重要性が増している。2016年よりAIの社会実装の在り方について共同研究を行っている東京大学とNECは、この問題にいち早く取り組んでおり、その一環としてNECグループ社員約100名を対象にセミナーを開催。AIの倫理に関する第一人者、東京大学未来ビジョン研究センター准教授の江間有沙氏と同客員研究員の松本敬史氏を招き、フレームワーク「リスクチェーンモデル:RCModel」を活用したリスクマネジメントの方法について学んだ。

RCModelでリスクを認識し、コントロールする

セミナーの冒頭で江間氏は、AIサービスや製品の社会実装が拡大する一方、データの偏りによるバイアスや画像認識の誤りなど、AI サービス提供者は多岐にわたるリスクへの備えが求められている状況を踏まえ、次のように挨拶を行った。

その後、松本氏がRCModelの具体的な説明に移った。松本氏は、江間氏のプロジェクトでRCModelの開発に携わった一人である。

「開発時点では優れた予測性能があっても、環境の変化（ビジネス環境、テクノロジー、社会環境、法制度等の変化）や利用者の誤用・悪用等を原因としてAIモデルの予測性能が劣化することもリスクとして検討する必要があります。その場合、AIモデルだけではリスクの提言が難しいので、関連するテクノロジー、サービス提供者、ユーザーを統合し、サービス全体を包括してリスクコントロールを検討するフレームワークがRCModelです」

潜在リスクを顕在化し、早期対策に繋ぐ

RCModelでは、まず提供するAIサービスの「実現すべき価値・目的」を定義する。人材採用部門における採用AIを例にした場合、「実現すべき価値・目的」の一つに「公平で適切な評価」が挙げられる。これに対して「価値・目的」を阻害するリスクシナリオは、「期待値の設定が適切でないと正しく評価できない」などが挙がる。

こうした個々のリスクシナリオに応じて、RCModelでは各層（AIシステム／サービス提供者／ユーザー）におけるリスク要因を検討し、リスクに対処する順番を考えながらリスクチェーン（線）を繋ぐ。そのチェーンで関連づいた各層それぞれにおいて、取るべき対策と責任の範囲を考える。

例えば、採用AIにおいては、「公平で適切な評価」のために人材採用部門（サービス提供者）は適切な目標値を設定する → AI開発部門（AIシステム）は適切なモデルを開発 → 人材採用担当者（ユーザー）にフィードバックする。さらに、人材採用担当者の利用ログを検証 → AIモデルを再学習することで「公平で適切な評価」に向けたリスクコントロールを階層的に検討する。仮に一つのコントロールで十分にリスクへ対応できなかったとしても、階層的なコントロールによって徐々にリスク低減することが狙いである。

「重要な点は、各層におけるリスクと対策を可視化し、各ステークホルダーの役割を明確に定義すること。また、早い段階でリスクを検討し、想定しないリスクを顕在化させることにあります。無意識のバイアスに気付くには、さまざまなステークホルダーを巻き込むことが大切です。一連の検討過程を整理することで、関係者間で共通認識を持つことも期待できるのです」（松本氏）

議論を通じて「価値・目的」を再認識する

続いて、受講者がグループに分かれ、RCModelを使用したグループワークに移った。今回は「無人コンビニ」というケーススタディのリスクコントロールを検討する。この「無人コンビニ」とは、利用客が商品を取るだけでAIが代金を計算し、店外に出る際に電子マネー等で一括決済できるJ社のコンビニで、X社の画像認識AIを活用しているという設定だ。

まずグループワーク1では、「無人コンビニ」でどのようなリスクシナリオが想定されるかを検討。続くグループワーク2では、以下2つのリスクシナリオをコントロールする方法について議論した。
リスクシナリオ①＝「コンビニ店内の環境（天候・明るさ・清掃状況）の変化により、AIが商品や利用客を誤認識する」
リスクシナリオ②＝「商品の認識が誤った場合に、コンビニ店舗側（J社）で正しく修正できない」

発表では、リスクシナリオ①のリスクコントロールの方法について、「環境管理を徹底する」「カメラの台数や向きを検討する」などの意見があったほか、「利用客が持ち込んだペットボトルを商品だと誤認識する恐れがある」「地震や災害への対策も必要」など新たなリスクシナリオも挙げられた。

リスクシナリオ②では、「ログ情報から誤認識の傾向を掴み、AIシステム自体を修正する」「実際に購入した商品が何だったのか把握するためのトレーサビリティを確保する」などAIシステムに係る議論や、「誤認識を防ぐために、お客様が商品を手にしたら、そのたびに確認のアナウンスを流す（棚やレジかご）」といった対策のほか、「店舖側が誤認識に気付くためのシステムも必要」など別のリスクシナリオにも派生した。

発表を踏まえて、江間氏はRCModelのメリットについて次のように話した。
「皆さんがRCModelを用いて検討を進めるうちに、別々のリスクシナリオと捉えていたものが関連していたことで、単一のリスクコントロールでは不十分なところに新しい筋道が拓けたり、一方で、想定外のリスクシナリオが明らかになったりしました。今回のように、AIの実務に関わるメンバーとそれ以外のメンバーを交えたステークホルダー一同でRCModelを作り上げるプロセス自体に相互間の新たな学び・気付きがあり、議論するプロセスを通じて自分たちが実現したい価値・目的を再認識することにもなります。また、検討した思考のプロセスが構造化され、視覚的な記録として蓄積されることもRCModelの特徴と言えます」

RCModelのさらなる可能性

松本氏は、「RCModelで導かれたリスクコントロールは、不変の正解ではありません。実際にAIサービスを稼働したあとには、新しいリスクシナリオが生じる可能性があります。大事なことは、RCModelを用いながら多様なステークホルダーと議論を重ね、AIサービスに係るリスクマネジメントをブラッシュアップしていくことにあります」と話す。最後に同氏は、RCModelの可能性について次のように言及した。

「RCModelを活用すれば、B to Bの場面ではリスクコントロールの方法をサービスマネジメントの一環として顧客に提案することができます。AIサービスについて、どのようなリスクマネジメントを行っているのか、その検討過程まで含めて第三者に説明することも期待できます。将来的には、社内外の各ステークホルダーだけでなく、関連する有識者・専門家を含めてRCModelでディスカッションを行うことで、AIに関する社会的・法的な論点や知見を把握し、AIサービスに係る課題を事前に検討する仕組みもできるのではないかと考えています」

受講後のアンケートでは、「リスクと対策がシンプルに理解でき、非常に有益だと感じた」「RCModelを活用してお客様と検討を進めれば、お互いの納得感が得られると思う」「プロジェクトの目的を確認しながら進められるので、ぜひ実施したい」「製品を企画するときのリスク想定に役立てたい」」といったコメントが寄せられ、今回のセミナーは信頼性の高いAIサービスの実現・維持に向けて学ぶ好機となった。東京大学とNECは今後もAIリスクマネジメントのノウハウを共有し、学び合える仕組みを強固にしていく。

関連リンク

（2021.9.8 オンラインにて取材）