2023年2月20日

世界中でAIの開発が急速に進むなか、いま最先端の研究ではAIモデルの開発だけではなく、運用段階を見据えた研究が始まっています。NECでは今回、運用時におけるAIの精度劣化という問題にいち早く着目し、効率化・自動化を進める技術を開発。その目的や詳細について、研究者に話を聞きました。

AI運用時の精度劣化という最先端の課題に対応

― 予測ミスの要因分析と互換性のある再学習とは、どのような技術なのでしょうか？

佐久間：両方ともMLOps（Machine Learning Operations）と呼ばれるAIの運用を効率化・自動化するための技術です。世界ではいま、数多くのAI技術が産業に活用されるようになってきました。しかし、AIは環境変化などによって少なからず精度が劣化してしまいます。例えば、商品の需要予測をするAIであれば、昨今のテレワークの普及のようにライフスタイルが大きく変わってしまった場合、どうしても消費傾向に対応しきれなくなってしまいます。これほど急激な変化でなくても、近隣に住宅が増えれば客数や客層に変化が生じ、精度を欠いてしまうこともあるでしょう。AIを運用するためには、常に予測精度が十分であるかを監視するとともに、再学習を繰り返して品質をキープしていかなければならないのです。現在はこの作業を高度なスキルをもったデータサイエンティストが多大な時間をかけて行っていますが、このコスト軽減できるのが今回の技術です。


松野：再学習においては、もう一つ問題があります。新しいデータを追加して再学習すると、従来の挙動とは異なる結果を出力してしまうことがあるのです。例えば、金融機関のローン審査でAIを活用していた場合、再学習前は融資OKと判断していた条件に対し、再学習後は融資NGという判断を下してしまうリスクがあります。このようにAIの予測傾向が変わってしまっては、活用現場では大きな混乱を招いてしまいます。そこで、再学習以前のAIの挙動を引き継いだまま再学習する「互換性」を担保した再学習が必要なのです。今回発表した「互換性のある再学習」は、この点をクリアする技術になっています。

現実的なAI運用に即した自動化技術

― 予測ミス要因分析の技術は、どのような仕組みなのか教えてください。

佐久間：フローチャートを使って、要因を分析していく仕組みです。予測ミスが起きてしまうケースは大きく分けて3つあります。「説明変数」に異常が起きてしまうケースと「目的変数」に異常が起きるケース、もう一つは予測モデル自体に要因があるケースです。最も根本的な問題を起こしやすい説明変数から分析して、そこに問題が無いようであれば目的変数を分析する。それでも問題が無いようであれば最終的に予測モデルをチェックするという流れで、考えられる要因を網羅的に分析していきます。可視化しやすいロジカルなフローチャートなので、分析の過程を見れば、出力された結果の根拠をたどることができるようになっています。説明性の高さも本技術の特長です。


松野：予測ミスの要因分析は、私たちが調べる限り先行技術のない領域です。AIの運用プロセスを効率化するツールやフレームワークなどはかねてより存在していましたが、基本的にはエンジニアリングレベルでの調整が主流でした。研究レベルから根本的に本課題に踏み込んだのは、私たちの技術が初めてだと思います。

― 互換性のある再学習についても、詳細を教えていただけますか？

松野：こちらの技術については、先行技術が存在しています。しかし、今回の私たちの技術では「不均衡データ」でも互換性を維持できるという点が新規性のある特長です。不均衡データとは、正例と負例があった場合に、どちらか一方のデータ数が極端に少ないもののことを指します。例えば、製造品の検査データでは、適合品よりも不良品の数の方が圧倒的に少なくなるでしょう。従来の技術ではこのようなデータでは数の多い方のデータに引っ張られてしまいましたが、私たちの技術ではそれぞれの変化の割合を考えて互換性を示す指標を計算できるようにしました。これにより、互換性をできるだけ高く維持しながら再学習することができます。現実のデータでは、正例と負例のバランスが5：5や6：4で収まるようなものはほとんど存在しません。本技術により、現実的なデータにも再学習技術を活用できるようになりました。

また、私たちは、どんなAIモデルでも適用できるように研究を進めています。予測ミス要因分析も互換性のある再学習も、ニューラルネットワークや画像分類のみなど、特定のモデルだけに適用できるものではなく、汎用的に使えるように開発しているという点は他に類を見ないものだと思います。

世界初の発想と技術で、業界をリードする存在に

― 今回の技術について、どのような運用を考えていますか？

松野：NECとしては、MLOpsとして双方の技術を展開していくつもりですので、一方の技術だけを提供するケースも、両方の技術を提供して組み合わせていくというケースも、両方考えています。現在、さまざまな環境での実証実験を予定しているので、現実的な運用はそこで検証していくつもりです。いずれにせよ、データサイエンティストなどの一部の人材でないと要因分析や再学習ができないという現在の状況は、大きなコストを生んでいます。このコストを削減できる技術として、さらに研究と実証を進めていくつもりです。


佐久間：NEC社内で需要予測を行っている事業部に本技術を提供したところ、非常に役に立ったという回答を得られた実績もあります。データサイエンティストによる分析に加え、補助的にこの技術を活用した結果でしたが、担当者からは約50％近くの業務時間が削減できたという評価をいただきました。この技術はまだあまり注目されていませんが、これから必ず必要になる技術だと思っています。この点は、実際にAIを活用したサービスを展開するNECだからこそ気付くことのできたポイントなのかもしれません。


松野：そうですよね。特に、予測ミスの要因分析は他の企業や研究機関でも研究が進められていません。しかし、これから注目を浴びていく領域であることは間違いないと思います。私たちも実際に注目を浴びられるように、学会へも参加（※）するなどの活動をしていますが、これからもアカデミアへの参加や実証実験を通じて積極的に活動をしていきたいと思っています。

特許出願中（2023年2月20日時点）

NECの最先端技術一覧へ戻る