Japan
サイト内の現在位置
NEC、AIの予測精度を効率的に維持しながら運用可能とする2つのMLOps関連技術を業界で初めて開発
~精度低下の原因の自動分析技術と高度な再学習技術~2023年2月20日
日本電気株式会社
NECは、過去のデータで学習したAIが運用時に最新の状況に対応できなくなることで起こる予測精度の低下の原因を自動で分析・可視化する技術と、再学習の際、正解していたデータを不正解にせず一貫性を維持する高度な再学習を行う技術の2つの機械学習運用技術を業界で初めて(注)開発しました。本技術を活用することにより、データサイエンティストなどの専門家でなくても、時間・コストをかけずに期待される予測精度を保ちながらAI運用を可能とするMLOps(Machine Learning Operations)を実現することが可能となります。本技術は提供中の「NEC MLOpsサービス」にて2023年度中に活用予定です。
企業におけるDXの加速とともにAIの導入が進んでいますが、特にデータ分析を行うAIにおいては、運用中の社会環境の変化によって開発時点で学習したデータから傾向が変化し、予測精度が低下するということが発生します。例えば、小売店で需要予測を行うAIに対し、近隣にマンションが建設されファミリー層の利用者が増えるケースなどがあげられます。そこで、予測精度の低下を防ぎ開発当初のAIの効果を維持・向上させ続けるために、開発して終わりではなく開発と運用を統合させたMLOpsという概念が注目されています。精度低下を防ぐには、AIを監視し、精度低下が発生した場合には原因分析を行った上で再学習する必要がありますが、高度な知識が求められ、多くの時間・コストがかかります。
NECが今回開発した技術は、MLOpsツールとして一般的な監視の自動化だけでなく、原因分析および可視化を行う技術と、正解していたデータを再学習後に不正解にせず一貫性を維持する高度な再学習を可能にする技術です。これらの業界初の技術を単独または組み合わせて活用することでAIの精度を維持しながら時間・コストをかけずに運用することが可能となります。
開発した技術
(1)AI運用時の精度低下の原因を自動で分析し可視化する技術
従来は、例えば需要予測であれば、専門家が過去の売買データや気温など多数のデータから精度低下の原因を手動で分析しています。それに対し本技術は、学習時と運用時のデータの傾向変化や予測への影響度などの指標を独自に組み合わせ精度低下の原因を自動で分析し、注目すべきデータを根拠とともにレポートとして提示することができます。これにより、専門性を有さない人でも短時間で精度低下の原因分析が可能になります。NECが実施した実証では、精度低下の原因分析の工数を約50%削減することを確認出来ました。
(2)正解していたデータを不正解にせず一貫性を維持し高度な再学習を行う技術
従来の再学習では、全体的な精度は向上するものの、再学習前に正解していたデータの一部を不正解としてしまう部分的な劣化が発生することがあります。このような一貫性の低い再学習は運用者の混乱を招きAIの信頼性を損なってしまいます。それに対し本技術は、正解したデータの重みを大きくし再学習することで、正解部分を継続的に正解し、部分的な劣化を防止します。これは機器故障予測や金融の不正取引検知など、まれにしか発生しない事象を扱う不均衡データの再学習に対して非常に有効です。
NECは、様々なAIを活用したシステムの開発、運用実績と蓄積された豊富なノウハウ、ITベンダーとしてのケイパビリティに、今回開発した先進技術を組み合わせることにより、お客様の開発から運用までトータルでAI活用を支援し、DX推進に貢献します。
以上
- (注)NEC調べ
- 技術(1) JSAI2021(人工知能学会全国大会)にて論文採択:「MLOpsを促進する予測ミス要因の自動特定法」、佐久間啓太,坂井智哉,亀田義男
- 技術(2) 国際学術会議 KDD2022にて論文採択:“A Generalized Backward-Compatibility Metric," Tomoya Sakai,
本技術について
NEC MLOpsサービスについて
本件に関するお客様からのお問い合わせ先
NEC グローバルイノベーション戦略部門
NECは、安全・安心・公平・効率という社会価値を創造し、
誰もが人間性を十分に発揮できる持続可能な社会の実現を目指します。
https://jpn.nec.com/brand/