サイト内の現在位置

NEC MLOpsサービス

MLOpsサービスとは

昨今、AIが作成したモデルを活用したシステム運用フェーズに進む顧客が出てきましたが、このシステムをうまく活用できないという声が聞かれます。

うまく活用できない例

  1. 検証時の精度が維持されない、精度が急に悪化した
    例えば、商品の需要予測では、人の流動の変化や人気商品のトレンドなどが変化したときに、この傾向がとらえられずこれまで通りの数を予測し、精度が悪化してしまいます。
    また、設備の異常検知では、経年劣化や設備の利用方法の変化が起きることで、いままでのモデルでは異常を検知できず、精度が悪化することがあります。
  2. 精度向上のためにモデル更新しても、精度が改善しない
    先ほどの商品需要予測では、トレンド変化の要因のデータを投入せずに、これまで通りの学習データでモデル作成を行い、精度が改善しないことがあります。

これら課題が発生した際に、どのような対応をすればいいかがわからず、精度の低いモデルを使用し続け、収益の悪化やコストの増大を招くことがあります。
これまでNECは、さまざまなお客様に、AI活用の企画・検証・導入の支援を実施してきました。こうした実績を活用し、経験豊富なデータサイエンティストがモデルの作成から運用支援までのライフサイクルを円滑に行うことを支援するMLOps支援サービスをご提供いたします。

課題と解決案

モデルのモニタリング

課題
  • 検証時の精度が維持されない
  • 急に精度が悪くなってしまった

改善案
  • データ・モデルをモニタリングし、異常時にアラート・原因分析・施策を提言

モデルの更新

課題
  • どれくらいの頻度で行えばいいか
  • 更新した結果、前のモデルより精度が悪化

改善案
  • モデル再学習を行い、モデル更新を実施するか判定

モデルの継続的な改善

課題
  • データがたまってきたので改善したい
  • 新しい種類のデータを導入したい

改善案
  • 応用改善の実施(分析内容や使用するデータの変更等)や、その他課題への解決策を提言

特長

AI活用システム運用経験豊富なデータサイエンティスト・システムアーキテクトがモデル運用を支援

これまでNECが実施した、AIを活用したシステムの運用経験をもとに、運用のプロセスと必要なテンプレートを整備しました。このプロセス・テンプレートを活用し、データサイエンティスト・システムアーキテクトのプロフェッショナル集団が、ご支援をいたします。

提供サービス

モデルのモニタリング

提供サービス 内容 ご提供
  • モデルモニタリング
  • モデル劣化アラート
  • モデル劣化原因解析
  • データモニタリング
  • データ異常アラート
  • データ異常原因解析
定常的にモデル・データをモニタリングします。精度劣化・データの傾向変化を検出した際にアラートを出し、原因解析を行い、施策提言(データ変更、モデル更新など)をします。
  • モニタリング結果
  • アラート発生回数
  • 原因解析結果
  • 施策提言

モデルの更新

提供サービス 内容 ご提供
  • モデル再学習
  • モデル更新判定
  • モデル更新
  • データ・モデルバージョン管理
  • ロールバック
新しいデータでモデルを再学習し、現行モデルと比較を行い、モデル更新が適切と判断したときにモデルを本稼働環境に反映します。
データとモデルのバージョン管理を行っておき、必要に応じてモデルのロールバックを行います。
  • 再学習結果
  • 更新判定結果

モデルの継続的な改善

提供サービス 内容 ご提供機能
  • 応用的改善
モデルの改善や業務内容変更に応じて、分析内容の変更、分析に使用するデータを変更します。
また業務遂行で発生した課題の解決案を提言します。
  • 再学習結果
  • 更新判定結果

事例

金融業における、モニタリング・モデル更新

業務支援AIシステムで使用しているデータ・モデルをモニタリングし、精度改善のための施策を定期的にレポートし、モデル更新を実施。

建設業における、モデルの継続的な改善

データ・モデルを定期的にモニタリングしてモデル更新を実施。さらに、モデル作成時に新規データを追加することなどにより、モデルを継続的に改善。