Please note that JavaScript and style sheet are used in this website,
Due to unadaptability of the style sheet with the browser used in your computer, pages may not look as original.
Even in such a case, however, the contents can be used safely.

InfoFrame DataBooster パッケージ組み込み事例

業界初、メモリ上で大容量ファイルサーバを高速分析

NEC Information Assessment System (NIAS)


背景・課題

背景

NEC Information Assessment System(以下NIAS)はファイルサーバの肥大化の抑制やアクセス権限管理を実現するソフトウェアです。ファイルサーバの利用状況を分析、定期的な整理を実施し容量肥大化を抑制します。また、アクセス権の棚卸と修正設定により情報漏えいの危険性を排除します。


従来製品の課題

従来のNIASでは2つの課題を抱えてしました。

1つ目は、大容量のファイルサーバにおいて処理が遅くなるという課題です。ファイルサーバが大規模になるにつれ収集した情報を格納しているデータベースの検索・更新速度が遅くなり、検査時間(ファイルサーバからの情報収集時間)や検索結果の表示、ファイル整理の実行に影響が出ていました。また、検索結果のファイルのソートが遅いため、表示に時間がかかるという問題がありました。

2つ目の課題は、ユーザの要求に合わせた細やかなリアルタイム集計ができないという事です。決まった統計種別でしか確認できないため細やかな絞込みができず、ファイルサーバ肥大化要因の検討・特定に時間がかかっていました。


選択のポイント

なぜInfoFrame DataBoosterを選んだか

従来のNIASでは1つの管理サーバで処理できるファイル容量は10TBでしたが、更に大規模環境に対応するためには新しい技術を取り入れる必要がありました。そこでInfoFrame DataBooster(以下DataBooster)の高速メモリデータ処理技術に着目しました。


事前検証

DataBoosterを搭載することにより課題解決が実現できるか、製品化の前に個々の機能の性能測定を実施しました。重複ファイル確認の更新処理の測定では数秒という結果となり、従来製品と比較して大幅に高速になることが確認できました。また、各種統計情報の集計時間を測定したところ、今まで時間がかかっていた所有者別、拡張子別の集計を一括処理することができ、リアルタイム集計も実現可能であることも確認することができました。これらの事前検証によりNIASにDataBoosterを搭載することが有効であると実証されました。


効果

DataBooster搭載による課題解決

従来のNIASの課題の1つ目である、データが大規模になった場合の処理時間の問題は、DataBoosterを搭載することにより、検査時間が10倍、2000万件のファイル検索時間が従来製品の19倍、重複ファイル検索時間が200倍以上という大幅な性能向上を実現しました。また、従来製品では大量の検索結果のソートは動作しないため機能制限していましたが、DataBoosterの処理により1000万件のソートを数秒で実現することが可能になりました。

2つ目の、ユーザの要求に合わせた細やかな集計ができないといった課題に対しては、DataBoosterの大量データ高速処理によって、リアルタイムに複数軸で集計することが可能になりました。これにより、ファイルサーバ肥大化の要因などを容易に特定することができるようになりました。また、従来製品では実現できなかった、ユーザやファイルごとのアクセス権限確認といった複雑な処理も、DataBoosterにより一括処理することが可能となりました。


従来製品との比較

V2.1でDataBoosterを搭載したことにより、大規模環境(最大50TB規模)での運用が可能になる他、分析、ファイル整理、アクセス権管理の全般で性能向上しました。


構成

NIAS組み込み事例

構築のポイント

ポイントはメモリに展開するデータ量をいかに軽減するか

NIASにDataBoosterを搭載するにあたり、効果的にデータを処理するために工夫した構築のポイントをご紹介します。

  • データのインポートが他の処理(検索など)に影響しないように、処理がきていない暇な時間にインポートするようにタイミングを調整
  • DataBoosterに載せるメモリ量をできるだけ軽減するためにデータ構造を検討
    例:ファイルの権限情報は冗長的になりやすいので無駄なレコードを持たないようにする
  • 検索・集計の高速化の観点からDataBoosterに載せた方が良いデータと載せる必要の無いデータにわけ、従来のRDBと両利用
  • テーブルのセット情報をムダに持たないように不要なセットは逐次削除、最小のメモリ量で処理が実行できるようにセット管理機構を工夫
  • データ検索・更新タイミングが様々であるため、 DataBoosterにアクセスするモジュールを1点局所化。 全て常駐Windowsサービス経由とし、その他のコンポーネントは そのWindowsサービスへリクエスト(Socket通信)する構造とした
  • システム停止時やサーバ再起動時はメモリ内のデータをファイルダンプできる仕組みを入れた
  • 低スペックサーバや、50TBだが10億ファイルになってしまうケースなど 想定外のレスポンスになってしまうリスクを考慮し、オンメモリモード (DataBooster)と事前集計モード(従来の中間ファイル)を切替可能な実装とした


関連リンク