ツ−ル化によるSystemScope監視運用の効率化
(PDF文書,617KB)


【要旨】

【テーマ】
住友海上オープンシステムにおける「ツール化によるSystemScope監視運用の効率化」
【目的】
現在住友海上のオープン系サーバは全国に133台(3月現在の監視対象)設置され、これらの監視についてはNEC製監視ツール「SystemScope」を用いて実施している。SystemScopeの監視モニタ画面には各サーバから出力されたメッセージが1日に約2000行表示される。出力されるメッセージは、エージェントノアップ/ダウンのメッセージ、OS/PPのメッセージ、APの実行結果メッセージに大きく分類される。これらのメッセージから、障害系メッセージの抽出、APの実行確認を各サーバ毎に実施している。近年サーバの設置台数が大幅に増加しているため確認するメッセージ数も比例して増加している。このため目視での確認が時間・精度の面で限界に達し、メッセージの確認作業を自動化することとした。これによりSystemScopeのメッセージをサーバ種別毎に障害系メッセージ、AP実行結果メッセージを自動的に帳票出力する方式を採用し確認作業を効率化した。

【概要】
シェルプログラムにより、SystemScopeのメッセージが蓄積されているログファイルからサーバ種別毎にメッセージファイルを分割する。予め確認に必要となる障害系メッセージ・AP実行結果メッセージをファイル化しておき、サーバ毎に分割したメッセージとのマッチングを行う。これらの結果(メッセージファイル)を帳票に出力しメッセージを確認する。
帳票に出力するメッセージの形式は、該当メッセージが障害の対象であるかどうか、AP実行結果の対象であるかどうかを、メッセージ行の先頭に印付けをしている。障害と判断する文言・エラーコードを定義ファイル(障害系メッセージ定義ファイル)とし、それらの定義のメッセージ内での有無を確認している。
また、AP実行結果メッセージと実際に出力されたメッセージの対比一覧(AP実行結果メッセージファイル)も出力することにより、実行の正否だけではなく実行されていることの確認も合わせて行う。実行確認を必要とするメッセージの種類・起動日時・起動サーバ・メッセージを定義ファイル(AP実行結果メッセージ定義ファイル)とし、それらの定義のメッセージ内での有無を確認している。
新規にサーバが設置された場合や、確認するメッセージに追加・変更があった場合には、定義ファイルを作成・修正することにより容易に対応できるようにしている。
現在、全サーバの障害系メッセージの確認とAP実行結果メッセージの確認を約2時間で実施している。当ツール運用前では約4時間程度必要としていたため、確認時間は約半減した。

【キーポイント】
・帳票に出力することにより大量のメッセージを複数人で処理することができ確認時間を短縮 できる。
・サーバ種別毎にメッセージを分類するため、メッセージの前後関係を確認しやすい。
・実行確認が必要なメッセージとの対比を帳票に出力することにより、実行の正否だけではなく 実行の有無も確認することができる。

【計画】
2001年より三井海上社との統合のためのサーバが順次設置される予定があるため、当ツール化は2000年中に実施することとした。4月頃より方針の検討を開始し、出力する情報の種類、形式を確定させた。シェルの作成・テストは10月〜12月に行い年内に本番運用を開始した。実運用の合間の時間を用いて検討・開発を行ったため正確な工数は算出できないが、参加人数4人で8ケ月間に2人月程度の作業量を費やしたと推定する。

【評価】
2000年末より新規設置サーバが増加し始め、それに伴いSystemScopeへのメッセージも増加してきている。更に開発期間から監視機能を組込むサーバも多くある為、開発によるメッセージが大量に出力される。その為SystemScopeのメッセージ確認画面だけでは監視作業を実施することは困難な状況にあり、ツールによるメッセージの分類・確認の自動化による成果は顕れている。一方でSystemScopeに通知するメッセージの内容について、要・不要を吟味して不要なメッセージの抑制も常に実施していく必要がある。現在、メッセージ確認を担当している要員は2名であるが、今後サーバの増設に伴うメッセージの増加がある場合にも担当者を増員することにより、監視時間全体に影響が出ないようにする必要がある。現状では帳票の出力の為に使用しているPostScript用のフリーソフトがあり、NEC製48サーバでの起動が必須となっている。SystemScopeのマネージャはNXサーバであるため、ファイルのプリントアウト部分は48サーバ及びPostScript対応プリンタを使用している。今後LANプリンタからの出力を実施する等、汎用化を検討する必要がある。