はじめに

Amazon Web Services(以下、AWS)環境で構築したHAクラスターにおいて、カーネルパニックが発生した際のダンプ出力を試してみました。

一般的に、ダンプで出力されるファイルには、クラッシュしたプロセスのメモリのイメージ、システムレジスター、プログラムカウンター、その他フリーズの主な要因を特定するために役立つ情報が含まれています。
OSのストールやカーネルパニックなどによりサーバが応答しない場合や、障害が発生したサーバをデバッグする場合などにおいては、ダンプを出力して原因を分析することがあります。

CLUSTERPROでは、障害検出時にOSにパニックを発生させることができます。
あらかじめサーバにダンプ出力の設定を行うことで、CLUSTERPROの障害検出時にダンプを出力させることができます。

今回は、Linux環境のHAクラスターからダンプを出力する設定をご紹介します。

この記事の内容

1. HAクラスター構成

HAクラスター構成イメージは以下の通りです。

今回は、以下の環境を利用しました。
OS：Red Hat Enterprise Linux 7.6(3.10.0-957.el7.x86_64)
インスタンスタイプ：t3.small

CLUSTERPROではユーザー空間のストール状態を検出した際や、プロセス異常を検出した際等にOSにパニックを発生させることができます。
後述の「2.ダンプの出力設定」でご紹介するOSがパニックした際にダンプを出力させる設定を併せて行うことで、CLUSTERPROの異常検出により、ダンプを出力させることができるようになります。

2. ダンプの出力設定

ダンプを出力する設定は、以下を参考に実施しました。
本設定は、Nitro Systemベースのインスタンスタイプ(T3インスタンス等)でサポートされます。

【参考】

診断割り込みの送信(上級ユーザーのみ)

3. HAクラスター構築手順

構築手順の詳細は、HAクラスタ構築ガイドを参照ください。

【参考】

CLUSTERPRO X ソフトウェア構築ガイド

• Linux > クラウド > Amazon Web Services > HAクラスタ構築ガイド

ネットワークパーティション解決の設定で、ネットワークパーティションが発生した際の動作を「keepalive パニック」に設定します。
この設定をすることで、ネットワークパーティションが発生した際、OSにパニックを発生させることができます。
ネットワークパーティション、ネットワークパーティション解決の解説についてはこちらを参照ください。

4. 動作確認

現用系サーバをネットワークパーティション状態にし、OSをパニックさせることでダンプが出力されることを確認します。
今回は、現用系サーバが属するサブネットのネットワークの通信をネットワークACLで全て拒否することで、現用系サーバにネットワークパーティションを発生させました。

まとめ

今回は、AWS上のHAクラスター環境でダンプを出力する手順をご紹介させて頂きました。
障害発生時にダンプを出力して、内容を確認したい時は本手順をご参考にしてください。

また、CLUSTERPRO X 4.2の試用版を提供しておりますので、ぜひご活用ください。

お問い合わせ

資料請求・お問い合わせ