はじめに

Microsoft Azure(以降、Azure)において、HAクラスターの両系活性防止を考慮したHAクラスターの構築を試してみました。

CLUSTERPROでは、両系活性を防止する方法としてネットワークパーティション解決(以降、NP解決)が設定可能です。しかし、NP解決を設定したとしてもOSストールやHAクラスターを構築するサーバー間の通信断などの障害が起きた場合は両系活性が発生する可能性があります。そのような場合にも両系活性を発生させないようにするために強制停止リソースという機能も用意されており、Azure用の強制停止リソースはCLUSTERPRO X 5.1から利用可能となっています。

今回は、AzureでHAクラスターを構築し、両系活性防止用にNP解決リソースおよび強制停止リソースを設定する手順を紹介します。

この記事の内容

1. 両系活性防止の必要性

両系活性
両系活性とは、ネットワークパーティション(スプリットブレイン)の状態に陥ったHAクラスターにおいて、複数のサーバーが同じフェールオーバーグループを起動している事象のことです。事象のイメージについては「HAクラスター入門 ～用語解説3～」を参照してください。両系活性が発生すると各サーバーで動作している業務アプリケーションはそれぞれ独立して業務データの読み書きを行うため、両系でのサービス稼働を想定していない場合はサーバー間のデータ不整合など重大な問題に繋がります。そのため、両系活性の防止策が大切となります。

NP解決リソース
NP解決リソースは、相手サーバーとのハートビートの途絶を検出すると、相手サーバーがダウンしたのか、自分自身がネットワークパーティションの状態に陥ったのか、どちらであるかを判別する処理を行います。その際にあらかじめ指定した対象(ネットワーク装置、共有ディスク、サーバー)に各サーバーからアクセスを試みて、その結果からネットワークパーティションであるかを判別します。

その結果、指定した対象と疎通可能なサーバーは自分が業務継続するべきサーバー＝現用系になるべきと判断して自サーバー上でフェールオーバーグループを起動します。一方で疎通不可なサーバーは自分がネットワーク的に分断されたと判断して自分自身をシャットダウンします。これによって共有データの破壊を防止します。

強制停止リソース
強制停止リソースは、現用系サーバーのダウンを認識したときに待機系サーバーで動作する機能で、現用系サーバーを外部から強制的に停止させることができます。これによりネットワークパーティション(スプリットブレイン)の状態となった場合でも、NP解決リソースによる対応に加えて強制停止リソースを利用してサーバーを停止させることで両系活性の防止をより確実なものにすることができます。

強制停止リソースを実行する契機は、ハートビートタイムアウトにより現用系サーバーのダウンを検出し、現用系サーバーで起動していたフェールオーバーグループを待機系サーバーで起動する場合となります。Cluster WebUIなどからサーバーを正常に停止した場合や、ダウンしたサーバー上でフェールオーバーグループが起動しておらずフェールオーバーが発生しない、といった場合は強制停止リソースを実行しないため、不必要なタイミングでサーバーを強制停止することはありません。

本記事ではAzure CLIを利用してサーバーを停止するAzure強制停止リソースを使用します。NP解決リソース、および、強制停止リソースの詳細については、リファレンスガイドをご参照ください。

2. 構築するHAクラスター構成

東日本リージョンの環境にHAクラスターを構築します。構築するHAクラスターの構成図は以下の通りです。

Azure Virtual Machines(以降、VM)をHAクラスター化するにあたって、現用系/待機系の制御用にAzureの内部ロードバランサーを利用します。この内部ロードバランサーのバックエンドサーバーの切り替えのためにAzureプローブポートリソースを使用します。

VM間のデータ共有のためにミラーディスクリソースを使用します。両系活性防止のためにPing NP解決リソースを追加し、ターゲットには構成情報に登録したインタコネクトLAN経由でPing応答を返却可能な、クラスターサーバー以外の常時稼動している装置を指定します。今回はPing応答装置としてクライアント用VMを指定します。実際にNP解決リソースを設定する場合のNP解決方法およびターゲットはHAクラスターを構築する環境に合わせて適切なものを使用してください。

Azure強制停止リソースもあわせて設定します。Azure強制停止リソースは内部でAzure CLIを実行しますが、VMが内部ロードバランサー内にあるためそのままではAzure CLIがインターネット上のAzureエンドポイントと通信できません。そこで外部ロードバランサーを追加し、送信規則を設定することでAzureエンドポイントとの通信を可能にします。NATゲートウェイでも同様のことは可能ですが、ゾーン冗長性を持たせるためにはゾーンごとに配置する必要があること、外部ロードバランサーよりもコストがかかることから本記事では外部ロードバランサーを採用しています。

3. HAクラスター構築手順

Azureにおける「内部ロードバランサーを使用したミラーディスク型のHAクラスター」の構築手順をご紹介します。構築手順の詳細については、Azure構築ガイドをご参照ください。

【参考】

CLUSTERPRO X ソフトウェア構築ガイド

• Windows > クラウド > Microsoft Azure
  → CLUSTERPRO X 5.2 向け HAクラスタ 構築ガイド
    → 第6章 構築手順 (内部ロードバランサーを使用したHA クラスタの場合)

• Linux > クラウド > Microsoft Azure
  → CLUSTERPRO X 5.2 向け HAクラスタ 構築ガイド
    → 第6章 構築手順 (内部ロードバランサーを使用したHA クラスタの場合)

今回の構成ではAzure構築ガイドの構成に加えてAzure強制停止リソース、および外部ロードバランサーを追加しています。また、可用性セットではなく可用性ゾーンを指定しています。

3.1 リソース グループおよびネットワークの作成

Azure portalから、東日本リージョンに以下のリソース グループおよびネットワークを作成します。

3.2 VMの作成

Azure portalから、東日本リージョンにクライアントおよびHAクラスター用のVMを作成します。IPアドレスは初期設定では動的割り当てとなっているため、静的割り当てに変更します。

サーバー#1、#2には、CLUSTERPRO XおよびAzure CLIをインストールします。本記事ではWindows、LinuxそれぞれのHAクラスターに対してCLUSTERPRO X 5.2、およびAzure CLI version 2.66.0をインストールし、動作確認しました。

【参考】

Azure CLI をインストールする方法

各VMについて、Firewallのポート開放やディスク構築などOS上で必要な設定も忘れずに行っておきます。

3.3 マネージドIDの設定

Azure CLIを実行する際の認証に、システム割り当てマネージドID(以降、マネージドID)を使用します。マネージドIDを使用することで、コード内に資格情報を格納せずに、Azureリソースをクラウドサービスに対して認証させることができます。

Azure portalでAzure カスタム ロールを作成し、Azure強制停止リソースを利用するためにVMに付与する必要がある権限を個別に追加します。マネージドIDに作成したAzure カスタム ロールを割り当てることで、HAクラスターを構築するVMに、VMなどのAzureリソースに対する操作権限を追加します。

マネージドIDの設定手順は次の通りです。

以下に、各手順の詳細を記載します。

3.3.1 マネージドIDの有効化

HAクラスターを構築する各VMのシステム割り当てマネージドIDを有効にします。
各VMに対して、下記操作を実行します。

3.3.2 カスタム ロールの作成

Azure カスタム ロールを作成し、必要なアクセス許可を追加します。
下記操作を実行します。

3.3.3 マネージドIDへのカスタムロールの割り当て

マネージドIDに作成したAzure カスタム ロールを割り当てます。
下記操作を実行します。

3.4 サービスプリンシパルの作成

Azureサービスに安全にアクセスするためのサービスプリンシパルおよび証明書を作成します。これはCLUSTERPROのAzure DNSリソースやAzure強制停止リソースなどが内部でAzure CLIを実行する際に必要となります。
以降はWindows環境でのコマンド実行、設定手順となりますが、Linux環境でもほとんど同様の手順で実施可能です。

任意のVM上で、Microsoft組織アカウントでログインします。

サービスプリンシパルを作成し、登録します。Cluster WebUIのAzure強制停止リソース設定時に入力が必要なため、出力された内容は必ずメモ帳などにコピーしてください。また、"fileWithCertAndPrivateKey"が示すパスに証明書ファイルが保存されるため、HAクラスターを構築する各VMにコピーして配置します。

以下の例では、C:\Users\testlogin\examplecert.pemに証明書ファイルが作成されます。

ログアウトします。

3.5 HAクラスターの構築

Cluster WebUIを使用してHAクラスターを構築します。
CLUSTERPROの構成は次の通りです。また、サービスを提供する場合は適宜必要なグループリソースなどを追加してください。

3.6 NP解決リソースの設定

Ping NP解決リソースは、以下のように設定します。

3.7 強制停止リソースの設定

強制停止リソースは、以下のように設定します。

3.8 CLUSTERPROサービス起動遅延時間の設定

CLUSTERPROサービス起動時の遅延時間を設定します。これにより、強制停止リソース実行中に対向サーバーでOS再起動などが実行された場合に、両系活性が発生することや、クラスター起動処理中に強制停止が実行されることを防止します。サービス起動遅延時間を以下となるように設定します。

サービス起動遅延時間は、「クラスタのプロパティ」の「タイムアウト」タブにある[サービス起動遅延時間]で設定できます。

CLUSTERPROサービス起動時の遅延時間を設定する代わりに、OS起動時間を調整することでも対応が可能です。
OSの起動時間を以下となるように設定します。

OS起動時間の調整手順の詳細については、インストール&設定ガイドをご参照ください。

【参考】

CLUSTERPRO X システム構築ガイド

• CLUSTERPRO X 5.2 > Windows > インストール&設定ガイド
  → 第 2 章 システム構成を決定する
    → 2.6 ハードウェア構成後の設定
      → 2.6.3 CLUSTERPRO のサービス起動時間を調整する (必須)

• CLUSTERPRO X 5.2 > Linux > インストール&設定ガイド
  → 第 2 章 システム構成を決定する
    → 2.8 ハードウェア構成後の設定
      → 2.8.5 CLUSTERPRO のサービス起動時間を調整する (必須)

また、DISK方式によるNP解決を行う場合や共有ディスクを利用する場合はサービス起動遅延時間、もしくはOS起動時間の計算について、別の観点での考慮が必要です。詳細については、【2024年版】サービス起動遅延時間設定機能の紹介も併せて参照ください。

4 NP解決時の動作確認

強制停止リソースを実行する構成、また、実行しない構成で、ネットワークパーティション状態を起こして、HAクラスターの動作を確認します。
今回は、Windows環境における動作確認の例を記載します。

ネットワークパーティション状態を起こすため、server1、server2の間の通信を遮断します。本記事では、Windows Defender ファイアウォールにおいて、お互いに相手サーバーとの送受信をブロックするように受信規則、送信規則を追加します。これにより、サーバー間のハートビートが途絶えますが、Ping応答装置代わりのclientへのPing通信は可能であるため、それぞれのサーバーが「相手サーバーで問題が発生した」と判断してフェールオーバーグループを起動しようとします。

なお、Linuxの場合はfirewall-cmdなど、ディストリビューションで用意されたコマンドを使用してください。

4.1 強制停止リソースを設定しない場合

強制停止リソースを設定しない場合、それぞれのサーバーがフェールオーバーグループを起動するため、両系活性状態となってしまいます。

それぞれのサーバーでHAクラスターの起動状態を確認すると以下となります。それぞれのサーバーでフェールオーバーグループが起動していることが確認できます。

[server1のクラスターの起動状態]
server1でフェールオーバーグループが起動しています。

[server2のクラスターの起動状態]
server2でフェールオーバーグループが起動しています。

4.2 強制停止リソースを設定する場合

強制停止リソースを設定する場合、待機系サーバーではフェールオーバーグループのフェールオーバーを実行する前に強制停止リソースが動作して現用系サーバーを停止させます。そのため、両系活性を防ぐことができます。

待機系サーバーが現用系サーバーのダウンを検出した後のアラートログの出力は以下のようになります。フェールオーバーグループの起動前に強制停止リソースを実行していることが確認できます。

フェールオーバー完了後、Azure portalから現用系サーバーのEC2インスタンスの起動状態を確認すると「停止済み(割り当て解除)」となっており、現用系インスタンスが停止していることを確認できます。

まとめ

今回は強制停止リソースを利用したHAクラスターの構築手順をご紹介しました。
Azure上でネットワークパーティション発生時に両系活性をより確実に防止することができますので、強制停止リソースの利用をご検討ください。

お問い合わせ