Jump to content 日本-日本語
製品  >  ソフトウェア  >  Linux

MSA2012fc用 LifeKeeper 6.2 for SUSE Linux Enterprise Server 10 SP1/x86インストールフロー

Open Source & Linux

導入事例

product

ハードウェア
ソフトウェア
サービス & サポート

buy now?

HPE OPEN SERVICES
保守サービス
教育プログラム

support

OS対応表
システム構成図
技術文書
FAQ
ディストリ対応表
サポート & ドライバ
リンク
SDR - 設定方法
FreeBSD
サイトマップ
HPE & Red Hat情報ポータル HPEとRed Hatが実現するオープンなイノベーション
BSD 動作確認レポート等を掲載
コンテンツに進む
08-SEP-08, revised 10-MAR-09
 この資料は、共有 FCストレージにマルチパス構成の MSA2012fcを使用した ProLiantサーバに SUSE Linux Enterprise Server 10 SP1/x86と LifeKeeper 6.2をインストールするためのガイドです。
 
caution  当資料が対象とするバージョン以外のOS、Device Mapper Multipath、Lifekeeper等をご使用の場合は、インストールや設定の手順が異なる場合があります。その場合は、ご使用のバージョンのマニュアルやRelese Note等に記載された手順に従ってください。

環境

 実際に使用した環境は、以下になります。
1) H/W環境
 
  • サーバ:ProLiant BL460c
  • CPU:Dual-Core Intel Xeon, 3GHz × 2(SMP構成)
  • メモリ:4096 MB
  • RAIDコントローラ:SmartArray E200i
  • ファイバチャネルアダプタ:QLogic QMH2462 4Gb FC HBA × 1個
  • ストレージシステム:MSA2012fc
  • ファイバチャネル集線装置:HP BladeSystem c-Class SAN スイッチ
2) S/W環境
 
  • OS:SUSE Linux Enterprise Server 10 SP1/x86 kernel 2.6.16.60-0.21-bigsmp
  • クラスタソフトウェア:LifeKeeper for Linux V6.2 および
                 Device Mapper Multipath (DMMP) Recovery Kit
  • FCデバイスドライバ:qla2x00ドライバ v8.01.07.25-2 (psp810に含まれているドライバ)
                 HP Device Mapper Enablement Kit v4.0.0
  • トポロジー: Fabric接続
3) F/W環境
 
  • MSA2012fc controller
      Code Version J200P19
  • QMH2462 adapter 1.26
 なお、今回は2台のサーバでクラスタを構成しましたが、各ノードとも、環境は同一です。

注意事項

  マルチパス構成時の高負荷について
   FC経路のフェイルオーバー中に高負荷がかかると、LifeKeeperのハートビート通信に遅延が生じ、ハートビート全断線をきっかけとしたノード障害を検知し、フェイルオーバーが発生する場合があります。この高負荷が頻発するようなシステムにおいて、LifeKeeper側での対応としてハートビート断線検知までの間隔を伸ばすという回避策があげられます。/etc/default/LifeKeeperファイルの LifeKeeperパラメータ LCMNUMHBEATSの値を大きくして、ハートビートの間隔を長くしてください。例えば、デフォルト値は3ですが16に変更すると、ノードダウンと判断されるまでの間隔は15秒から80秒に変更されます。両ノードで同じ設定を行い、変更値の適用には LifeKeeeperの再起動が必要となります。

設定手順

 実際の手順の全体の流れは以下になります。
1) ノード1とノード2に SUSE Linux Enterprise Server 10 SP1/x86 をインストール
2) PSP(ProLiant Support Pack)の適用
3) MSA2012fcストレージ接続・設定
4) HP Device Mapper MultiPath のインストール・設定
5) ネットワークの確立
6) /etc/fstabファイルの編集
7) LifeKeeper for Linux v6.2 のインストール
8) LifeKeeperの起動
9) クラスタ設定、Volume(MSA2012fc)リソースの設定
 それぞれの項目の具体的な内容は以下の通りです。
 1) ノード1とノード2に SUSE Linux Enterprise Server 10 SP1/x86 をインストール
   ノード1とノード2に SUSE Linux Enterprise Server 10 SP1/x86 をインストールしてください。なお、OSのインストール時、サーバ - MSA2012fc 間の FCケーブルが接続されていると、Linuxのブートローダが /dev/sdaにマッピングされて、 MSA2012fc の最初の LUNにインストールされてしまいます。そうすると、インストール終了後、ブート出来なくなるので、この時点では、サーバ - MSA2012fc 間のFCケーブルは接続しないでください。(もしくはMSA2012fcのSMU上でVolumeをマッピングしない)
 
 2) PSP(ProLiant Support Pack)の適用
   最新の PSPを適用してください。HBAドライバは "SinglePath" モード(デフォルトで選択されています)でインストールして下さい。PSPのターミナル画面から、FC HBA Driverのところで右クリックし、Configure Componentを選択し、Single Path モードになっている事を確認をして下さい。
図1. PSPのターミナル画面で右クリック
 図1, PSPのターミナル画面で右クリック
図2. FC HBAドライバのオプション画面
 図2, FC HBAドライバのオプション画面

注) PSPに含まれているドライバよりも新しいバージョンのドライバが個別に提供されている場合は、新しいバージョンのドライバを適用することを推奨します。

PSPのインストールを完了し、インストーラを終了します。1分後に自動的にリブートします。
 
 3) MSA2012fcストレージ接続・設定
   ストレージの設定を行う前に2台のサーバに接続されている HBAの Adapter Port Nameを確認しておきます。
<確認方法>
 OSブート中に、QLogicの表示が現れたら CTRL+Qを入力し、QLogicの BIOS画面を表示させる。(図3)
図3. サーバ起動時の画面
 図3, サーバ起動時の画面

 BIOS画面が表示されたら Select Host Adapter → Configuration Settings → Host Adapter Settingsで Adapter Port Nameが確認できます。この作業を繰り返し、MSAに接続するすべての Port Nameを確認します。
  • A) サーバ、ストレージ、FC スイッチの電源を OFFにし、QMH2462 HBA、MSA2012fc(SANスイッチ)を FCケーブルで接続します。

  • B) SANスイッチ、MSA2012fc、サーバの順番で電源を入れます。

  • C) ブラウザよりMSA2012fcの設定、LUNの作成などを行います。詳しくはMSA2000スタートアップガイドをご参照ください。(この作業は一台のノードで行ってください)
     ※なお、MSA2012fc の Host Port の設定ですが、今回の例のようにスイッチ接続の場合は、デフォルトの Straight-though モードを選択します。使用環境が、ダイレクト接続の場合は、Interconnected モードに変更してください。
 4) HP Device Mapper MultiPath(HP DMMP) のインストール・設定
 
  • A) 必須パッケージの準備
     HP DMMPのインストールには readline-devel と device-mapper-devel が必要になります。この2つがインストールされているかを確認し、まだインストールされていなければ、前もってインストールをします。
    # rpm -qa|grep readline-devel
    # rpm -qa|grep device-mapper-devel
     インストールされてない場合は、OSインストールメディアなどから、
    # rpm -ihv readline-devel-5.1-24.13.i586.rpm
    # rpm -ihv device-mapper-devel-1.02.13-6.9.i586.rpm

  • B) HPDM Multipath v4.0.0をインストールします。
     a. こちらよりDevice Mapper Multipath Enablement Kit for HP StorageWorks Disk Arrays v4.0.0をダウンロードします。
     b. 上記ファイルを展開します。
    # tar xvzf HPDMmultipath-4.0.0.tar.gz
    # cd HPDMmultipath-4.0.0
     インストールシェルを実行します。
    # ./INSTALL.sh
     HP Device Mapper MultiPath Ver4.0.0 - Installation Menu
      1. Install HP Device Mapper MultiPath
      2. Uninstall Multipath Utilities
      3. Exit
     Enter choice [1/2/3] : 1   ←”1”を入力
     Please read the License Agreement and hit Space to continue.
     .
     .
     .
     Checking for Build dependencies...
     Building HPDMmultipath-tools-4.0.0 ....
     Checking for previous installation. Please wait...
     Do you wish to uninstall multipath-tools-0.4.7-34.18 ?(y/n) : y
      ↑”y”を入力※device-mapper-multipath がインストールされていない時は表示されません。
     Checking for dependencies... OK
     multipath-tools-0.4.7-34.18 is Uninstalled successfully
     Do you wish to install HPDMmultipath-tools-4.0.0? (y/n) : y
      ↑”y”を入力
     Configuring multipath daemon to start at boot time.... OK
     HPDMmultipath-tools-4.0.0 is installed successfully.

  • C) OS boot時に、Device Mapper Multipathデーモンが起動する設定になっているか確認します。
    # chkconfig --list boot.multipath
    boot.multipath 0:off 1:off 2:off 3:off 4:off 5:off 6:off B:on
    # chkconfig --list boot.device-mapper
    boot.device-mapper 0:off 1:off 2:off 3:off 4:off 5:off 6:off B:on
    # chkconfig --list multipathd
    multipathd 0:off 1:off 2:off 3:on 4:off 5:on 6:off

     起動する設定になっていない場合は、設定を行います。
    # chkconfig boot.multipath B
    # chkconfig boot.device-mapper B
    # chkconfig multipathd 35

  • D) Qlogic driverのparameterを変更します。/etc/modprobe.conf.localを下記のように変更します。
     options qla2xxx ql2xmaxqdepth=16 qlport_down_retry=64 ql2xloginretrycount=16 ql2xfailover=0 ql2xlbType=0 ql2xautorestore=0x0 ConfigRequired=0
         ↓
     options qla2xxx ql2xmaxqdepth=16 qlport_down_retry=10 ql2xloginretrycount=16 ql2xfailover=0 ql2xlbType=0 ql2xautorestore=0x0 ConfigRequired=0

  • E) Initial RAM Diskを更新します。
    # /opt/hp/src/hp_qla2x00src/make_initrd

  • F) OSをrebootします。
    # reboot

  • G) HPDM Multipath v4.0.0の設定ファイルをコピーします。
    # mv /etc/multipath.conf /etc/multipath.conf.original
    # cp /usr/share/doc/packages/HPDMmultipath-tools-4.0.0/multipath.conf.HPTemplate
     /etc/multipath.conf

  • H) /etc/multipath.confの「devices」 セクション内に、下記のMSA2012fc用設定を追加します。
     device {
     vendor "HP"
     product "MSA2[02]*"
     path_grouping_policy multibus
     getuid_callout "/sbin/scsi_id -g -u -s /block/%n"
     path_selector "round-robin 0"
     rr_weight uniform
     prio_callout "/bin/true"
     path_checker tur
     hardware_handler "0"
     failback immediate
     no_path_retry 12
     rr_min_io 100
     }
  •  

    以下、1ノードずつ行います。
    ノード1での作業)
  • I1) 上記の設定ファイルを有効にする為、HPDM Multipathデーモンを再起動します。  
    # /etc/init.d/multipathd restart
    # /sbin/multipath

  • J1) SMUで設定したLUNに対応したmultipath deviceが、/dev/mapper下に生成されている事を確認します。 下記はLUNを3個作成した場合の例です。  
    # ls -l /dev/mapper
    total 0
    crw------- 1 root root 10, 63 May 19 20:55 control
    brw-rw---- 1 root disk 253, 0 May 19 21:31 mpath0 ←LUN #1
    brw-rw---- 1 root disk 253, 1 May 19 21:31 mpath1 ←LUN #2
    brw-rw---- 1 root disk 253, 2 May 19 21:31 mpath2 ←LUN #3

  • K1) 各multipath device(/dev/mapper/mpath0等)毎に、2本のpath、即ち2個のblock device(/dev/sda等)で1つのpath groupが構成されている事を確認します。  
    # multipath -ll
    mpath2 (3600c0ff000d52e2652c5314801000000) dm-2 HP,MSA2012fc ←LUN #3
    [size=5.6G][features=1 queue_if_no_path][hwhandler=0]
    \_ round-robin 0 [prio=0][active] ←LUN #3のpath group
    \_ 0:0:0:3 sdc 8:32 [active][ready] ←LUN #3のpath#1
    \_ 1:0:1:3 sdf 8:80 [active][ready] ←LUN #3のpath#2
    mpath1 (3600c0ff000d528bc77c4314801000000) dm-1 HP,MSA2012fc ←LUN #2
    [size=4.7G][features=1 queue_if_no_path][hwhandler=0]
    \_ round-robin 0 [prio=0][active] ←LUN #2のpath group
    \_ 0:0:0:2 sdb 8:16 [active][ready] ←LUN #2のpath#1
    \_ 1:0:1:2 sde 8:64 [active][ready] ←LUN #2のpath#2
    mpath0 (3600c0ff000d52e26a6c3314801000000) dm-0 HP,MSA2012fc ←LUN #1
    [size=3.7G][features=1 queue_if_no_path][hwhandler=0]
    \_ round-robin 0 [prio=0][active] ←LUN #1のpath group
    \_ 0:0:0:1 sda 8:0 [active][ready] ←LUN #1のpath#1
    \_ 1:0:1:1 sdd 8:48 [active][ready] ←LUN #1のpath#2

  • L1) 各multipath deviceに対してパーティションを作成します。
    # fdisk /dev/mapper/mpath0
    # fdisk /dev/mapper/mpath1
    # fdisk /dev/mapper/mpath2
    # kpartx -a /dev/mapper/mpath0
    # kpartx -a /dev/mapper/mpath1
    # kpartx -a /dev/mapper/mpath2

  • M1) パーティションが正常に作成されているか確認します。
    # ls -l /dev/mapper
     total 0
     crw------- 1 root root 10, 63 May 19 20:55 control
     brw-rw---- 1 root disk 253, 0 May 19 21:31 mpath0
     brw-rw---- 1 root disk 253, 4 May 20 11:25 mpath0p1
     brw-rw---- 1 root disk 253, 1 May 19 21:31 mpath1
     brw-rw---- 1 root disk 253, 5 May 20 11:25 mpath1p1
     brw-rw---- 1 root disk 253, 2 May 19 21:31 mpath2
     brw-rw---- 1 root disk 253, 3 May 20 11:25 mpath2p1

  • N1) 該当デバイスに対してファイルシステムを作成します。下記はext3 ファイルシステムを作成する例です。
    # mkfs.ext3 /dev/mapper/mpath0p1
    # mkfs.ext3 /dev/mapper/mpath1p1
    # mkfs.ext3 /dev/mapper/mpath2p1
     以下、デバイスの動作確認を行います。

  • O1) マウント先のディレクトリを作成します。
    # mkdir /mnt1 /mnt2 /mnt3

  • P1) パーティションをmountし、正常にマウント出来る事を確認します。
    # mount /dev/mapper/mpath0p1 /mnt1
    # mount /dev/mapper/mpath1p1 /mnt2
    # mount /dev/mapper/mpath2p1 /mnt3

  • Q1) 正常にファイルを作成できることを確認します。
    # vi /mnt1/test1
    # vi /mnt2/test2
    # vi /mnt3/test3

  • R1) 動作確認終了後はアンマウントしておきます。
    # umount /mnt1
    # umount /mnt2
    # umount /mnt3

  • 以下、ノード2での作業)
  • I2) 上記の設定ファイルを有効にする為、HPDM Multipathを再起動します。
    # /etc/init.d/multipathd restart
    # /sbin/multipath

  • J2) 1ノード目で作成したパーティションのデバイスファイルを作成します。
    # kpartx -a /dev/mapper/mpath0
    # kpartx -a /dev/mapper/mpath1
    # kpartx -a /dev/mapper/mpath2

  • K2) デバイスファイルが作成されたことを確認します。
    # ls -l /dev/mapper
     total 0
     crw------- 1 root root 10, 63 May 19 20:55 control
     brw-rw---- 1 root disk 253, 0 May 19 21:31 mpath0
     brw-rw---- 1 root disk 253, 4 May 20 11:25 mpath0p1
     brw-rw---- 1 root disk 253, 1 May 19 21:31 mpath1
     brw-rw---- 1 root disk 253, 5 May 20 11:25 mpath1p1
     brw-rw---- 1 root disk 253, 2 May 19 21:31 mpath2
     brw-rw---- 1 root disk 253, 3 May 20 11:25 mpath2p1


  • 以下、デバイスの動作確認を行います。
  • L2) マウント先のディレクトリを作成します。
    # mkdir /mnt1 /mnt2 /mnt3

  • M2) パーティションをmountし、正常にマウント出来る事を確認します。
    # mount /dev/mapper/mpath0p1 /mnt1
    # mount /dev/mapper/mpath1p1 /mnt2
    # mount /dev/mapper/mpath2p1 /mnt3

  • N2) 先ほど、ノード1で作ったファイルが正常に見える事を確認します。
    # more /mnt1/test1
    # more /mnt2/test2
    # more /mnt3/test3

  • O2) 動作確認終了後はアンマウントしておきます。
    # umount /mnt1
    # umount /mnt2
    # umount /mnt3
 5) ネットワークの確立
   両ノードともに、/etc/hosts ファイルに両ノードのIPアドレス(サービス用とハートビート用どちらも)のエントリを加えます。すべての名前に対して、両ノードから ping が通る事を確認します。
/etc/hosts の例
127.0.0.1 localhost.localdomain localhost
192.168.0.101 node1.localdomain node1
192.168.0.102 node2.localdomain node2
192.168.1.101 node1-hb.localdomain node1-hb
192.168.1.102 node2-hb.localdomain node2-hb
 
 6) /etc/fstabファイルの編集
   /etc/fstab ファイルにラベル名を使用している場合は、ブロックデバイス名に変更します。 LifeKeeper では /etc/fstab 中にラベル名を使用すると共有ディスクが極端に多い大規模システムの場合、パフォーマンスに問題が生じる事がある為、 /etc/fstab 内では、ラベル名では無く、ブロックデバイス名を使用する事が推奨されています。
変更前
LABEL=/ / ext3 defaults 1 1
LABEL=/boot /boot ext3 defaults 1 2
none /dev/pts devpts gid=5,mode=620 0 0
none /proc proc defaults 0 0
none /dev/shm tmpfs defaults 0 0
/dev/cciss/c0d0p3 swap swap defaults 0 0
/dev/cdrom /mnt/cdrom udf,iso9660 noauto,owner,kudzu,ro 0 0
/dev/fd0 /mnt/floppy auto noauto,owner,kudzu 0 0

変更後
/dev/cciss/c0d0p2 / ext3 defaults 1 1
/dev/cciss/c0d0p1 /boot ext3   defaults 1 2
none /dev/pts devpts   gid=5,mode=620 0 0
none /proc proc   defaults 0 0
none /dev/shm tmpfs   defaults 0 0
/dev/cciss/c0d0p3 swap swap   defaults 0 0
/dev/cdrom /mnt/cdrom udf,iso9660 noauto,owner,kudzu,ro 0 0
/dev/fd0 /mnt/floppy auto noauto,owner,kudzu 0 0

 7) LifeKeeper for Linux v6.2 のインストール
 
  • A) CDROMドライブに LifeKeeper Core CDを挿入し、適当なディレクトリにマウントします。
    # mount /dev/cdrom /mnt

  • B) インストールサポートスクリプトの実行
    # cd /mnt/Install
    # ./setup
    対話式に質問してきますが、すべて[Enter]で進みます。

  • C) LifeKeeper の Coreパッケージをインストールします。
    a. Coreパッケージをインストールします。
    # cd /mnt/Core
    # rpm -ivh *.rpm

    b. Coreパッケージがインストールされたか確認します。
    # rpm -qa|grep steeleye
    steeleye-lkSuSE-6.2.0-9
    steeleye-lk-jp-6.2.0-5
    steeleye-lkMAN-6.2.0-5
    steeleye-lkLIC-6.2.0-9
    steeleye-lkGUI-6.2.0-5
    steeleye-lkIP-6.2.0-5
    steeleye-lkRAW-6.2.0-5
    steeleye-lkHLP-6.2.0-5

  • D) Life Keeper の Device Mapper Multipath Recovery Kit(DMMP ARK)をインストールします。
    # cd /mnt/Recovery_Kits
    # rpm -ihv steeleye-lkDMMP-6.2.0-2.noarch.rpm
    完了後、インストールされたか確認します。
    # rpm -qa|grep lkDMMP
    steeleye-lkDMMP-6.2.0-2

  • E) LifeKeeperのロケール設定
    LifeKeeperの ロケールを設定します。
    # vi /etc/default/LifeKeeper
    LANG=ja_JP.UTF-8
    LC_ALL=ja_JP.UTF-8
    の二行を記載します。
    * LANG値は LifeKeeperをインストールしたときのシステムロケールが既存でセットされているので、通常は LC_ALL値のみ追記します。
    * LANG値と LC_ALL値は同じ日本ロケールをセットします。

  • F) ライセンスキーの登録
    lkkeyins コマンドで Core パッケージと DMMP ARK のライセンスキーをインストールします。
    # /opt/LifeKeeper/bin/lkkeyins

  • G) 環境変数の設定
    環境変数 PATHおよび MANPATHを以下のように設定しておくと便利です。
    PATH=$PATH:/opt/LifeKeeper/bin
    MANPATH=$MANPATH:/opt/LifeKeeper/man
 8) LifeKeeperの起動
 
 LifeKeeperを起動するために、両ノードで以下のことを実行してください。
  • A) LifeKeeperを起動します。
    # /opt/LifeKeeper/bin/lkstart
    ※下記のエラーがでますが、問題はありません。
    package steeleye-lk is not installed
    (suse 10)

  • B) LifeKeeper GUI server を起動します。
    # /opt/LifeKeeper/bin/lkGUIserver start

  • C) LifeKeeperデーモンが起動されたか psコマンドで確認します。
    # ps -ef | grep LifeKeeper

  • D) 以下のように表示されれば OK です。
    root 8770 1 0 10:27 ? 00:00:00 /opt/LifeKeeper/bin/lcm
    root 8771 1 0 10:27 ? 00:00:00 /opt/LifeKeeper/bin/ttymonlcm
    root   8772   1   0 10:27 ? 00:00:00 /opt/LifeKeeper/bin/lcd
    root   8773   1   0 10:27 ? 00:00:00 /opt/LifeKeeper/bin/lkcheck
    root   8775   1   0 10:27 ? 00:00:00 /opt/LifeKeeper/bin/lkscsid
    root   8778   1   0 10:27 ? 00:00:00 /bin/sh /opt/LifeKeeper/bin/runGuiServer
    root   9056   8778   6 10:27 ? 00:00:00 java -Xint -Xss3M -DS_LK=true
    -Djava.rmi.server.hostname=node1.localdomain
    -Dcom.steeleye.LifeKeeper.rmiPort=82
    -Dcom.steeleye.LifeKeeper.LKROOT=/opt/LifeKeeper
    -DGUI_RMI_REGISTRY=internal -DGUI_WEB_PORT=81
    com.steeleye.LifeKeeper.beans.S_LK
    root   9677   6884   0 10:28 pts/1 00:00:00 grep LifeKeeper
    root   25790   1   0 Jul25 ? 00:00:00 /opt/LifeKeeper/bin/lk_logmgr -l/opt/LifeKeeper/out -d/etc/default/LifeKeeper
 9) クラスタ設定、Volume(MSA2012fc)リソースの設定
 
 LifeKeeper GUIからクラスタの設定を行います。以下の作業は、ノード1でのみ行います。
今回の構成では、LifeKeeper GUIのクライアント/サーバは同一マシンです。X Windowが上がっていない場合は、startx コマンドなどで、X Window をあげてから作業をします。
  • A) MSA2012fc の Volume パーティションをマウントします。
    # mount /dev/mapper/mpath0p1 /mnt1
    # mount /dev/mapper/mpath1p1 /mnt2
    # mount /dev/mapper/mpath2p1 /mnt3

  • B) LifeKeeper GUIを起動します。X Window上から以下のコマンドを実行。
    # /opt/LifeKeeper/bin/lkGUIapp &

  • C) クラスタの作成
     ノード2とコミュニケーションパスをはり、クラスタを構築します。Edit > Server > Create Comm Path から 2本のコミュニケーションパスをノード2とはり、クラスタを構築します。

  • D) Volumeリソースの作成
     DMMP 環境でも、DMMP ARK インストール後は、通常の FileSystem リソース作成と同手順で、DMMP の共有ディスクリソースが作成可能です。
    Edit > Server > Create Resource Hierarchy.. を選びます。
    Select Recovery Kit で File system を選びます。正常にインストール及び、マウントされている場合は、 Mount Point 項目で、マルチパスデバイスがマウントされているディレクトリが表示され、Wizardを進んでいくと、リソースが作成されます。
    例のように3つの共有ディスクがある場合は、3回、この作業を繰り返し、リソースを作成します。
印刷用画面へ印刷用画面へ
プライバシー ご利用条件・免責事項