[POWERHA + AIX ] info : clstat ne fonctionne pas

 

Si clstat ne fonctionne pas sur un cluster aix, et que snmpd est correctement configuré comme noté dans le readme,  il reste la commande cldump pour connaître l’état du cluster :

monserveur1(backup de monserveur1):root:/usr/es/sbin/cluster# /usr/es/sbin/cluster/clstat -o

Failed retrieving cluster information.

There are a number of possible causes:

clinfoES or snmpd subsystems are not active.

snmp is unresponsive.

snmp is not configured correctly.

Cluster services are not active on any nodes.

Refer to the HACMP Administration Guide for more information.

Additional information for verifying the SNMP configuration on AIX 6

can be found in /usr/es/sbin/cluster/README5.5.0.UPDATE

 

La commande suivante doit fonctionner si snmpd est bien configuré :

 

monserveur1(backup de monserveur1):root:/usr/es/sbin/cluster# snmpinfo -m dump -v -o /usr/es/sbin/cluster/hacmp.defs

ibm.2.1.1.1.0 = 51218

clusterId.0 = 1281957358

clusterName.0 = "MONCLUSTER"

clusterConfiguration.0 = ""

Si Clstat et cldump ne fonctionnent toujours pas, il faut faire les manipulations suivantes :

Editer le fichier /etc/snmpdv3.conf

Aller à la fin du fichier et modifier les lignes suivantes

smux 1.3.6.1.4.1.2.3.1.2.1.2 gated_password # gated

smux 1.3.6.1.4.1.2.3.1.2.1.5 clsmuxpd_password # HACMP/ES for AIX clsmuxpd

en

smux 1.3.6.1.4.1.2.3.1.2.1.2 gated_password

smux 1.3.6.1.4.1.2.3.1.2.1.5 clsmuxpd_password

en clair : retirer les commentaries

 

D’abord, valider que la version utilisée de snmp, est bien une version v3 non encryptée :

 

ls -ail /usr/sbin/snmpd

lrwxrwxrwx 1 root system 19 Aug 14 14:43 /usr/sbin/snmpd@ -> /usr/sbin/snmpdv3ne*

 

Si, non passer en ssl v3 non encrypté, par la commande suivante :

/usr/sbin/snmp3_ssw -n

Ensuite, il faut commenter la ligne (si vous n’utilisez pas ip v6 sur le serveur) la ligne suivante dans /etc/hosts :

::1                    loopback localhost      # IPv6 loopback (lo0) name/address

 En

#::1                    loopback localhost      # IPv6 loopback (lo0) name/address

Passer enfin toutes les commandes suivantes pour relancer tous les processus concernés (ça peut etre fait à chaud)

stopsrc -s aixmibd

stopsrc -s snmpmibd

stopsrc -s hostmibd

stopsrc -s snmpd

sleep 10

startsrc -s snmpd

startsrc -s hostmibd

startsrc -s snmpmibd

startsrc -s aixmibd

sleep 10

startsrc -s clinfoES

sleep 60

lssrc -ls clstrmgrES

refresh -s clstrmgrES

attendre quelques secondes, et tenter le cldump/clstat.

 

TRUE COPY avec PowerHA sur AIX en NPIV

En cours de rédaction 

True copy on AIX with NPIV :

• Installation CCI + HACMP XD + option TC (j'ai été obligé de creer un fichier bidon pour l'install)
• Le VG partagé doit etre en mode normal, et non en concurrent (c'est logique, mais il est important de le configurer tel quel)
•  Une coupure entre les 2 sites, entraine une bascule des données sur le second site, alors meme que le premier continue la production. Il est impossible pour le cluster de faire la difference. Il est alors de la responsibilité de l'admin de repositionner la paire correctement (P-VOL / S-VOL). 
• La ressource TC est configurée en AUTO, je n'ai pas trouvé d'autre moyen de la faire basculer lors d'une coupure de serveur.

testPSI1 :

/etc/horcm0.conf

HORCM_MON

#ip_address        service         poll(10ms)     timeout(10ms)

192.168.1.1     horcm0             1000            3000

HORCM_CMD

#UnitID 0 (LDEV# * Serial# 60011)

# \\.\CMD-numerodela baie- hdisk

#

\\.\CMD-18345:/dev/rhdisk7

HORCM_LDEV

#dev_group        dev_name        serial#          CU:LDEV(LDEV#)        MU#

testPSI1_TC       dev_C007           18345                C0:07

#test2_shadow      disk1           CL4-G                0          28         0

#

HORCM_INST

#dev_group        ip_address      service

testPSI1_TC       192.168.1.2         horcm0

testPSI2 :

/etc/horcm0.conf

HORCM_MON

#ip_address        service         poll(10ms)     timeout(10ms)

192.1687.1.2             horcm0          1000              3000

HORCM_CMD

#UnitID 0 (LDEV# * Serial# 60011)

# \\.\CMD-numerodela baie- CU lDEV en decimal

#

\\.\CMD-29511:/dev/rhdisk6

HORCM_LDEV

#dev_group        dev_name        serial#          CU:LDEV(LDEV#)        MU#

testPSI1_TC       dev_C007           29511                C0:07

#test2_shadow      disk1           CL4-G                0          28         0

#

HORCM_INST

#dev_group        ip_address      service

testPSI1_TC       192.168.1.2         horcm0

sur les 2 serveurs , dans /etc/services

horcm0   66666/udp

sur testPSI1 :

/opt/CCI/HORCM/usr/bin/horcmstart.sh 0

sur testPSI2 :

/opt/CCI/HORCM/usr/bin/horcmstart.sh 0

sur testPSI1 :

/opt/CCI/HORCM/usr/bin/pairdisplay -ITC0 -g testPSI1_TC -fcx

Group   PairVol(L/R) (Port#,TID, LU),Seq#,LDEV#.P/S,Status,Fence,   %,P-LDEV# M

testPSI1_TC     dev_C007(L) (CL7-K-1, 0,   5)18345  c007.P-VOL PAIR NEVER ,  100  c007 -

testPSI1_TC     dev_C007(R) (CL3-F-1, 0,   5)29511  c007.S-VOL PAIR NEVER ,  100  c007 –

lsdev -C -c disk | grep hdisk | /opt/CCI/HORCM/usr/bin/inqraid -CLI $PHY

DEVICE_FILE     PORT    SERIAL  LDEV CTG  H/M/12  SSID R:Group PRODUCT_ID

hdisk0          -            -     -   -       -     -       - VDASD

hdisk1          -            -     -   -       -     -       - VDASD

hdisk2          -            -     -   -       -     -       - VDASD

hdisk3          -            -     -   -       -     -       - VDASD

hdisk4          -            -     -   -       -     -       - VDASD

hdisk5          -            -     -   -       -     -       - VDASD

hdisk6          -            -     -   -       -     -       - VDASD

hdisk7          CL7-K    78787 49171   -       -  A3C0 A:00050 OPEN-V-CM

hdisk8          CL7-K    78787 49159   -  P/s/ss  A3C0 A:00050 OPEN-V

paircreate -ITC0 -g testPSI1_TC -d dev_34566 -vl -f never
pairdisplay -ITC0 -g testPSI1_TC -fe
pairsplit -ITC0 -g testPSI1_TC  -S (les 2 disques passent en simplex)

root:/root# pairdisplay -ITC0 -g testPSI1_TC -fcx

Group   PairVol(L/R) (Port#,TID, LU),Seq#,LDEV#.P/S,Status,Fence,   %,P-LDEV# M

testPSI1_TC     dev_34566(L) (CL1-J-1, 0,   7)55555  8706.P-VOL PSUE NEVER ,   99  8706 -

testPSI1_TC     dev_34566(R) (CL4-P-2, 0,   7)66666  8706.S-VOL PAIR NEVER ,  100  8706 -

root:/root# pairresync -ITC0 -g testPSI1_TC

root:/root# pairdisplay -ITC0 -g testPSI1_TC -fcx

Group   PairVol(L/R) (Port#,TID, LU),Seq#,LDEV#.P/S,Status,Fence,   %,P-LDEV# M

testPSI1_TC     dev_34566(L) (CL1-J-1, 0,   7)55555  8706.P-VOL COPY NEVER ,   99  8706 -

testPSI1_TC     dev_34566(R) (CL4-P-2, 0,   7)66666  8706.S-VOL COPY NEVER ,-----  8706 -

root:/root# pairdisplay -ITC0 -g testPSI1_TC -fcx

Group   PairVol(L/R) (Port#,TID, LU),Seq#,LDEV#.P/S,Status,Fence,   %,P-LDEV# M

testPSI1_TC     dev_34566(L) (CL1-J-1, 0,   7)55555  8706.P-VOL PAIR NEVER ,  100  8706 -

testPSI1_TC     dev_34566(R) (CL4-P-2, 0,   7)66666  8706.S-VOL PAIR NEVER ,  100  8706 -

HACMP concurrent Vg synchronizing

On a HACMP/PowerHA cluster, with concurrent VG, if a filesystem is created outside HACMP, the cluster is "out of sync"... if we do a lsvg -l on both nodes, some mount point will be N/A on the remote node.

The online way to resynchronize is :

on the passive node :
varyoffvg VGname

on the active node :
/usr/es/sin/cluster/sbin/cl_updatevg -cspoc -g ResourceGroupName VGname
or via Cspoc menu -> HACMP Logical Volume Management -> synchronize a Shared VG definition

On the passive node :
varyonvg -n -c -P VGname

List PowerHA resources status

Command is under : /usr/es/sbin/cluster/utilities

Verify the PowerHa POL (Priority Override Location)

/usr/es/sbin/cluster/utilities/clRGinfo -p

Primary instance POL : must be blank

Resetted via Cspoc, should not be disruptive.

Problem determination PowerHA / HACMP

Collect logs : clsnap -d '/tmp' -p2 -n 'node1,node2'

or

snap -e

If cspoc pb : /tmp/cspoc.log <= more details

If Vg configuration is inconstitent between nodes :

1) Validate that all disks in a VG are know, on both nodes

node1 # lspv grep vg1

hdisk3 005a2b2a4dc045f3 vg1 active

hdisk4 005a2b2ab58a59b2 vg1 active

node 2 # lspv grep vg1

hdisk3 005a2b2a4dc045f3 vg1

hdisk4 is missing ....

if HACMP is > 5.4, and VG are not ehanced concurrent (which is not the case, since the vg is not "concurrent" but "active" then :

node 2 # lspv grep 005a2b2ab58a59b2

hdisk4 005a2b2ab58a59b2 None

2) Integrate it in the vg correctly

node1 # lqueryvg -p hdisk3 -T > /usr/es/sbin/cluster/etc/vg/vg1 <= this is to save the good timestamp for the cluster

node1 # varyonvg -ub vg1 <= From now on, NO MORE manipulation on vg1, on node 1, must occur...

node2 # importvg -L vg1 hdisk3

vg1

node2 # lqueryvg -p hdisk3 -T > /usr/es/sbin/cluster/etc/vg/vg1 <= This way, the timestamp is correct on both nodes.

node1 #varyonvg vg1 <= Things are back to normal, now.

This is the simplest way to refefine correctly the vg on backup node... But, this is when things are going smooth.... its not always that way....

First, if the pvid is not known on node 2... First, is it's zoning correctly defined ? if yes, you MUST have a disk in "none None" on your backup node. If you want it to be correctly defined on you second node, you must do a "rmdev/cfgmgr" while vg1 is in mode 'unlocked' on node 1, via the varyonvg -ub command.

If it has been known, and now, it is no more, it means you have 'phantom' disks. Some disks must be "Defined" on node 2, as others are defined in place, with no definition (None = no pvid none = no vg defined). The good way to define them correctly, is to remove the "None none" disk, and to "mkdev" the Defined one, again.

For the timestamp definition, since HACMP 5.4, the timestamp is synchronised via the clveryfy command.