苍穹服务器启停顺序及状态检查

整体顺序：

关闭：gpaas——nginx——k8s——公共组件（zk、redis、mq、elk、文件预览）——PGmonitor——PG从——PG主——mdd——nfs

开机：nfs——nginx——公共组件（zk、redis、mq、elk、文件预览）———PGmonitor——PG主——PG从——k8s——mdd——gpaas

1、gpaas直接关机：shutdown

172.16.29.147

2、nginx检查nfs是否开机自动挂载，没有的话设置一下，直接关机：shutdown

172.16.29.142

172.16.29.141

3、k8s检查nfs是否开机自动挂载，没有的话设置一下，直接关机：shutdown

172.16.29.139

172.16.29.138

172.16.29.137

4、公共组件直接关机：shutdown

172.16.29.132

172.16.29.131

172.16.29.130

172.16.29.140

172.16.29.133

PG主从判断方法：

登录PGmonitor服务器

su - postgres

pg_autoctl show state   read-write是主库，read-only是从库

5、PGmonitor关机：systemctl stop pg_mon，shutdown

172.16.29.134

6、PG从（假定是135，以查询为准）：systemctl  stop  postgresql，shutdown

172.16.29.135

7、PG主（假定是136，以查询为准）：systemctl  stop  postgresql，shutdown

172.16.29.136

8、MDD：查看vip在哪一台上，假定是143，先停从，后停主

172.16.29.143(主)

172.16.29.144(从)

172.16.29.144(从)  执行systemctl  stop  keepalived，systemctl  disable keepalived

172.16.29.143(主)  执行systemctl  stop  keepalived

172.16.29.143(主)  执行systemctl  stop  mdd

172.16.29.144(从)  执行systemctl  stop  mdd

两台机器shutdown

9、nfs直接关机：shutdown

172.16.29.129

***************************************************************************************************************************

开机：nfs——nginx——公共组件（zk、redis、mq、elk、文件预览）———PGmonitor——PG主——PG从——k8s——mdd——gpaas

1、nfs开机，需要等nfs完全启动

172.16.29.129

2、nginx开机，检查nfs是否能自动挂载，没有挂载则手工挂载

172.16.29.142

172.16.29.141

3、公共组件直接开机，开机之后检查各服务（zk、redis、mq、elk、文件预览）状态是否正常，没问题之后继续再往下开机

172.16.29.132

172.16.29.131

172.16.29.130

172.16.29.140

172.16.29.133

zk集群：

netstat -nlp|grep 2181

/home/kingdee/common/zookeeper/zookeeper-3.5.9/bin/zkServer.sh status

redis节点和哨兵：

netstat -npl|egrep '6379|6380|6381|7505|7506|7507'

cd  /home/kingdee/common/redis/redis-5.0.13/src

./redis-cli -h 172.16.29.132 -p 6379 -a Cosmic@1358  INFO|grep role

./redis-cli -h 172.16.29.131 -p 6379 -a Cosmic@1358  INFO|grep role

./redis-cli -h 172.16.29.130 -p 6379 -a Cosmic@1358  INFO|grep role

./redis-cli -h 172.16.29.132 -p 6380 -a Cosmic@1358  INFO|grep role

./redis-cli -h 172.16.29.131 -p 6380 -a Cosmic@1358  INFO|grep role

./redis-cli -h 172.16.29.130 -p 6380 -a Cosmic@1358  INFO|grep role

./redis-cli -h 172.16.29.132 -p 6381 -a Cosmic@1358  INFO|grep role

./redis-cli -h 172.16.29.131 -p 6381 -a Cosmic@1358  INFO|grep role

./redis-cli -h 172.16.29.130 -p 6381 -a Cosmic@1358  INFO|grep role

./redis-cli -h 172.16.29.132 -p 7505 -a Cosmic@1358 info Sentinel |grep master0

./redis-cli -h 172.16.29.131 -p 7505 -a Cosmic@1358 info Sentinel |grep master0

./redis-cli -h 172.16.29.130 -p 7505 -a Cosmic@1358 info Sentinel |grep master0

./redis-cli -h 172.16.29.132 -p 7506 -a Cosmic@1358 info Sentinel |grep master0

./redis-cli -h 172.16.29.131 -p 7506 -a Cosmic@1358 info Sentinel |grep master0

./redis-cli -h 172.16.29.130 -p 7506 -a Cosmic@1358 info Sentinel |grep master0

./redis-cli -h 172.16.29.132 -p 7507 -a Cosmic@1358 info Sentinel |grep master0

./redis-cli -h 172.16.29.131 -p 7507 -a Cosmic@1358 info Sentinel |grep master0

./redis-cli -h 172.16.29.130 -p 7507 -a Cosmic@1358 info Sentinel |grep master0

rabbitmq集群：

netstat -nlp|grep 5672

rabbitmqctl cluster_status

http://172.16.29.192:8090/mq

用户：admin或者cosmic

密码：Cosmic@1358

ELK：

netstat -nltp|grep 9092

netstat -nltp|grep 9200

netstat -nltp|grep 9600

4、PG-monitor开机

172.16.29.134

5、PG主（假定是136，以查询为准）开机，查询主库状态

172.16.29.136

PG主从判断方法：

登录PGmonitor服务器

su - postgres

pg_autoctl show state   read-write是主库，read-only是从库，从库会显示异常

6、PG从（假定是135，以查询为准）开机，查询主从状态

172.16.29.135

PG主从判断方法：

登录PGmonitor服务器

su - postgres

pg_autoctl show state   read-write是主库，read-only是从库，主从同步显示正常

7、k8s开机，检查nfs是否能自动挂载，没有挂载则手工挂载

172.16.29.139

172.16.29.138

172.16.29.137

检查k8s集群pod状态：kubectl get pod -A

8、MDD开机：假定主库是143，根据关机前的情况确认

先开：172.16.29.143(主)，等待vip显示正常

后开：172.16.29.144(从)

登录web端查看是否正常

http://172.16.29.191:8080/bos-olap-webserver

http://172.16.29.143:8080/bos-olap-webserver

http://172.16.29.144:8080/bos-olap-webserver

admin/Cosmic@1358

9、gpaas开机

172.16.29.147

最后的所有服务器监控主机探针需要手动启动，这个不影响服务运行