来自公司内部php的k8s落地实战总结分享，php的k8s微服务落地可以参考下面这个博客

k8s和docker关系图

关键点如下：
docker: 虚拟机软件
k8s: 管理docker里的这个虚拟机

安装nfs服务器

systemctl stop rpcbind.socket
systemctl stop rpcbind
systemctl disable rpcbind.socket 
systemctl disable rpcbind

mkdir -p ~/nfs/files
chmod -R 777 ~/nfs/files
echo "/files *(rw,sync,no_subtree_check,fsid=0,no_root_squash)" > ~/nfs/exports.txt

docker run --name nfs -d --rm\
  -v ~/nfs/files:/files\
  -v ~/nfs/exports.txt:/etc/exports:ro\
  --cap-add SYS_ADMIN\
  -p 2049:2049   -p 2049:2049/udp   \
  -p 111:111     -p 111:111/udp     \
  -p 32765:32765 -p 32765:32765/udp \
  -p 32767:32767 -p 32767:32767/udp \
  erichough/nfs-server

使用showmount命令查看效果

docker run -d --name=rancher --restart=unless-stopped \
  -p 8080:80 -p 8443:443 \
  -v ~/rancher:/var/lib/rancher
  rancher/rancher:latest
  
docker run -d --name=rancher --restart=unless-stopped \
  -p 8080:80 -p 8443:443 \
  rancher/rancher:latest
  
docker run -d --name=rancher --restart=unless-stopped \
  -p 8080:80 -p 8443:443 \
  -v ~/rancher:/var/lib/rancher \
  rancher/rancher:stable
  
docker run -d --name=rancher --restart=unless-stopped \
  -p 8880:80 -p 8843:443 \
  -v ~/rancher:/var/lib/rancher \
  rancher/rancher:stable
  
https://172.16.123.1:8843/v3/import/v2d7znsxv8vvjzfl6gcwkglvkvnm759f98zt227h9plzm9vdwlh56g.yaml

curl --insecure -sfL https://172.16.123.1:8443/v3/import/kpb77vt4zl64bdxgz4jpxt2s2x8h94ng2tdlfqcmntv762vc4bf987.yaml | kubectl apply -f -

curl -X "POST" "http://127.0.0.1:8080/order/get-list" \
     -H 'Content-Type: application/x-www-form-urlencoded' \
     --data-urlencode "user_id=9" \
     --data-urlencode "status=1,2,3,4,5,6" \
     --data-urlencode "order_type=1"

部署流程

备份chupinxiu.com.conf配置文件

在web1上创建负载切换的lua文件：/opt/openresty-1.13.6.1/lua/php-fpm-upstream.lua

if ngx.var.project == "apipro" then
    return ngx.exec("@single")
else
    return ngx.exec("@mutiple")
end

编辑nginx配置文件: /opt/openresty-1.13.6.1/nginx/conf/vhost/chupinxiu.com.conf

配置两个php的upstream

upstream php-fpm-backend-mutiple {
    server unix:/var/run/php-fpm.sock weight=5; # web1
    server 10.135.216.41:9000 weight=5; # web2
}
upstream php-fpm-backend-single {
    server unix:/var/run/php-fpm.sock; # web1
}

为两个upstream配置两个location

    location @mutiple {
        root $dest;
        proxy_set_header Host $host;
        fastcgi_pass   php-fpm-backend-mutiple;
        fastcgi_index  index.php;
        include        fastcgi.conf;
    }

    location @single {
        root $dest;
        proxy_set_header Host $host;
        fastcgi_pass   php-fpm-backend-single;
        fastcgi_index  index.php;
        include        fastcgi.conf;
    }

normal location中使用php-fpm-upstream.lua选择upstream

    location @normal {
        content_by_lua_file    /opt/openresty-1.13.6.1/lua/php-fpm-upstream.lua;
    }

重启nginx

回滚流程

删除chupinxiu.com.conf

将chupinxiu.com.conf配置文件恢复

删除 /opt/openresty-1.13.6.1/lua/php-fpm-upstream.lua;

重启nginx

部署流程

将维护页面上传到/var/www/maintain目录，并命名为index.html，设置权限为www-data:deploy用户

备份chupinxiu.com.conf配置文件

修改chupinxiu.com.conf的location /代码段为

    location / {
        index  index.php index.html index.htm;
        try_files /index.html =404;

        # kill cache
        add_header Last-Modified $date_gmt;
        add_header Cache-Control 'no-store, no-cache, must-revalidate, proxy-revalidate, max-age=0';
        if_modified_since off;
        expires off;
        etag off;
    }

备份/opt/openresty-1.13.6.1/lua/grayroot.lua

在web1上修改设置root的lua文件：/opt/openresty-1.13.6.1/lua/grayroot.lua

local real_path = "/var/www/maintain"
return real_path

重启nginx

恢复流程

删除/opt/openresty-1.13.6.1/lua/grayroot.lua文件并从备份文件恢复

删除chupinxiu.com.conf并从备份文件恢复

重启nginx

CREATE TABLE `gray` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `project` varchar(45) NOT NULL,
  `shopId` text,
  `status` tinyint(1) unsigned NOT NULL DEFAULT '1',
  `created_at` timestamp NULL DEFAULT NULL,
  `updated_at` timestamp NULL DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8mb4;

INSERT INTO `cpx_prod`.`gray` (`id`, `project`, `shopId`, `status`, `created_at`, `updated_at`) VALUES ('2', 'kufang', '1804', '1', '2018-05-28 17:04:25', '2018-05-28 17:04:25');

灰度开发方案

1. 设计灰度表结构和存储位置
2. 设计redis键，选择灰度发布使用的redis服务器
3. 在ops平台上开发店铺灰度灰度状态管理页面
4. 使用ops现有的指定发布功能发布灰度代码
5. nginx lua根据店铺的灰度状态走不同的项目路径

灰度缓存更新

1. ops灰度系统设置了店铺灰度后更新灰度缓存
2. lua检测到redis里没有缓存key，从mysql中读取店铺灰度数据，缓存到redis中，redis使用一个key保存所有灰度店铺的id，使用json序列化

灰度代码发布

1. 灰度代码发布复用ops上的指定发布

sar -n DEV 1

比较重要的字段如下

rxpck/s：每秒钟接收的数据包
txpck/s：每秒钟发送的数据包
rxbyt/s：每秒钟接收的字节数
txbyt/s：每秒钟发送的字节数
rxcmp/s：每秒钟接收的压缩数据包
txcmp/s：每秒钟发送的压缩数据包
rxmcst/s：每秒钟接收的多播数据包