我们基本知道了Kubernetes中一些常见的资源对象，然后用一个Wordpress的例子把前面的知识点尽可能的联系起来。我们需要实现的是让Wordpress应用高度可用，滚动更新过程中服务不能中断，数据不能长时间丢失，应用负载过高时容量可以自动扩展，当然还有HTTPS访问等。这些是我们的应用程序在部署到在线环境时需要具备的一些基本功能。接下来，我们将逐步完成这些要求。
首先，要在原理,部署Wordpress应用程序，我们肯定需要知道Wordpress是如何工作的。Wordpress是一个流行的基于PHP和MySQL的开源内容管理系统，有丰富的插件和模板系统。至此，我们应该知道如何运行Wordpress，一个可以解析PHP的程序，以及MySQL数据库。如果要在Kubernetes系统中运行，肯定需要使用Docker镜像。对于Wordpress应用程序本身，它正式提供了镜像https://hub.docker.com/_/wordpress,并给出了如何运行它的说明。你可以通过一系列的环境变量来指定MySQL数据库的配置，只要配置好这些参数就可以直接运行了。我们知道Wordpress应用程序会频繁地与MySQL数据库交互。在这种情况下，使用容器将它们部署在同一个Pod下会更有效，因为Pod下的所有容器共享同一个网络名称空间。让我们在名称空间kube-example下部署我们的应用程序，因此首先创建一个名称空间：(namespace.yaml)
API版本： v1种类3360名称空间元数据3360名称3360 Kube-example然后写出Kubernetes: (deployment.yaml)下部署的资源列表
API version : apps/v1 kind : deployment metadata : name : WordPress namespace : cube-example labels : app : WordPress spec : selector : match labels : app 3360 0 metadata : labels : WordPress template 3360 app :
bsp; value: wordpress - name: mysql image: mysql:5.7 imagePullPolicy: IfNotPresent args: # 新版本镜像有更新，需要使用下面的认证插件环境变量配置才会生效 - --default_authentication_plugin=mysql_native_password - --character-set-server=utf8mb4 - --collation-server=utf8mb4_unicode_ci ports: - containerPort: 3306 name: dbport env: - name: MYSQL_ROOT_PASSWORD value: rootPassW0rd - name: MYSQL_DATABASE value: wordpress - name: MYSQL_USER value: wordpress - name: MYSQL_PASSWORD value: wordpress由于我们这里 MySQL 和 Wordpress 在同一个 Pod 下面，所以在 Wordpress 中我们指定数据库地址的时候是用的 localhost:3306，因为这两个容器已经共享同一个 network namespace 了，这点很重要，然后如果我们要想把这个服务暴露给外部用户还得创建一个 Service 或者 Ingress 对象，这里我们一步一步来，暂时先创建一个 NodePort 类型的 Service：(service.yaml)apiVersion: v1kind: Servicemetadata: name: wordpress namespace: kube-examplespec: selector: app: wordpress type: NodePort ports: - name: web port: 80 targetPort: wdport因为只需要暴露 Wordpress 这个应用，所以只匹配了一个名为 wdport 的端口，现在我们来创建上面的几个资源对象：
$ kubectl apply -f namespace.yaml$ kubectl apply -f deployment.yaml$ kubectl apply -f service.yaml接下来就是等待拉取镜像，启动 Pod:
$ kubectl get pods -n kube-exampleNAME READY STATUS RESTARTS AGEwordpress-77dcdb64c6-zdlb8 2/2 Running 0 12m$ kubectl get svc -n kube-exampleNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEwordpress NodePort 10.106.237.157 <none> 80:30892/TCP 2m2s当 Pod 启动完成后，我们就可以通过上面的 http://<任意节点IP>:30892 这个 NodePort 端口来访问应用了。我们仔细想一想这一种方式有什么问题？首先一个 Pod 中的所有容器并没有启动的先后顺序，所以很有可能当 wordpress 这个容器启动起来去连接 mysql 这个容器的时候，mysql 还没有启动起来；另外一个问题是现在我们的应用是不是只有一个副本？会有单点问题，应用的性能也是一个问题，由于 Wordpress 应用本身是无状态应用，所以这种情况下一般我们只需要多部署几个副本即可，比如这里我们在 Deployment 的 YAML 文件中加上 replicas:3 这个属性，这个时候有一个什么问题呢？由于 MySQL 是有状态应用，每一个 Pod 里面的数据库的数据都是独立的，他们并没有共享，也就是说这3个 Pod 相当于是独立的3个 Wordpress 实例，所以应该怎么办呢？拆分，把 Wordpress 和 MySQL 这两个容器部署成独立的 Pod 就可以了，这样我们只需要对 Wordpress 应用增加副本，而数据库 MySQL 还是一个实例，所有的应用都连接到这一个数据库上面，是不是就可以解决这个问题了。
高可用现在我们将 Pod 中的两个容器进行拆分，将 Wordpress 和 MySQL 分别部署，然后 Wordpress 用多个副本进行部署就可以实现应用的高可用了，由于 MySQL 是有状态应用，一般来说需要用 StatefulSet 来进行管理，但是我们这里部署的 MySQL 并不是集群模式，而是单副本的，所以用 Deployment 也是没有问题的，当然如果要真正用于生产环境还是需要集群模式的：（mysql.yaml）
apiVersion: v1kind: Servicemetadata: name: wordpress-mysql namespace: kube-example labels: app: wordpressspec: ports: - port: 3306 targetPort: dbport selector: app: wordpress tier: mysql---apiVersion: apps/v1kind: Deploymentmetadata: name: wordpress-mysql namespace: kube-example labels: app: wordpress tier: mysqlspec: selector: matchLabels: app: wordpress tier: mysql template: metadata: labels: app: wordpress tier: mysql spec: containers: - name: mysql image: mysql:5.7 imagePullPolicy: IfNotPresent args: # 新版本镜像有更新，需要使用下面的认证插件环境变量配置才会生效 - --default_authentication_plugin=mysql_native_password - --character-set-server=utf8mb4 - --collation-server=utf8mb4_unicode_ci ports: - containerPort: 3306 name: dbport env: - name: MYSQL_ROOT_PASSWORD value: rootPassW0rd - name: MYSQL_DATABASE value: wordpress - name: MYSQL_USER value: wordpress - name: MYSQL_PASSWORD value: wordpress我们这里给 MySQL 应用添加了一个 Service 对象，是因为 Wordpress 应用需要来连接数据库，之前在同一个 Pod 中用 localhost 即可，现在需要通过 Service 的 DNS 形式的域名进行连接。直接创建上面资源对象：
$ kubectl apply -f mysql.yaml service/wordpress-mysql createddeployment.apps/wordpress-mysql created接下来创建独立的 Wordpress 服务，对应的资源对象如下：（wordpress.yaml）
apiVersion: v1kind: Servicemetadata: name: wordpress namespace: kube-example labels: app: wordpressspec: selector: app: wordpress tier: frontend type: NodePort ports: - name: web port: 80 targetPort: wdport---apiVersion: apps/v1kind: Deploymentmetadata: name: wordpress namespace: kube-example labels: app: wordpress tier: frontendspec: replicas: 3 selector: matchLabels: app: wordpress tier: frontend template: metadata: labels: app: wordpress tier: frontend spec: containers: - name: wordpress image: wordpress:5.3.2-apache ports: - containerPort: 80 name: wdport env: - name: WORDPRESS_DB_HOST value: wordpress-mysql:3306 - name: WORDPRESS_DB_USER value: wordpress - name: WORDPRESS_DB_PASSWORD value: wordpress注意这里的环境变量 WORDPRESS_DB_HOST 的值将之前的 localhost 地址更改成了上面 MySQL 服务的 DNS 地址，完整的域名应该是 wordpress-mysql.kube-example.svc.cluster.local:3306，由于这两个应该都处于同一个命名空间，所以直接简写成 wordpress-mysql:3306 也是可以的。创建上面资源对象：
$ kubectl apply -f wordpress.yaml service/wordpress createddeployment.apps/wordpress created$ kubectl get pods -l app=wordpress -n kube-exampleNAME READY STATUS RESTARTS AGEwordpress-6554f9f96c-24rl7 0/1 ContainerCreating 0 6m12swordpress-6554f9f96c-4qm5c 1/1 Running 0 6m12swordpress-6554f9f96c-wsjhh 0/1 ContainerCreating 0 6m12swordpress-mysql-8bbc78ddc-l4c28 1/1 Running 0 13m可以看到都已经是 Running 状态了，然后我们需要怎么来验证呢？是不是我们能想到的就是去访问下我们的 Wordpress 服务就可以了，我们这里还是使用的一个 NodePort 类型的 Service 来暴露服务：
$ kubectl get svc -l app=wordpress -n kube-exampleNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEwordpress NodePort 10.96.154.86 <none> 80:30012/TCP 8m15swordpress-mysql ClusterIP 10.107.5.168 <none> 3306/TCP 15m可以看到 wordpress 服务产生了一个 30012 的端口，现在我们就可以通过 http://<任意节点的NodeIP>:30012 访问我们的应用了，在浏览器中打开，如果看到 wordpress 跳转到了安装页面，证明我们的安装是正确的，如果没有出现预期的效果，那么就需要去查看下 Pod 的日志来排查问题了，根据页面提示，填上对应的信息，点击“安装”即可，最终安装成功后，我们就可以看到熟悉的首页界面了：
wordpres home
稳定性现在 Wodpress 应用已经部署成功了，那么就万事大吉了吗？如果我们的网站访问量突然变大了怎么办，如果我们要更新我们的镜像该怎么办？所以要保证我们的网站能够非常稳定的提供服务，我们做得还不够，我们可以通过做些什么事情来提高网站的稳定性呢？
避免单点故障为什么会有单点故障的问题呢？我们不是部署了多个副本的 Wordpress 应用吗？当我们设置 replicas=1 的时候肯定会存在单点故障问题，如果大于 1 但是所有副本都调度到了同一个节点的是不是同样就会存在单点问题了，这个节点挂了所有副本就都挂了，所以我们不仅需要设置多个副本数量，还需要让这些副本调度到不同的节点上，来打散避免单点故障，这个利用 Pod 反亲和性来实现了，我们可以加上如下所示的配置：
affinity: podAntiAffinity: preferredDuringSchedulingIgnoredDuringExecution: # 软策略 - weight: 1 podAffinityTerm: topologyKey: kubernetes.io/hostname labelSelector: matchExpressions: - key: app operator: In values: - wordpress这里的意思就是如果一个节点上面有 app=wordpress 这样的 Pod 的话，那么我们的 Pod 就尽可能别调度到这个节点上面来，因为我们这里的节点并不多，所以我使用的是软策略，因为如果使用硬策略的话，如果应用副本数超过了节点数就必然会有 Pod 调度不成功，如果你线上节点非常多的话（节点数大于 Pod 副本数），建议使用硬策略，更新后我们可以查看下 3 个副本被分散在了不同的节点上。
使用 PDB有些时候线上的某些节点需要做一些维护操作，比如要升级内核，这个时候我们就需要将要维护的节点进行驱逐操作，驱逐节点首先是将节点设置为不可调度，这样可以避免有新的 Pod 调度上来，然后将该节点上的 Pod 全部删除，ReplicaSet 控制器检测到 Pod 数量减少了就会重新创建一个新的 Pod，调度到其他节点上面的，这个过程是先删除，再创建，并非是滚动更新，因此更新过程中，如果一个服务的所有副本都在被驱逐的节点上，则可能导致该服务不可用。
如果服务本身存在单点故障，所有副本都在同一个节点，驱逐的时候肯定就会造成服务不可用了，这种情况我们使用上面的反亲和性和多副本就可以解决这个问题。但是如果我们的服务本身就被打散在多个节点上，这些节点如果都被同时驱逐的话，那么这个服务的所有实例都会被同时删除，这个时候也会造成服务不可用了，这种情况下我们可以通过配置 PDB（PodDisruptionBudget）对象来避免所有副本同时被删除，比如我们可以设置在驱逐的时候 wordpress 应用最多只有一个副本不可用，其实就相当于逐个删除并在其它节点上重建：（pdb.yaml）
apiVersion: policy/v1beta1kind: PodDisruptionBudgetmetadata: name: wordpress-pdb namespace: kube-examplespec: maxUnavailable: 1 selector: matchLabels: app: wordpress tier: frontend直接创建这个资源对象即可：
$ kubectl apply -f pdb.yaml poddisruptionbudget.policy/wordpress-pdb created$ kubectl get pdb -n kube-exampleNAME MIN AVAILABLE MAX UNAVAILABLE ALLOWED DISRUPTIONS AGEwordpress-pdb N/A 1 1 10s关于 PDB 的更多详细信息可以查看官方文档：https://kubernetes.io/docs/tasks/run-application/configure-pdb/。
健康检查我们的应用现在还有一个非常重要的功能没有提供，那就是健康检查，我们知道健康检查是提高应用健壮性非常重要的手段，当我们检测到应用不健康的时候我们希望可以自动重启容器，当应用还没有准备好的时候我们也希望暂时不要对外提供服务，所以我们需要添加我们前面经常提到的 liveness probe 和 rediness probe 两个健康检测探针，检查探针的方式有很多，我们这里当然可以认为如果容器的 80 端口可以成功访问那么就是健康的，对于一般的应用提供一个健康检查的 URL 会更好，这里我们添加一个如下所示的可读性探针，为什么不添加存活性探针呢？这里其实是考虑到线上错误排查的一个问题，如果当我们的应用出现了问题，然后就自动重启去掩盖错误的话，可能这个错误就会被永远忽略掉了，所以其实这是一个折衷的做法，不使用存活性探针，而是结合监控报警，保留错误现场，方便错误排查，但是可读写探针是一定需要添加的：
readinessProbe: tcpSocket: port: 80 initialDelaySeconds: 5 periodSeconds: 5增加上面的探针，每 5s 检测一次应用是否可读，这样只有当 readinessProbe 探针检测成功后才表示准备好接收流量了，这个时候才会更新 Service 的 Endpoints 对象。
服务质量 QoSQoS 是 Quality of Service 的缩写，即服务质量。为了实现资源被有效调度和分配的同时提高资源利用率，Kubernetes 针对不同服务质量的预期，通过 QoS 来对 Pod 进行服务质量管理。对于一个 Pod 来说，服务质量体现在两个具体的指标：CPU 和内存。当节点上内存资源紧张时，Kubernetes 会根据预先设置的不同 QoS 类别进行相应处理。
QoS 主要分为 Guaranteed、Burstable 和 Best-Effort三类，优先级从高到低。我们先分别来介绍下这三种服务类型的定义。
Guaranteed(有保证的)属于该级别的 Pod 有以下两种：
Pod 中的所有容器都且仅设置了 CPU 和内存的 limitsPod 中的所有容器都设置了 CPU 和内存的 requests 和 limits ，且单个容器内的requests==limits（requests不等于0）Pod 中的所有容器都且仅设置了 limits，如下所示：
containers: - name: foo resources: limits: cpu: 10m memory: 1Gi - name: bar resources: limits: cpu: 100m memory: 100MiPod 中的所有容器都设置了 requests 和 limits，且单个容器内的 requests==limits 的情况：
containers: - name: foo resources: limits: cpu: 10m memory: 1Gi requests: cpu: 10m memory: 1Gi - name: bar resources: limits: cpu: 100m memory: 100Mi requests: cpu: 100m memory: 100Mi容器 foo 和 bar 内 resources 的 requests 和 limits 均相等，该 Pod 的 QoS 级别属于 Guaranteed。
Burstable(不稳定的)Pod 中只要有一个容器的 requests 和 limits 的设置不相同，那么该 Pod 的 QoS 即为 Burstable。如下所示容器 foo 指定了 resource，而容器 bar 未指定：
containers: - name: foo resources: limits: cpu: 10m memory: 1Gi requests: cpu: 10m memory: 1Gi - name: bar容器 foo 设置了内存 limits，而容器 bar 设置了CPU limits：
containers: - name: foo resources: limits: memory: 1Gi - name: bar resources: limits: cpu: 100m需要注意的是如果容器指定了 requests 而未指定 limits，则 limits 的值等于节点资源的最大值，如果容器指定了 limits 而未指定 requests，则 requests 的值等于 limits。
Best-Effort(尽最大努力)如果 Pod 中所有容器的 resources 均未设置 requests 与 limits，该 Pod 的 QoS 即为 Best-Effort。如下所示容器 foo 和容器 bar 均未设置requests 和 limits：
containers: - name: foo resources: - name: bar resources:资源回收策略Kubernetes 通过 CGroup 给 Pod设置 QoS 级别，当资源不足时会优先 kill 掉优先级低的 Pod，在实际使用过程中，通过 OOM 分数值来实现，OOM 分数值范围为 0-1000，OOM 分数值根据 OOM_ADJ参数计算得出。
对于 Guaranteed 级别的 Pod，OOM_ADJ 参数设置成了-998，对于 Best-Effort 级别的 Pod，OOM_ADJ 参数设置成了1000，对于 Burstable 级别的 Pod，OOM_ADJ 参数取值从 2 到 999。
QoS Pods 被 kill 掉的场景和顺序如下所示：
Best-Effort Pods：系统用完了全部内存时，该类型 Pods 会最先被 kill 掉Burstable Pods：系统用完了全部内存，且没有 Best-Effort 类型的容器可以被 kill 时，该类型的 Pods 会被 kill 掉Guaranteed Pods：系统用完了全部内存，且没有 Burstable 与 Best-Effort 类型的容器可以被 kill 时，该类型的 pods 会被 kill 掉所以如果资源充足，可将 QoS Pods 类型设置为 Guaranteed，用计算资源换业务性能和稳定性，减少排查问题时间和成本。如果想更好的提高资源利用率，业务服务可以设置为 Guaranteed，而其他服务根据重要程度可分别设置为 Burstable 或 Best-Effort，这就要看具体的场景了。
比如我们这里如果想要尽可能提高 Wordpress 应用的稳定性，我们可以将其设置为 Guaranteed 类型的 Pod，我们现在没有设置 resources 资源，所以现在是 Best-Effort 类型的 Pod。
现在如果要想给应用设置资源大小，就又有一个问题了，应该如何设置合适的资源大小呢？其实这就需要我们对自己的应用非常了解才行了，一般情况下我们可以先不设置资源，然后可以根据我们的应用的并发和访问量来进行压力测试，基本上可以大概计算出应用的资源使用量，我们这里可以使用 Apache Bench（AB Test） 或者 Fortio（Istio 测试工具） 这样的测试工具来测试，我们这里使用 Fortio 这个测试工具，比如每秒 1000 个请求和 8 个并发的连接的测试命令如下所示：
$ fortio load -a -c 8 -qps 1000 -t 60s "http://k8s.qikqiak.com:30012"Starting at 1000 qps with 8 thread(s)
fortio result
在测试期间我们可以用如下所示的命令查看应用的资源使用情况：
$ kubectl top pods -l app=wordpress -n kube-exampleNAME CPU(cores) MEMORY(bytes)wordpress-5cc66f986b-2jv7h 569m 72Miwordpress-5cc66f986b-nf79l 997m 71Miwordpress-d4c885d5d-gtvhd 895m 87Mi我们可以看到内存基本上都是处于 100Mi 以内，而 CPU 消耗就非常大了，但是由于 CPU 是可压缩资源，也就是说超过了限制应用也不会挂掉的，只是会变慢而已。所以我们这里可以给 Wordpress 应用添加如下所示的资源配置，如果你集群资源足够的话可以适当多分配一些资源：
resources: limits: cpu: 200m memory: 100Mi requests: cpu: 200m memory: 100Mi滚动更新Deployment 控制器默认的就是滚动更新的更新策略，该策略可以在任何时间点更新应用的时候保证某些实例依然可以正常运行来防止应用 down 掉，当新部署的 Pod 启动并可以处理流量之后，才会去杀掉旧的 Pod。在使用过程中我们还可以指定 Kubernetes 在更新期间如何处理多个副本的切换方式，比如我们有一个3副本的应用，在更新的过程中是否应该立即创建这3个新的 Pod 并等待他们全部启动，或者杀掉一个之外的所有旧的 Pod，或者还是要一个一个的 Pod 进行替换？
如果我们从旧版本到新版本进行滚动更新，只是简单的通过输出显示来判断哪些 Pod 是存活并准备就绪的，那么这个滚动更新的行为看上去肯定就是有效的，但是往往实际情况就是从旧版本到新版本的切换的过程并不总是十分顺畅的，应用程序很有可能会丢弃掉某些客户端的请求。比如我们在 Wordpress 应用中添加上如下的滚动更新策略，随便更改以下 Pod Template 中的参数，比如容器名更改为 blog：
strategy: type: RollingUpdate rollingUpdate: maxSurge: 1 maxUnavailable: 0然后更新应用，同时用 Fortio 工具在滚动更新过程中来测试应用是否可用：
$ kubectl apply -f wordpress.yaml$ fortio load -a -c 8 -qps 1000 -t 60s "http://k8s.qikqiak.com:30012"Starting at 1000 qps with 8 thread(s)
失败原因我们这里通过 NodePort 去访问应用，实际上也是通过每个节点上面的 kube-proxy 通过更新 iptables 规则来实现的。
kubernetes kube-proxy
Kubernetes 会根据 Pods 的状态去更新 Endpoints 对象，这样就可以保证 Endpoints 中包含的都是准备好处理请求的 Pod。一旦新的 Pod 处于活动状态并准备就绪后，Kubernetes 就将会停止就的 Pod，从而将 Pod 的状态更新为 “Terminating”，然后从 Endpoints 对象中移除，并且发送一个 SIGTERM 信号给 Pod 的主进程。SIGTERM 信号就会让容器以正常的方式关闭，并且不接受任何新的连接。Pod 从 Endpoints 对象中被移除后，前面的负载均衡器就会将流量路由到其他（新的）Pod 中去。因为在负载均衡器注意到变更并更新其配置之前，终止信号就会去停用 Pod，而这个重新配置过程又是异步发生的，并不能保证正确的顺序，所以就可能导致很少的请求会被路由到已经终止的 Pod 上去了，也就出现了上面我们说的情况。
零宕机那么如何增强我们的应用程序以实现真正的零宕机迁移更新呢？
首先，要实现这个目标的先决条件是我们的容器要正确处理终止信号，在 SIGTERM 信号上实现优雅关闭。下一步需要添加 readiness 可读探针，来检查我们的应用程序是否已经准备好来处理流量了。为了解决 Pod 停止的时候不会阻塞并等到负载均衡器重新配置的问题，我们还需要使用 preStop 这个生命周期的钩子，在容器终止之前调用该钩子。
生命周期钩子函数是同步的，所以必须在将最终停止信号发送到容器之前完成，在我们的示例中，我们使用该钩子简单的等待，然后 SIGTERM 信号将停止应用程序进程。同时，Kubernetes 将从 Endpoints 对象中删除该 Pod，所以该 Pod 将会从我们的负载均衡器中排除，基本上来说我们的生命周期钩子函数等待的时间可以确保在应用程序停止之前重新配置负载均衡器：
readinessProbe: # ...lifecycle: preStop: exec: command: <"/bin/bash", "-c", "sleep 20">我们这里使用 preStop 设置了一个 20s 的宽限期，Pod 在真正销毁前会先 sleep 等待 20s，这就相当于留了时间给 Endpoints 控制器和 kube-proxy 更新去 Endpoints 对象和转发规则，这段时间 Pod 虽然处于 Terminating 状态，即便在转发规则更新完全之前有请求被转发到这个 Terminating 的 Pod，依然可以被正常处理，因为它还在 sleep，没有被真正销毁。
现在，当我们去查看滚动更新期间的 Pod 行为时，我们将看到正在终止的 Pod 处于 Terminating 状态，但是在等待时间结束之前不会关闭的，如果我们使用 Fortio 重新测试下，则会看到零失败请求的理想状态。
HPA现在应用是固定的3个副本，但是往往在生产环境流量是不可控的，很有可能一次活动就会有大量的流量，3个副本很有可能抗不住大量的用户请求，这个时候我们就希望能够自动对 Pod 进行伸缩，直接使用前面我们学习的 HPA 这个资源对象就可以满足我们的需求了。
直接使用kubectl autoscale命令来创建一个 HPA 对象
$ kubectl autoscale deployment wordpress --namespace kube-example --cpu-percent=20 --min=3 --max=6horizontalpodautoscaler.autoscaling/hpa-demo autoscaled$ kubectl get hpa -n kube-exampleNAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGEwordpress Deployment/wordpress <unknown>/20% 3 6 0 13s此命令创建了一个关联资源 wordpress 的 HPA，最小的 Pod 副本数为3，最大为6。HPA 会根据设定的 cpu 使用率（20%）动态的增加或者减少 Pod 数量。同样，使用上面的 Fortio 工具来进行压测一次，看下能否进行自动的扩缩容：
$ fortio load -a -c 8 -qps 1000 -t 60s "http://k8s.qikqiak.com:30012"在压测的过程中我们可以看到 HPA 的状态变化以及 Pod 数量也变成了6个：
$ kubectl get hpa -n kube-exampleNAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGEwordpress Deployment/wordpress 98%/20% 3 6 6 2m40s$ kubectl get pods -n kube-example NAME READY STATUS RESTARTS AGEwordpress-79d756cbc8-f6kfm 1/1 Running 0 21mwordpress-79d756cbc8-kspch 1/1 Running 0 32swordpress-79d756cbc8-sf5rm 1/1 Running 0 32swordpress-79d756cbc8-tsjmf 1/1 Running 0 20mwordpress-79d756cbc8-v9p7n 1/1 Running 0 32swordpress-79d756cbc8-z4wpp 1/1 Running 0 21mwordpress-mysql-5756ccc8b-zqstp 1/1 Running 0 3d19h当压测停止以后正常5分钟后就会自动进行缩容，变成最小的3个 Pod 副本。
安全性安全性这个和具体的业务应用有关系，比如我们这里的 Wordpress 也就是数据库的密码属于比较私密的信息，我们可以使用 Kubernetes 中的 Secret 资源对象来存储比较私密的信息：
$ kubectl create secret generic wordpress-db-pwd --from-literal=dbpwd=wordpress -n kube-examplesecret/wordpress-db-pwd created然后将 Deployment 资源对象中的数据库密码环境变量通过 Secret 对象读取：
env:- name: WORDPRESS_DB_HOST value: wordpress-mysql:3306- name: WORDPRESS_DB_USER value: wordpress- name: WORDPRESS_DB_PASSWORD valueFrom: secretKeyRef: name: wordpress-db-pwd key: dbpwd这样我们就不会在 YAML 文件中看到明文的数据库密码了，当然安全性都是相对的，Secret 资源对象也只是简单的将密码做了一次 Base64 编码而已，对于一些特殊场景安全性要求非常高的应用，就需要使用其他功能更加强大的密码系统来进行管理了，比如 Vault。
持久化现在还有一个比较大的问题就是我们的数据还没有做持久化，MySQL 数据库没有做，Wordpress 应用本身也没有做，这显然不是一个合格的线上应用。这里我们直接使用前面章节中创建的 rook-ceph-block 这个 StorageClass 来创建我们的数据库存储后端：(pvc.yaml)
apiVersion: v1kind: PersistentVolumeClaimmetadata: name: mysql-pvc namespace: kube-example labels: app: wordpressspec: storageClassName: rook-ceph-block accessModes: - ReadWriteOnce resources: requests: storage: 20Gi但是由于 Wordpress 应用是多个副本，所以需要同时在多个节点进行读写，也就是 accessModes 需要 ReadWriteMany 模式，而 Ceph RBD 模式是不支持 RWM 的，所以需要使用 CephFS，首先需要在 Ceph 中创建一个 Filesystem，这里我们可以通过 Rook 的 CephFilesystem 资源对象创建，如下所示：
apiVersion: ceph.rook.io/v1kind: CephFilesystemmetadata: name: myfs namespace: rook-cephspec: metadataPool: replicated: size: 3 dataPools: - replicated: size: 3 metadataServer: activeCount: 1 activeStandby: true创建完成后还会生成一个名为 myfs-data0 的存储池，也会自动生成两个 MDS 的 Pod 服务：
$ kubectl get pods -n rook-ceph |grep myfsrook-ceph-mds-myfs-a-7948557994-44c4f 1/1 Running 0 11mrook-ceph-mds-myfs-b-5976b868cc-gl86g 1/1 Running 0 11m这个时候就可以创建我们的 StorageClass 对象了：
apiVersion: storage.k8s.io/v1kind: StorageClassmetadata: name: csi-cephfsprovisioner: rook-ceph.cephfs.csi.ceph.comparameters: clusterID: rook-ceph # 上面创建的 CephFS 文件系统名称 fsName: myfs # 自动生成的 pool: myfs-data0 # Root path of an existing CephFS volume # Required for provisionVolume: "false" # rootPath: /absolute/path # The secrets contain Ceph admin credentials. These are generated automatically by the operator # in the same namespace as the cluster. csi.storage.k8s.io/provisioner-secret-name: rook-csi-cephfs-provisioner csi.storage.k8s.io/provisioner-secret-namespace: rook-ceph csi.storage.k8s.io/controller-expand-secret-name: rook-csi-cephfs-provisioner csi.storage.k8s.io/controller-expand-secret-namespace: rook-ceph csi.storage.k8s.io/node-stage-secret-name: rook-csi-cephfs-node csi.storage.k8s.io/node-stage-secret-namespace: rook-cephreclaimPolicy: RetainallowVolumeExpansion: truemountOptions:同样直接创建上面的 StorageClass 资源对象即可，现在 Wordpress 的 PVC 对象使用我们这里的 csi-cephfs 这个 StorageClass 对象：
apiVersion: v1kind: PersistentVolumeClaimmetadata: name: wordpress-pvc namespace: kube-example labels: app: wordpressspec: storageClassName: csi-cephfs accessModes: - ReadWriteMany # 由于是多个Pod所以要用 RWM resources: requests: storage: 2Gi直接创建上面的资源对象：
$ kubectl get pvc -n kube-exampleNAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGEmysql-pvc Bound pvc-93e0b186-da20-4e5e-8414-8cc73e00bf64 20Gi RWO rook-ceph-block 45mwordpress-pvc Bound pvc-87675c58-407a-4b7e-be9d-0733f67c4835 2Gi RWX csi-cephfs 5s在使用 CephFS 的过程中遇到了上面的 PVC 一直处于 Pending 状态，然后 describe 后发现有如下所示的错误信息：
从错误信息上面来看是在通过 StorageClass 去自动创建 PV 的时候就出现了问题，所以我们需要去检查 CSI 的 attach 阶段：
$ kubectl get pods -n rook-ceph |grep csi-cephfsplugin-provisionercsi-cephfsplugin-provisioner-56c8b7ddf4-4s7fd 4/4 Running 0 18mcsi-cephfsplugin-provisioner-56c8b7ddf4-55sg6 4/4 Running 0 39m然后查看这两个 Pod 的日志发现都是类似于下面的错误：
I0304 10:04:04.823171 1 leaderelection.go:246> failed to acquire lease rook-ceph/rook-ceph-cephfs-csi-ceph-comI0304 10:04:14.344109 1 leaderelection.go:350> lock is held by csi-cephfsplugin-provisioner-56c8b7ddf4-rq4t6 and has not yet expired因为我们这里有两个副本的 Provisioner，正常应该是有一个提供服务，另外一个作为备用的，通过获取到分布式锁来表示当前的 Pod 是否是 leader，这里两个 Pod 都没获取到，应该就是出现了通信问题，然后将两个 Pod 都重建后，其中一个 Pod 便获取到了 lease 对象，然后 PVC 也成功绑定上了 PV。
可以看到上面的 PVC 已经自动绑定到 PV 上面去了，这个就是上面的 StorageClass 完成的工作。然后在 Wordpress 应用上添加对 /var/www/html 目录的挂载声明：
volumeMounts: - name: wordpress-data mountPath: /var/www/htmlvolumes:- name: wordpress-data persistentVolumeClaim: claimName: wordpress-pvc在 MySQL 应用上添加对 /var/lib/mysql 目录的挂载声明：
volumeMounts: - name: mysql-data mountPath: /var/lib/mysqlvolumes:- name: mysql-data persistentVolumeClaim: claimName: mysql-pvc重新更新应用即可，在更新的过程中发现 MySQL 启动失败了，报如下所示的错误：
......
containers:- image: mysql:5.6 name: mysql imagePullPolicy: IfNotPresent args: - --character-set-server=utf8mb4 - --collation-server=utf8mb4_unicode_ci重新更新就可以正常启动了。
Ingress对于一个线上的应用对外暴露服务用一个域名显然是更加合适的，上面我们使用的 NodePort 类型的服务不适合用于线上生产环境，这里我们通过 Ingress 对象来暴露服务，由于我们使用的是 Traefik2.1 这个 Ingress 控制器，所以通过 IngressRoute 对象来暴露我们的服务，此外为了安全我们还使用了 ACME 来自动获取 https 的证书，并且通过一个中间件将 http 强制跳转到 https 服务：(ingressroute.yaml)
apiVersion: traefik.containo.us/v1alpha1kind: IngressRoutemetadata: name: wordpress-https namespace: kube-examplespec: entryPoints: - websecure routes: - match: Host(`wordpress.qikqiak.com`) kind: Rule services: - name: wordpress port: 80 tls: certResolver: ali domains: - main: "*.qikqiak.com"---apiVersion: traefik.containo.us/v1alpha1kind: Middlewaremetadata: name: redirect-https namespace: kube-examplespec: redirectScheme: scheme: https---apiVersion: traefik.containo.us/v1alpha1kind: IngressRoutemetadata: name: wordpress-http namespace: kube-examplespec: entryPoints: - web routes: - match: Host(`wordpress.qikqiak.com`) kind: Rule services: - name: wordpress port: 80 middlewares: - name: redirect-https直接创建上面的资源对象即可：
$ kubectl apply -f ingressroute.yaml ingressroute.traefik.containo.us/wordpress-https createdmiddleware.traefik.containo.us/redirect-https createdingressroute.traefik.containo.us/wordpress-http created然后对域名 wordpress.qikqiak.com 加上对应的 DNS 解析即可正常访问了，这样即使我们的数据库或者 Wordpress 应用挂掉了也不会丢失数据了，到这里就完成了我们一个生产级别应用的部署，虽然应用本身很简单，但是如果真的要部署到生产环境我们需要关注的内容就比较多了，当然对于线上应用除了上面我们提到的还有很多值得我们关注的地方，比如监控报警、日志收集等方面都是我们关注的层面，这些在后面的课程中我们再慢慢去了解。
wordpress deploy flow
