现在我们先来运行一个自动扩缩容的例子进行实际的体验。
首先在系统中部署资源监控 metrics-server：
~~~bash
cd /home/shiyanlou
wget https://labfile.oss.aliyuncs.com/courses/1104/metrics-server.zip
unzip metrics-server.zip
~~~
进入 metrics-server 目录，修改`metrics-server-deployment.yaml`文件最后如下面所示：
~~~yaml
......
containers:
- name: metrics-server
#image: k8s.gcr.io/metrics-server-amd64:v0.3.4
image: mirrorgooglecontainers/metrics-server-amd64:v0.3.4
#imagePullPolicy: Always
imagePullPolicy: IfNotPresent
command:
- /metrics-server
- --kubelet-preferred-address-types=InternalIP # 使用 node 的 IP 地址连接 kubelet
- --kubelet-insecure-tls # 跳过验证 Kubelet CA 证书
volumeMounts:
- name: tmp-dir
mountPath: /tmp
~~~
应用所有的配置文件：
~~~bash
cd /home/shiyanlou/metrics-server
kubectl apply -f .
~~~
稍等几分钟，当能够成功获取 Pod 的 CPU 和 MEMORY 信息时说明 metrics-server 已经部署好：
~~~bash
$ kubectl top pods -n kube-system
NAME CPU(cores) MEMORY(bytes)
coredns-5c98db65d4-cpf7x 2m 17Mi
etcd-kube-master 13m 84Mi
kube-apiserver-kube-master 20m 222Mi
kube-controller-manager-kube-master 7m 49Mi
kube-proxy-cw9vm 1m 19Mi
kube-proxy-vdtfr 1m 16Mi
kube-proxy-w559s 1m 18Mi
kube-scheduler-kube-master 1m 17Mi
kubernetes-dashboard-5ff478f859-qt5v4 1m 20Mi
metrics-server-5b64fcd7bc-khxcl 1m 13Mi
~~~
本次实验中我们将会运行一个自定义的 hpa-example 镜像，本镜像由基础镜像 php-apache 修改制作而成，Dockerfile 的内容如下所示：
~~~yaml
FROM php:5-apache
ADD index.php /var/www/html/index.php
RUN chmod a+rx index.php
~~~
其中使用到的 index.php 页面的内容如下：
~~~php
<?php
$x = 0.0001;
for ($i = 0; $i <= 1000000; $i++) {
$x += sqrt($x);
}
echo "OK!";
?>
~~~
我们已经将这个镜像 build 并上传到仓库，大家可以通过仓库地址`registry-vpc.cn-hangzhou.aliyuncs.com/chenshi-kubernetes/hpa-example:1.0`进行使用。
使用 hpa-example 镜像运行一个 Deployment，并使用 80 端口对外提供服务：
~~~bash
$ kubectl run php-apache --image=registry-vpc.cn-hangzhou.aliyuncs.com/chenshi-kubernetes/hpa-example:1.0 --requests=cpu=200m --limits=cpu=500m --expose --port=80
service/php-apache created
deployment.apps/php-apache created
~~~
查看是否创建好：
~~~bash
# 获取到 php-apache 服务的虚拟集群 IP 地址：10.106.36.239，后面将会使用到
$ kubectl get services
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 52d
php-apache ClusterIP 10.106.36.239 <none> 80/TCP 48s
# 可以发现这个时候只运行了一个 Pod
$ kubectl get deployments
NAME READY UP-TO-DATE AVAILABLE AGE
php-apache 1/1 1 1 57s
~~~
当服务创建好以后，使用`kubectl autoscale`命令创建 Pod 水平自动伸缩，下面的命令指定了 php-apache Deployment 的 Pod 副本数量范围：最少为 1 个，最多为 10 个；同时我们指定平均 CPU 利用率为 50%，简单的说 HPA 会通过增加或是减少 Pod 的副本数量，来维持所有 Pod 的平均 CPU 利用率为 50%（前面在创建 Deployment 时指定最少的 CPU 为 200m，所以平均 CPU 的利用率为 100m）。
~~~bash
$ kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10
horizontalpodautoscaler.autoscaling/php-apache autoscaled
~~~
查看刚刚创建的 HPA：
~~~bash
# 由于目前没有向服务器发送请求，所以当前 CPU 的消耗为 0%，这里的数值为所有 Pod 的 CPU 消耗平均值
$ kubectl get hpa
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
php-apache Deployment/php-apache 0%/50% 1 10 1 69s
~~~
接下来将会增加服务的工作负荷，以此来观察 Pod 水平自动伸缩的效果。使用 busybox 镜像创建并启动一个名为 load-generator 的 Pod，并执行命令无限循环的向 php-apache 服务发送查询请求，新开一个终端执行如下命令：（可以看到每一次查询成功都会有一个 OK！输出）
~~~bash
$ kubectl run -it load-generator --image=busybox /bin/sh
/ # while true;do wget -q -O- http://10.106.36.239;done
OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!OK!
...
~~~
大概等半分钟左右，查看 php-apache HPA 的信息可以发现由于持续不断的查询请求导致 CPU 负载变高，现在已经超过定义的平均值 50% 成为 53% 了：
~~~bash
$ kubectl get hpa
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
php-apache Deployment/php-apache 53%/50% 1 10 5 9m41s
~~~
由于 CPU 平均消耗超过了预设值，这个时候就会触发 kubernetes 系统 Pod 的水平自动扩容，但是扩容范围也必须少于设定的最大值 10：
~~~bash
# 这个时候已经将 Pod 的数量从 1 扩容到 5 了
$ kubectl get deployment php-apache
NAME READY UP-TO-DATE AVAILABLE AGE
php-apache 5/5 5 5 26m
# 查看具体的 Pod 列表，可以看到新创建的 4 个 Pod 名称
$ kubectl get pods
NAME READY STATUS RESTARTS AGE
load-generator-7d549cd44-p42n5 1/1 Running 0 9m19s
php-apache-7dd4fd89d8-2m2zb 1/1 Running 0 7m18s
php-apache-7dd4fd89d8-9pztx 1/1 Running 0 7m18s
php-apache-7dd4fd89d8-k5s6x 1/1 Running 0 31m
php-apache-7dd4fd89d8-przv5 1/1 Running 0 7m18s
php-apache-7dd4fd89d8-r995w 1/1 Running 0 7m3s
~~~
现在停止服务请求的发送，在运行 busybox 镜像的终端按`Ctrl+C`停止。当请求停止，CPU 工作负载降低，这个时候就会触发 kubernetes 系统 Pod 的水平自动缩容，缩容范围也不能小于设定的最小值 1：（这个自动缩容的过程可能需要持续好几分钟的时间才能完成，请耐心等待一下才能够查看到效果。）
~~~bash
# 由于停止了请求，最终 HPA 显示的 CPU 平均负载会固定到 0%
$ kubectl get hpa
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
php-apache Deployment/php-apache 0%/50% 1 10 1 17m
# HPA 完成了自动缩容，现在 php-apache Deployment 只有一个 Pod 在运行中了，其余的四个 Pod 都被系统 kill 掉了
$ kubectl get deployment php-apache
NAME READY UP-TO-DATE AVAILABLE AGE
php-apache 1/1 1 1 33m
# 查看最终剩下的一个 Pod 的名称
$ kubectl get pods
NAME READY STATUS RESTARTS AGE
load-generator-7d549cd44-p42n5 1/1 Running 0 11m
php-apache-7dd4fd89d8-k5s6x 1/1 Running 0 32m
# 查看整个 php-apache Deployment 的 Events，可以发现 Pod 的数量变化过程为：1 -> 4 -> 5 -> 1
$ kubectl describe deployment/php-apache
...
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal ScalingReplicaSet 32m deployment-controller Scaled up replica set php-apache-7dd4fd89d8 to 1
Normal ScalingReplicaSet 8m52s deployment-controller Scaled up replica set php-apache-7dd4fd89d8 to 4
Normal ScalingReplicaSet 8m37s deployment-controller Scaled up replica set php-apache-7dd4fd89d8 to 5
Normal ScalingReplicaSet 2s deployment-controller Scaled down replica set php-apache-7dd4fd89d8 to 1
~~~
查看当前 php-apache HPA 的详细信息：
~~~bash
$ kubectl describe hpa php-apache
Name: php-apache
Namespace: default
Labels: <none>
Annotations: <none>
CreationTimestamp: Wed, 09 Oct 2019 13:37:01 +0800
Reference: Deployment/php-apache
Metrics: ( current / target )
resource cpu on pods (as a percentage of request): 0% (1m) / 50%
Min replicas: 1
Max replicas: 10
Deployment pods: 1 current / 1 desired
Conditions:
Type Status Reason Message
---- ------ ------ -------
AbleToScale True ReadyForNewScale recommended size matches current size
ScalingActive True ValidMetricFound the HPA was able to successfully calculate a replica count from cpu resource utilization (percentage of request)
ScalingLimited True TooFewReplicas the desired replica count is increasing faster than the maximum scale rate
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal SuccessfulRescale 59m horizontal-pod-autoscaler New size: 1; reason: All metrics below target
~~~
上面的整个过程就向我们完整的展示了 HPA 自动扩缩容的过程。
- Pod 基本用法
- Pod 简介
- 操作 Pod
- 创建 Pod
- 标签
- 标签选择器
- 命名空间
- 删除及更新 Pod
- 副本集(RS)、后台支撑服务集(DaemonSet)、任务(Job)
- 副本集(RS)
- 后台支撑服务集(DaemonSet)
- 任务(Job)
- 使用 ConfigMap 配置应用程序
- ConfigMap 简介
- 创建 ConfigMap 资源对象
- 通过 YAML 配置文件方式创建
- 通过 kubectl 命令行方式创建
- 通过生成器创建 ConfigMap
- 在 Pod 中使用 ConfigMap
- 通过环境变量方式使用 ConfigMap
- 通过卷挂载(volumeMount)方式使用 ConfigMap
- 使用 Secret 传递敏感数据
- Secret 简介
- 默认令牌 Secret
- 创建 Secret
- 使用 kubectl 创建 Secret
- 使用 YAML 文件手动创建 Secret
- 使用生成器创建 Secret
- 使用 Secrets
- 挂载 Secret 到 Pod 中作为卷进行使用
- 使用 Secret 作为环境变量
- 使用镜像拉取 Secret（ImagePullSecrets）
- 多容器 Pod
- 多容器 Pod 简介
- Pod 中容器间的通信
- Pod 容器共享 Volume
- 进程间通信（IPC）
- 容器间网络通信
- Scheduler
- kube-scheduler 简介
- kube-scheduler 职责及调度流程
- 常用参数
- 预选策略(Predicates Policies)
- 优选策略(Priorites Policies)
- 自定义调度器
- 使用 Deployment 进行 Pod 升级回滚
- Deployment 简介
- Deployment 的升级
- 多重更新（Rollover）
- 更新 Deployment 的标签选择器（Label Selector）
- Deployment 的回滚
- Deployment 的暂停与恢复
- Pod 扩容与缩容
- 手动扩缩容
- 自动扩缩容
- 扩缩容算法
- php-apache 自动扩缩容实例
- 配置 HPA
- v1 版本
- v2beta2 版本
- DaemonSet
- DaemonSet 简介
- 运行示例程序
- 滚动更新
- StatefulSet
- StatefulSet 简介
- 运行 nginx 实例
- 扩缩容 StatefulSet
- 更新 StatefulSet
- 删除 StatefulSet
- 非级联删除
- 级联删除
- Pod 管理策略
- Service 基本用法
- Service 简介
- Service 的类型
- 使用命令创建服务
- 使用 YAML 文件创建服务
- Service Discovery
- 环境变量
- DNS
- ClusterIP Service
- ClusterIp Service 简介
- Normal Service
- YAML 文件模板
- 服务负载分发策略 & 多端口服务 & 端口命名
- 一个简单的例子
- Headless Service
- 无 Selector 的服务
- NodePort Service
- NodePort Service 简介及实例
- 扩展：客户端直接访问 Pod
- hostPort
- hostNetwork
- Port Forward
- LoadBalancer与ExternalName
- LoadBalancer Service 简介
- LoadBalancer Service 实例
- 使用 nginx 软件手动实现负载均衡
- 由云服务商提供负载均衡器
- ExternalName Service 简介
- Ingress
- Ingress 简介
- 部署 nginx-ingress-controller
- 部署一个简单的 Nginx 实例
- 不同的 Ingress 策略配置类型
- 配置 Ingress 处理 TLS 传输