[TOC] 本文介绍kubernetes如何基于对象存储（minio）创建PV与PVC ### **前置条件** 准备两台主机，如下： * 192.168.92.102：Minio节点，用来安装Minio * 192.168.92.103：K8S集群Master节点，已安装好K8S集群，节点信息如下 ``` $ kubectl get node -o wide NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME 192.168.92.103 Ready master 62m v1.17.3 192.168.92.103 <none> CentOS Linux 7 (Core) 4.19.12-1.el7.elrepo.x86_64 docker://19.3.12 ``` ### **安装Minio（在102主机上操作）** 下载minio ``` $ wget https://dl.min.io/server/minio/release/linux-amd64/minio ``` 启动，配置数据存放目录为`/minio`，登录的用户名密码为`admin/password`，控制台监听端口为9001（API默认监听端口为9000） ``` $ MINIO_ROOT_USER=admin MINIO_ROOT_PASSWORD=password ./minio server /minio --console-address ":9001" API: http://192.168.92.102:9000 http://127.0.0.1:9000 RootUser: admin RootPass: password Console: http://192.168.92.102:9001 http://127.0.0.1:9001 RootUser: admin RootPass: password Command-line: https://docs.min.io/docs/minio-client-quickstart-guide $ mc alias set myminio http://192.168.92.102:9000 admin password Documentation: https://docs.min.io ``` 然后，使用 http://x.x.x.x:9001 即可登录minio的页面  创建一个ServiceAccount，把它记录下来，下面会用到  ### **安装csi-s3插件（在103主机上操作）** 首先我们把插件的yaml文件都下载下来，为了保证版本测试的一致性，我们下载v1.2.0-rc.1这个Tag ``` $ wget https://github.com/ctrox/csi-s3/archive/refs/tags/v1.2.0-rc.1.zip ``` 解压，会得到目录`csi-s3-1.2.0-rc.1` ``` $ unzip v1.2.0-rc.1.zip $ ls csi-s3-1.2.0-rc.1 v1.2.0-rc.1.zip ``` 接着，我们安装插件 ``` $ cd csi-s3-1.2.0-rc.1/deploy/kubernetes $ kubectl create -f provisioner.yaml $ kubectl create -f attacher.yaml $ kubectl create -f csi-s3.yaml ``` 查看csi容器已经处地Running状态 ``` $ kubectl get pod -n kube-system -o wide | grep csi csi-attacher-s3-0 1/1 Running 0 34s 172.26.145.6 192.168.92.103 <none> <none> csi-provisioner-s3-0 2/2 Running 0 41s 172.26.145.5 192.168.92.103 <none> <none> csi-s3-pnj9s 2/2 Running 0 27s 192.168.92.103 192.168.92.103 <none> <none> ``` ### **使用** 首先我们在K8S集群中创建一个Minio的S3凭证，yaml文件如下（注意，这里secret下面用的stringData，所以下面的数据不需要经过base64编码）： **特别注意：在实验中发现，有时候provisioner容器会报Access Denied，此时把下面的端口从9001换成9000就可以了，很奇怪，但有时候9001端口也可以）** ``` apiVersion: v1 kind: Secret metadata: name: csi-s3-secret namespace: kube-system stringData: accessKeyID: YO8QWKY8KW8YERUQ2G1G secretAccessKey: SPetUDOG4BJoUJ0pZMlyaeSZQlc2AePr4YyG895p endpoint: "http://192.168.92.102:9001" region: "" ``` 接着，我们创建一个StorageClass（parameters中的命名空间为kube-system，和上面的secret要一致） ``` kind: StorageClass apiVersion: storage.k8s.io/v1 metadata: name: csi-s3 provisioner: ch.ctrox.csi.s3-driver parameters: mounter: rclone csi.storage.k8s.io/provisioner-secret-name: csi-s3-secret csi.storage.k8s.io/provisioner-secret-namespace: kube-system csi.storage.k8s.io/controller-publish-secret-name: csi-s3-secret csi.storage.k8s.io/controller-publish-secret-namespace: kube-system csi.storage.k8s.io/node-stage-secret-name: csi-s3-secret csi.storage.k8s.io/node-stage-secret-namespace: kube-system csi.storage.k8s.io/node-publish-secret-name: csi-s3-secret csi.storage.k8s.io/node-publish-secret-namespace: kube-system ``` 接着，我们创建一个PVC ``` apiVersion: v1 kind: PersistentVolumeClaim metadata: name: csi-s3-pvc namespace: default spec: accessModes: - ReadWriteOnce resources: requests: storage: 1Gi storageClassName: csi-s3 ``` 在集群中查看PV已经动态供给了，PVC为绑定状态 ``` $ kubectl get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE csi-s3-pvc Bound pvc-43022336-15e9-4abd-a702-48a75e5ff292 1Gi RWO csi-s3 35m ``` 我们再去到Minio的管理页面上看一下，已经有bucket生成  ### **参考** * https://github.com/ctrox/csi-s3/tree/v1.2.0-rc.1