[TOC] 本文介绍，通过 calico + multus + flannel给容器配置双网卡。 ### **环境准备** 主机两台，有双网卡，信息如下： | 主机 | ens33 | ens38 | | --- | --- | --- | | master | 192.168.92.108 | 192.168.90.108 | | node | 192.168.92.109 | 192.168.90.109 | ens33是主机的默认网卡，路由如下： ``` $ route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.92.2 0.0.0.0 UG 100 0 0 ens33 192.168.90.0 0.0.0.0 255.255.255.0 U 101 0 0 ens37 192.168.92.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33 ``` ### **预期目标** calico网络作为master plugin，走ens33网卡；flannel网络作为attachment网络，走ens37网卡，如下：  ### **步骤** 1、部署K8S集群 在部署K8S集群时，由于flannel需要指定cluster-cidr参数，所以我们要把这个参数设置成flannel的cidr 在108主机上创建如下kubeadm-init-master.yaml文件 ``` --- apiVersion: kubeadm.k8s.io/v1beta3 kind: InitConfiguration localAPIEndpoint: advertiseAddress: "192.168.92.108" nodeRegistration: name: "192.168.92.108" kubeletExtraArgs: node-ip: "192.168.92.108" --- apiVersion: kubeadm.k8s.io/v1beta3 kind: ClusterConfiguration imageRepository: registry.aliyuncs.com/google_containers kubernetesVersion: "v1.23.3" controlPlaneEndpoint: "" networking: podSubnet: "10.10.0.0/8" serviceSubnet: "10.96.0.0/16" apiServer: certSANs: [] extraArgs: service-cluster-ip-range: "10.96.0.0/16" ``` 执行命令： ``` $ kubeadm init --config kubeadm-init-master.yaml ``` 然后把109节点join到该集群中。 2、安装Calico插件 下载[calico.yaml](https://docs.projectcalico.org/v3.21/manifests/calico.yaml)文件。修改如下内容（IP_AUTODETECTION_METHOD选择使用ens33网卡的IP，IPIP我们使用CrossSubnet，设置Calico的CIDR为172.26.0.0/16)： ``` ... - name: IP value: "autodetect" - name: IP_AUTODETECTION_METHOD value: "interface=ens33" - name: CALICO_IPV4POOL_IPIP value: "CrossSubnet" ... - name: CALICO_IPV4POOL_CIDR value: "172.26.0.0/16" ... ``` 然后执行命令安装calico插件： ``` $ kubectl apply -f calico.yaml ``` 3、安装Flannel 下载[kube-flannel.yaml](https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml)文件，`Network`的值为上面的`10.10.0.0/16`，然后加上`"DirectRouting": true`一行，表示跨子网的主机之间使用vxlan，同子网主机之间使用直接路由: ``` { "Network": "10.10.0.0/16", "Backend": { "Type": "vxlan", "DirectRouting": true } } ``` 然后执行命令，安装flannel ``` $ kubectl apply -f kube-flannel.yaml ``` **特别注意：由于flannel依赖于bridge这个plugin的二进制文件，所以我们必须先从[github上的bridge项目](https://github.com/containernetworking/plugins/tree/main/plugins/main/bridge)进行构建得到二进制的bridge文件，然后拷贝到各节点的`/opt/cni/bin`目录下。** 4、安装multus 下载[multus-daemonset-thick-plugin.yaml](https://github.com/k8snetworkplumbingwg/multus-cni/blob/master/deployments/multus-daemonset-thick-plugin.yml)文件，然后在启动参数处，添加`- --iface=ens37` ``` args: - --ip-masq - --kube-subnet-mgr - --iface=ens37 ``` 然后安装 ``` $ kubectl apply -f multus-daemonset-thick-plugin.yaml ``` 5、创建NetworkAttachmentDefinition 创建文件flannel-network.yaml，内容如下： ``` apiVersion: "k8s.cni.cncf.io/v1" kind: NetworkAttachmentDefinition metadata: name: flannel spec: config: '{ "cniVersion": "0.3.0", "type": "flannel", "delegate": { "hairpinMode": true, "isDefaultGateway": false # 注意这里要设为false，否则flannel会在容器里面添加默认路由，走flannel生成的net1网卡；因为calico使用了默认网卡ens33，所以容器里面的默认路由也要走calico生成的容器网卡 } }' ``` 然后执行命令： ``` $ kubectl apply -f flannel-network.yaml ``` 6、创建Pod 接着，我们创建一个Pod ``` apiVersion: v1 kind: Pod metadata: name: samplepod annotations: k8s.v1.cni.cncf.io/networks: flannel spec: containers: - name: alpine command: ["/bin/ash", "-c", "trap : TERM INT; sleep infinity & wait"] image: alpine imagePullPolicy: IfNotPresent ``` 7、查看状态 查看各Pod都是正常运行的：  查看108主机上的路由：  查看109主机上的路由：  查看samplepod容器内的IP与路由：  8、验证 * 从主机上可以Ping通samplepod的eth0网卡IP  * 从主机上Ping不通samplepod的net1网卡IP  这是从108主机Ping 109上的这个容器时，从sample容器的net1进，但是在samplepod容器中，默认路由走了eth0网卡，所以网络不通。 * 从samplepod容器中可以Ping通跨主机的Pod（如果再建一个容器，有双网卡，Ping另一个容器的10.10的IP也能Ping通，已验证）  ### **NetworkPolicy** 略 ### **结论** 1、calico+calico不行，控制平面的组件会冲突（CR、calico-node等） 2、calico+flannel可行，但是：（1）主机只能通过容器的eth0网卡IP访问容器，无法通过net1网卡访问容器（2）flannel不支持network-policy，创建network-policy后，calico网络平面可以正常隔离，flannel的网络平面无法隔离