生产环境下，通常会将业务网和存储网进行分离，因此服务器通常会有多块网卡，在裸金属服务器初始化Kubernetes环境后，在安装网卡插件时需要指定业务网网卡名称，才能使集群应用正确的网络地址。

本文介绍使用Calico插件作为cni实现，在多网卡环境下，指定集群使用的网络。

一、系统环境

系统安装了多块网卡并配置了多个IP，管理网、业务网和存储网分离。Kubernetes已经完成了初始化。相关工作节点已加入集群。

名称版本
Kubernetes 版本1.22.15
网络插件类型/版本calico/3.24
操作系统类型/版本centos/7.9

在这里插入图片描述

其中 172.16.16.0/23 是存储网络，172.16.10.0/24 是业务网，172.16.4.0/24 是管理网。其中，kubernetes使用业务网搭建。

二、安装过程遇到的问题

现象

使用官方默认配置脚本部署完Calico网络插件后，部分节点calico-node pod无法通过健康检查,现象如下：
在这里插入图片描述

分析

在管理节点上执行命令观察pod日志：

kubectl logs -f calico-node-f458s -n kube-syste

在这里插入图片描述

通过日志可以看到，calico自动检测到IPv4的地址在接口bond3网卡: 172.16.16.26/23 上, 而不是我们期望的业务网络地址。

三、解决方法

通过一dun乱搜索，在这里找到了解决方法， kubernetes集群节点多网卡 , 于是开始尝试。

指定calico使用的网卡名称

calico-node 是 DaemonSet 管理的 Pod，默认部署在 kube-system 命名空间, 修改环境变量配置，指定网卡名称：

# 编辑calico-node ds
kubectl edit ds calico-node -n kube-system

# 新增环境变量（指定使用网卡interface=bond4）
- name: IP_AUTODETECTION_METHOD
  value: interface=bond4

在这里插入图片描述

观察日志

修改配置后，pod会重新初始化，观察pod日志：
在这里插入图片描述
IP地址已经回到172.16.10.0/24 网络。节点状态恢复正常。

四、扩展

关于 IP_AUTODETECTION_METHOD 配置

翻阅官方文档： 配置默认的IP池; 可以看到：

在这里插入图片描述
默认的IP自动检测方法是 first-found, 从字面意思看就是 首先找到的，那这有很强的随机性，也就能解释之前的现象，部分节点calico-node pod是正常的，部分异常。

同时，官方文档还指导了其它几种配置方法，理解和配置起来比较简单。

kubernetes-internal-ip （内网IP）

The kubernetes-internal-ip method will select the first internal IP address listed in the Kubernetes node’s Status.Addresses field

Example:

IP_AUTODETECTION_METHOD=kubernetes-internal-ip
IP6_AUTODETECTION_METHOD=kubernetes-internal-ip

can-reach=DESTINATION （网络可达）

The can-reach method uses your local routing to determine which IP address will be used to reach the supplied destination. Both IP addresses and domain names may be used.

Example using IP addresses:

IP_AUTODETECTION_METHOD=can-reach=8.8.8.8
IP6_AUTODETECTION_METHOD=can-reach=2001:4860:4860::8888

Example using domain names:

IP_AUTODETECTION_METHOD=can-reach=www.google.com
IP6_AUTODETECTION_METHOD=can-reach=www.google.com

interface=INTERFACE-REGEX （网卡名称正则表达式匹配）

The interface method uses the supplied interface regular expression to enumerate matching interfaces and to return the first IP address on the first matching interface. The order that both the interfaces and the IP addresses are listed is system dependent.

Example with valid IP address on interface eth0, eth1, eth2 etc.:

IP_AUTODETECTION_METHOD=interface=eth.*
IP6_AUTODETECTION_METHOD=interface=eth.*

skip-interface=INTERFACE-REGEX （排除某些网卡）

The skip-interface method uses the supplied interface regular expression to exclude interfaces and to return the first IP address on the first interface that does not match. The order that both the interfaces and the IP addresses are listed is system dependent.

Example with valid IP address on interface exclude enp6s0f0, eth0, eth1, eth2 etc.:

IP_AUTODETECTION_METHOD=skip-interface=enp6s0f0,eth.*
IP6_AUTODETECTION_METHOD=skip-interface=enp6s0f0,eth.*

cidr=CIDR （指定网络地址）

The cidr method will select any IP address from the node that falls within the given CIDRs. For example:

Example:

IP_AUTODETECTION_METHOD=cidr=10.0.1.0/24,10.0.2.0/24
IP6_AUTODETECTION_METHOD=cidr=2001:4860::0/64

参考：

  1. 官方calico配置文档 （打开后看manifest）
  2. kubernetes集群节点多网卡，calico指定网卡
# kubernetes # 运维
Logo
Cloudpods

开源、云原生的融合云平台

更多推荐

面向未来的 IT 基础设施管理架构——融合云（Unified IaaS）

随着数字化时代的到来，IT系统已成为人类社会正常运转不可或缺的组成部分。不远的未来，智能制造，5G和人工智能等技术将成为推动生产力发展的重要引擎，人类社会将面临前所未有的全面彻底的数字化浪潮。IT基础设施作为IT系统运行的平台和载体，是实现数字化的基石。在这场数字化浪潮中，企业必须积极拥抱云计算技术，采用符合技术发展趋势、面向未来的IT基础构架，才能在未来的竞争中赢得先机。 一、云计算历经十余年

avatar Cloudpods

Cloudpods负载均衡的功能介绍

作者:周有松 今天的内容会从以下几个方面展开： 负载均衡产品简介。主要介绍负载均衡作为一个云上产品，它的功能模型是怎样的，日常使用中会遇到的业务词汇负载均衡的功能与典型应用场景。这部分主要结合业务词汇，对负载均衡服务中常见的一些功能选项进行介绍，并举例介绍一些典型的应用场景最后，我们做一下总结，讨论一下负载均衡产品相比传统方式的优点 一、产品简介​ 1. 以NGINX为例​ 提到负载均衡，我们以

avatar Cloudpods

使用Linux vfio将Nvidia GPU透传给QEMU虚拟机

Linux 上虚拟机 GPU 透传需要使用 vfio 的方式。主要是因为在 vfio 方式下对虚拟设备的权限和 DMA 隔离上做的更好。但是这么做也有个缺点，这个物理设备在主机和其他虚拟机都不能使用了。 qemu 直接使用物理设备本身命令行是很简单的，关键在于事先在主机上对系统、内核和物理设备的一些配置。 单纯从 qemu 的命令行来看，其实和普通虚拟机启动就差了最后那个-device的选项。这

avatar Cloudpods