第三篇：k8s之容器存储接口(CSI)ceph-csi-rbd部署

容器存储接口（Container Storage Interface），简称 CSI，CSI 试图建立一个行业标准接口的规范，借助 CSI 容器编排系统（CO）可以将任意存储系统暴露给自己的容器工作负载。csi 卷类型是一种 out-tree（即跟其它存储插件在同一个代码路径下，随 Kubernetes 的代码同时编译的）的 CSI 卷插件，用于 Pod 与在同一节点上运行的外部 CSI 卷驱动

godleft90

3198人浏览 · 2023-02-16 14:18:18

godleft90 · 2023-02-16 14:18:18 发布

@TOC

CSI简介

容器存储接口（Container Storage Interface），简称 CSI，CSI 试图建立一个行业标准接口的规范，借助 CSI 容器编排系统（CO）可以将任意存储系统暴露给自己的容器工作负载。

csi 卷类型是一种 out-tree（即跟其它存储插件在同一个代码路径下，随 Kubernetes 的代码同时编译的）的 CSI 卷插件，用于 Pod 与在同一节点上运行的外部 CSI 卷驱动程序交互。部署 CSI 兼容卷驱动后，用户可以使用 csi 作为卷类型来挂载驱动提供的存储。

CSI 持久化卷支持是在 Kubernetes v1.9 中引入的，作为一个 alpha 特性，必须由集群管理员明确启用。换句话说，集群管理员需要在 apiserver、controller-manager 和 kubelet 组件的 “–feature-gates =” 标志中加上 “CSIPersistentVolume = true”。

CSI 持久化卷具有以下字段可供用户指定：

driver：一个字符串值，指定要使用的卷驱动程序的名称。必须少于 63 个字符，并以一个字符开头。驱动程序名称可以包含 “。”、“ - ”、“_” 或数字。
volumeHandle：一个字符串值，唯一标识从 CSI 卷插件的 CreateVolume 调用返回的卷名。随后在卷驱动程序的所有后续调用中使用卷句柄来引用该卷。
readOnly：一个可选的布尔值，指示卷是否被发布为只读。默认是 false。

安装github地址

使用说明

下面将介绍如何使用 CSI。

动态配置

可以通过为 CSI 创建插件 StorageClass 来支持动态配置的 CSI Storage 插件启用自动创建/删除。

例如，以下 StorageClass 允许通过名为 com.example.team/csi-driver 的 CSI Volume Plugin 动态创建 “fast-storage” Volume。

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: fast-storage
provisioner: com.example.team/csi-driver
parameters:
  type: pd-ssd

要触发动态配置，请创建一个 PersistentVolumeClaim 对象。例如，下面的 PersistentVolumeClaim 可以使用上面的 StorageClass 触发动态配置。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: my-request-for-storage
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 5Gi
  storageClassName: fast-storage

当动态创建 Volume 时，通过 CreateVolume 调用，将参数 type：pd-ssd 传递给 CSI 插件 com.example.team/csi-driver 。作为响应，外部 Volume 插件会创建一个新 Volume，然后自动创建一个 PersistentVolume 对象来对应前面的 PVC 。然后，Kubernetes 会将新的 PersistentVolume 对象绑定到 PersistentVolumeClaim，使其可以使用。

如果 fast-storage StorageClass 被标记为默认值，则不需要在 PersistentVolumeClaim 中包含 StorageClassName，它将被默认使用。

预配置 Volume

您可以通过手动创建一个 PersistentVolume 对象来展示现有 Volumes，从而在 Kubernetes 中暴露预先存在的 Volume。例如，暴露属于 com.example.team/csi-driver 这个 CSI 插件的 existingVolumeName Volume：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: my-manually-created-pv
spec:
  capacity:
    storage: 5Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  csi:
    driver: com.example.team/csi-driver
    volumeHandle: existingVolumeName
    readOnly: false

附着和挂载

您可以在任何的 pod 或者 pod 的 template 中引用绑定到 CSI volume 上的 PersistentVolumeClaim。

kind: Pod
apiVersion: v1
metadata:
  name: my-pod
spec:
  containers:
    - name: my-frontend
      image: dockerfile/nginx
      volumeMounts:
      - mountPath: "/var/www/html"
        name: my-csi-volume
  volumes:
    - name: my-csi-volume
      persistentVolumeClaim:
        claimName: my-request-for-storage

当一个引用了 CSI Volume 的 pod 被调度时， Kubernetes 将针对外部 CSI 插件进行相应的操作，以确保特定的 Volume 被 attached、mounted，并且能被 pod 中的容器使用。

ceph-csi

Ceph CSI 插件在支持 CSI 的 Container Orchestrator (CO) 和 Ceph 集群之间实现接口。它们支持动态配置 Ceph 卷并将它们附加到工作负载。

对ceph存储的RBD或cephFS分别提供了对应接口，本文主要介绍ceph-csi-rbd接口的安装部署。

ceph-csi github

部署文档参考：ceph-csi-rbd部署

注意：部署之前需要保证已经搭建好了ceph集群

我们搭建好的ceph集群信息如下

"clusterID": "21217f8a-8597-4734-acf6-05e9251ce8ac",
"monitors": [
  "192.168.0.13:6789",
  "192.168.0.14:6789",
  "192.168.0.15:6789"
  ]

k8s部署

yaml文件的配置模板

创建namespace

kubectl create namespace ceph-csi-rbd

ceph配置

csi-config-map.yaml这里需要把ceph集群ID以及IP:Port加入到配置中

---
apiVersion: v1
kind: ConfigMap
data:
  config.json: |-
    [
      {
        "clusterID": "21217f8a-8597-4734-acf6-05e9251ce8ac",
        "monitors": [
          "192.168.0.13:6789",
          "192.168.0.14:6789",
          "192.168.0.15:6789"
        ]
      }
    ]
metadata:
  name: ceph-csi-config
  namespace: ceph-csi-rbd

secret.yaml ceph集群的账号信息
ceph-config.yaml ceph config

apiVersion: v1
kind: ConfigMap
data:
  ceph.conf: |
    [global]
    auth_cluster_required = cephx
    auth_service_required = cephx
    auth_client_required = cephx
    # Workaround for http://tracker.ceph.com/issues/23446
    fuse_set_user_groups = false
    # ceph-fuse which uses libfuse2 by default has write buffer size of 2KiB
    # adding 'fuse_big_writes = true' option by default to override this limit
    # see https://github.com/ceph/ceph-csi/issues/1928
    fuse_big_writes = true
  # keyring is a required key and its value should be empty
  keyring: |
metadata:
  name: ceph-config
  namespace: ceph-csi-rbd

storageclass.yaml 主要是配置clusterID与pool
pool需要在ceph集群中创建
在ceph集群中创建rbd存储池的方法

ceph osd pool create rbd-k8s 256 256
ceph osd pool application enable rbd-k8s rbd
ceph osd pool ls detail
rbd ls rbd-k8s

安装

Create CSIDriver object:

kubectl create -f deploy/csidriver.yaml -n ceph-csi-rbd

Deploy RBACs for sidecar containers and node plugins:

kubectl create -f deploy/csi-provisioner-rbac.yaml -n ceph-csi-rbd
kubectl create -f deploy/csi-nodeplugin-rbac.yaml -n ceph-csi-rbd

Deploy ConfigMap for CSI plugins:

kubectl create -f deploy/csi-config-map.yaml -n ceph-csi-rbd

Deploy Ceph configuration ConfigMap for CSI pods:

kubectl create -f deploy/ceph-config.yaml -n ceph-csi-rbd

Deploy CSI sidecar containers:

kubectl create -f deploy/csi-rbdplugin-provisioner.yaml -n ceph-csi-rbd

Deploy CSI driver:

kubectl create -f deploy/csi-rbdplugin.yaml -n ceph-csi-rbd

验证

kubectl get all -n ceph-csi-rbd
NAME                                             READY   STATUS    RESTARTS        AGE
pod/csi-rbdplugin-2ndxj                          3/3     Running   0               5d3h
pod/csi-rbdplugin-6qgx6                          3/3     Running   0               5d3h
pod/csi-rbdplugin-cjqlx                          3/3     Running   0               5d3h
pod/csi-rbdplugin-h4l4c                          3/3     Running   0               5d3h
pod/csi-rbdplugin-provisioner-5fc5bb7dbc-6p49q   7/7     Running   0               5d3h
pod/csi-rbdplugin-provisioner-5fc5bb7dbc-jcp88   7/7     Running   2               5d3h
pod/csi-rbdplugin-xlbjp                          3/3     Running   3 (4d21h ago)   5d3h

NAME                                TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)    AGE
service/csi-metrics-rbdplugin       ClusterIP   10.96.151.212   <none>        8080/TCP   5d3h
service/csi-rbdplugin-provisioner   ClusterIP   10.107.93.250   <none>        8080/TCP   5d3h

NAME                           DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
daemonset.apps/csi-rbdplugin   5         5         5       5            5           <none>          5d3h

NAME                                        READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/csi-rbdplugin-provisioner   2/2     2            2           5d3h

NAME                                                   DESIRED   CURRENT   READY   AGE
replicaset.apps/csi-rbdplugin-provisioner-5fc5bb7dbc   2         2         2       5d3h

说明安装成功

参考：
1 https://www.cnblogs.com/LiuChang-blog/p/15694898.html
2 https://github.com/ceph/ceph-csi/blob/devel/examples/README.md#deploying-the-storage-class

Cloudpods

开源、云原生的融合云平台

更多推荐

面向未来的 IT 基础设施管理架构——融合云（Unified IaaS）

随着数字化时代的到来，IT系统已成为人类社会正常运转不可或缺的组成部分。不远的未来，智能制造，5G和人工智能等技术将成为推动生产力发展的重要引擎，人类社会将面临前所未有的全面彻底的数字化浪潮。IT基础设施作为IT系统运行的平台和载体，是实现数字化的基石。在这场数字化浪潮中，企业必须积极拥抱云计算技术，采用符合技术发展趋势、面向未来的IT基础构架，才能在未来的竞争中赢得先机。一、云计算历经十余年

Cloudpods

Cloudpods负载均衡的功能介绍

作者:周有松今天的内容会从以下几个方面展开：负载均衡产品简介。主要介绍负载均衡作为一个云上产品，它的功能模型是怎样的，日常使用中会遇到的业务词汇负载均衡的功能与典型应用场景。这部分主要结合业务词汇，对负载均衡服务中常见的一些功能选项进行介绍，并举例介绍一些典型的应用场景最后，我们做一下总结，讨论一下负载均衡产品相比传统方式的优点一、产品简介 1. 以NGINX为例提到负载均衡，我们以

Cloudpods

使用Linux vfio将Nvidia GPU透传给QEMU虚拟机

Linux 上虚拟机 GPU 透传需要使用 vfio 的方式。主要是因为在 vfio 方式下对虚拟设备的权限和 DMA 隔离上做的更好。但是这么做也有个缺点，这个物理设备在主机和其他虚拟机都不能使用了。 qemu 直接使用物理设备本身命令行是很简单的，关键在于事先在主机上对系统、内核和物理设备的一些配置。单纯从 qemu 的命令行来看，其实和普通虚拟机启动就差了最后那个-device的选项。这

Cloudpods

所有评论(0)

查看更多评论

godleft90

@zuoyang1990

已为社区贡献2条内容