随着容器技术的普及，Kubernetes 已经成为了最受欢迎的容器编排管理系统。而在 Kubernetes 集群中，持久化存储是非常重要的一部分，因为它可以确保应用程序的数据在容器销毁后不会丢失。Ceph 是一个可扩展的分布式文件系统，可以作为 Kubernetes 集群中的持久化存储解决方案。本文将介绍如何在 Kubernetes 集群中使用 Ceph 作为持久化存储。
准备工作
在使用 Ceph 之前，我们需要先部署 Ceph 存储集群。这里不会详细介绍如何部署 Ceph 存储集群，因为这已经超出了本文的范围。推荐使用 Ceph-ansible 工具来快速部署 Ceph 存储集群，你可以在文档中找到有关如何使用 ceph-ansible 的详细信息。
将 Ceph 存储集群的密钥导入到 Kubernetes 集群中
在 Kubernetes 集群中使用 Ceph 存储解决方案时，我们需要在 Kubernetes 集群中导入 Ceph 存储集群的密钥以便可以访问 Ceph 存储集群。在导入密钥之前，我们需要首先生成 Ceph 存储集群的密钥，可以使用 ceph-deploy 工具生成密钥，如下所示：
$ ceph-deploy --cluster <cluster-name> auth get-or-create client.kube mon 'allow r' osd 'allow rwx pool=<pool-name>'
这里的 <cluster-name> 是 Ceph 存储集群的名称，<pool-name> 是用于存储 Kubernetes PV 的 Ceph 存储池的名称。使用上面的命令生成了 client.kube 用户的密钥以后，我们需要将密钥导入到 Kubernetes 集群中：
$ kubectl create secret generic ceph-client-key --from-file=./ceph.client.kube.keyring --namespace=kube-system
这里的 ceph.client.kube.keyring 是使用 ceph-deploy 工具生成的 client.kube 的密钥文件名，kube-system 是 Kubernetes 系统命名空间的名称。
创建 Kubernetes PV
在将 Ceph 存储集群的密钥导入到 Kubernetes 集群中以后，我们需要创建 Kubernetes PV 来表示 Ceph 存储池。在创建 PV 之前，我们需要先在 Ceph 存储集群中创建一个存储池。可以使用以下命令创建 Ceph 存储池：
$ ceph osd pool create <pool-name> <pg-num>
这里的 <pool-name> 是存储池的名称，<pg-num> 是用于存储数据的 OSD 数量。在创建存储池后，我们可以使用下面的 YAML 文件创建 PV：
-- -------------------- ---- -------
----------- --
----- ----------------
---------
----- -------
-----
---------
-------- -----
------------
- -------------
------------------------------ ------
-------
---------
- ---------------
- ---------------
- ---------------
----- ----
----------
----- ---------------
--------- -----
----- ------------在这里，我们指定了 PV 的名称、容量、访问模式以及回收策略。在 cephfs 部分，我们指定了 Ceph 存储集群的监控机器的 IP 地址、用户名、密钥以及要使用的存储池的名称。需要根据实际情况修改这些参数。
创建 Kubernetes PVC
在创建 PV 后，我们需要创建 PVC 并将其绑定到 PV 上。PVC 将 PV 的容量作为请求值，可以使用以下 YAML 文件创建 PVC：
-- -------------------- ---- -------
----------- --
----- ---------------------
---------
----- --------
-----
----------
---------
-------- -----
------------
- -------------
----------- -------在这里，我们指定了 PVC 的名称、请求的存储容量以及请求的访问模式。需要注意的是，volumeName 字段必须与创建的 PV 的名称相同。
在 Pod 中使用 PVC
在 PVC 绑定到 PV 上后，我们可以在 Pod 中使用 PVC 作为容器的持久化存储。以下是使用 PVC 的示例 YAML 文件：
-- -------------------- ---- -------
----------- --
----- ---
---------
----- -----
-----
-----------
- ----- -----
------ -----
-------------
- ---------- ------
----- --------
--------
- ----- --------
----------------------
---------- --------在这里，我们将 PVC ceph-pvc 挂载到名为 ceph-pvc 的卷中，并将其挂载到名为 nginx 的容器的 /mnt 目录下。
总结
本文介绍了如何在 Kubernetes 集群中使用 Ceph 作为持久化存储解决方案。首先，我们需要部署 Ceph 存储集群。然后，我们将 Ceph 存储集群的密钥导入到 Kubernetes 集群中，并创建 PV 和 PVC 用于表示 Ceph 存储池和请求存储。最后，我们在 Pod 中使用 PVC 作为容器的持久化存储。希望这篇文章能够对你在 Kubernetes 集群中使用 Ceph 作为持久化存储解决方案有所帮助。
Source: FunTeaLearn,Please indicate the source for reprints https://funteas.com/post/65b3190cadd4f0e0ffc2a2c6