189 8069 5689
这篇文章主要讲解了“docker如何使用rexray插件访问ceph做统一存储”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“docker如何使用rexray插件访问ceph做统一存储”吧！
创新互联公司是一家集网站建设,宁阳企业网站建设,宁阳品牌网站建设,网站定制,宁阳网站建设报价,网络营销,网络优化,宁阳网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。
Docker Swarm使得分布式、集群的搭建部署速度提升了指数级别，原本的部署方式可能要用一天的时间，改用docker部署后可以减少到十分钟以内。
Docker swarm一般用来部署无状态应用，应用可以在任何节点上运行，以便达到横向扩展。当然，我们也可以使用docker swarm部署有状态应用，但是有个限制问题就是：Docker 默认存档到本地文件系统，有状态应用节点转移后，数据部分不能跟着转移。
Docker提供的解决方案是使用volume plugin，把数据存储到统一的地方，使得不同节点上的不同容器之间可以共享数据。
下面搭建为了避免swarm相关知识和操作，仅仅基于docker，如果有swarm相关知识，很容易把它应用到swarm中。
官方插件列表
| 插件 | 缺点 | 优点 |
|---|---|---|
| DigitalOcean、Virtuozzo、blockbridge | 收费 | |
| Beegfs、convoy、drbd、Infinit、ipfs、OpenStorage | 小众、难以学习 | |
| contiv | 无法使用，断更两年 | 支持ceph |
| fuxi | 基于openstack，研究成本高 | |
| flocker | 没有合适的backends | 大众化 |
| gce-docker | 基于google云，收费 | |
| Quobyte | 不支持分布式 | Docker安装 |
| GlusterFS | 无法docker部署 | 官方文档好 |
| Horcrux | 无法成功搭建，文档支持差 | Minio还是比较好搭建的 |
| REX-Ray |
在查看、对比完官方所有的可用方案后，并没有马上得到一个可行易用的方案。经过大量搜索，国内来说，rexray、flocker、glusterfs是volume plugin推荐方案top3。通过进一步对比,并且发现rexray支持ceph后,认为rexray+ceph的方案比较符合我们的需求。
ceph包含文件存储、块存储、对象存储三种存储服务，rexray/rbd使用的是块存储，使用该插件之后，原本存储到本地文件的方式变成存储到ceph服务中。另外两个可当作附加服务，在业务应用内直接使用。另外，Ceph搭建比较简单，支持docker搭建，支持分布式，支持横向拓展（添加硬件后启动osd服务加入ceph集群即可）。
Ceph官方只有k8s上的搭建教程，但是docker store上有ceph的镜像，上面有比较详细的搭建说明。虽然玩不转k8s，但是有了容器镜像的使用说明，把它部署成swarm mode是轻而易举的事情。该镜像集成多个组件的镜像，通过启动命令参数，指定组件的类型。另外有针对不同组件的独立镜像。
三个docker节点。标记为
B1(10.32.3.147)
B2(10.32.3.148)
B3(10.32.3.149)
启动mon
启动mgr
启动osd
查看ceph状态
ceph demo快速启动
恢复清理
B1上初始化集群，mon是monitor的缩写，用于监控集群。docker run -d --net=host --name=mon \ -v /etc/ceph:/etc/ceph \ -v /var/lib/ceph/:/var/lib/ceph \ -e MON_IP=10.32.3.147 \ -e CEPH_PUBLIC_NETWORK=10.32.3.0/24 \ ceph/daemon mon
运行这个服务后，会初始化一个ceph集群，并在/etc/ceph、/var/lib/ceph下生成配置文件。
运行docker exec mon ceph -s 查看集群状态,显示不存在mgr、osd服务的警告
在集群的情况下，其他服务要加入mon初始化的集群，需要把mon生成的相关文件复制到相应节点上再启动服务。 注意mon服务类似于zookeeper，可在B2、B3运行多个mon防止单点故障,
mgr是管理集群的服务，可以运行在跟mon同一个主机上，但为了体现ceph的分布式特性，我们选择在B2启动mgr服务
进入B2，从B1 copy文件到B2scp -r root@10.32.3.147:/etc/ceph/* /etc/ceph/ scp -r root@10.32.3.147:/var/lib/ceph/bootstrap* /var/lib/ceph/
B2上启动mgrdocker run -d --net=host --name=mgr \ -v /etc/ceph:/etc/ceph \ -v /var/lib/ceph/:/var/lib/ceph/ \ ceph/daemon mgr
B1上运行docker exec mon ceph -s 查看集群状态。
osd是ceph中接受，存储数据的服务。
进入B3，从A copy文件到B3 scp -r root@10.32.3.147:/etc/ceph/* /etc/ceph/ scp -r root@10.32.3.147:/var/lib/ceph/bootstrap* /var/lib/ceph/
启动osdsudo docker run -d --net=host --name=osd \ --privileged=true \ -v /etc/ceph:/etc/ceph \ -v /var/lib/ceph:/var/lib/ceph \ ceph/daemon osd
osd可以通常部署多个，但是一个docker节点只能有一个osd服务。在swarm环境下，为了最大化硬盘的使用，可以在所有节点上都启动osd服务。
进入mon容器，执行ceph -s查看服务状态。快速命令
docker exec ${mon_container_id} ceph -s当集群状态为
health HEALTH_OK
pgmap active+clean
表示集群可用
基于ceph的搭建比较繁杂，如果想测试rexray/ceph插件的可用性，可以使用以下命令启动一个包含所有服务的容器。docker run -d --net=host --name=ceph \ -v /etc/ceph:/etc/ceph \ -v /var/lib/ceph/:/var/lib/ceph \ -e MON_IP=10.32.3.147 \ -e CEPH_PUBLIC_NETWORK=10.32.3.0/24 \ ceph/demo
一门技术的入门难免会遇到很多问题，以下命令用于重新搭建前做清理。rm -rf /etc/ceph/* && rm -rf /var/lib/ceph/ && \ docker rm -f mon osd mgr
ceph需要开放的端口firewall-cmd --zone=public --add-port=6789/tcp --permanent && \ firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent && \ firewall-cmd --reload
安装rbd、ceph客户端
安装rexray插件
测试统一存储
插件使用的要求前提是安装rbd、ceph相关包，使命令可用，按照官方文档，可以通过官方安装教程使用ceph-deploy install client-ip 在指定节点进行安装，但是安装的包比较多而且容易报错。经过偶然发现，安装ceph-common包，即可满足要求，而且安装依赖少，时间快。如果能解决报错问题，推荐使用官方方法，避免以后出现意想不到的事情。
安装前，首先确保docker宿主机器上/etc/ceph/存在集群配置文件。因为之前ceph集群搭建后，B1-3三台机器都已经存在了配置文件，所以可用忽略这一步。对新加入swarm的机器，需要注意这个步骤。
B1-3安装rbd、ceph包：执行yum install ceph-common -y
测试命令：
rbd:rbd ls
ceph:ceph -s
B1-3上执行docker plugin install rexray/rbd
此插件下载比较慢，当swarm集群节点比较多时，建议转存到私有库后再下载。插件没有镜像一样使用build -t的操作。插件转到私库执行以下步骤：
1.使用别名参数拉取插件docker plugin install --alias 10.32.3.112:5011/rexray/rbd rexray/rbd
2.存储到私库docker push 10.32.3.112:5011/rexray/rbd
有两个方式创建数据卷、启动容器：
1.自动docker run --volume-driver 10.32.3.112:5011/rexray/rbd -v test:/test -it --rm busybox sh
2.手动docker volume create -d 10.32.3.112:5011/rexray/rbd test docker run -v test:/test -it --rm busybox sh
启动报错unable to map rbd时手动执行：rbd map test --name client.admin
这可能是插件的一个bug。
在B1启动成功后，进入test目录创建文件"can_you_see_me"。
退出容器进入B2，rbd ls查看到B1上创建的目录。
使用相同命令在B2启动容器，检验是否能在B2上访问B1中创建的文件。 至此，docker使用rexray基于ceph做统一共享存储搭建完成。
辅助机上，你可以搭建maven私库、docker私库、jenkins等不同环境共用的工具、项目。
按照ceph官方搭建教程，需要一台辅助机安装ceph-deploy,再控制其他节点安装部署ceph集群。 
虽然我没有使用官方搭建方案（原生系统搭建），但是作为一种思想，我们可以在这台机器上做免密配置，从而快速的控制不同环境下的swarm集群节点
当你的集群包含5台以上的机器时，为了把ceph的配置文件copy到五台docker机上，你可能需要花1分钟。当你的集群包含20台以上时你觉得只需要花4分钟。但是，你确定你不会遗漏？
ceph-common、rexray/rbd等包都需要手动安装，安装的时候还非常依赖网速，当你知道ansible可以并行控制n台机器，你会毫不犹豫的点开这里。
一个数据卷被多个节点使用过，只要在一个节点删除，ceph上也就同时删除，但是其他节点还保留着对这个数据卷的映射，导致无法重新创建删除的数据卷，除非手动删除映射关系或者修改数据集名称。
感谢各位的阅读，以上就是“docker如何使用rexray插件访问ceph做统一存储”的内容了，经过本文的学习后，相信大家对docker如何使用rexray插件访问ceph做统一存储这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是创新互联，小编将为大家推送更多相关知识点的文章，欢迎关注！