ceph ansible使用手册

2018-02-28

该文档介绍利用ansible来部署ceph集群
github：https://github.com/xiaqunfeng/ceph-ansible

新增role的使用方法详见github里的README.md

安装ansible

1	./install-ansible.sh

注意，默认安装的是ansible的最新版，最好安装ansible版本为2.3.X.X。因为该改进的ceph-ansible是基于ansible 2.3版本的，为了避免版本不匹配带来的问题。

设置机器组

在文件 /etc/ansible/hosts 中添加如下信息：

# cat /etc/ansible/hosts
...
...
[mons]
ceph-0
ceph-1
ceph-2

[osds]
ceph-0
ceph-1
ceph-2

[rgws]
ceph-0

mons表示将要安装mon的机器组，osds表示osd机器组，rgws表示要安装rgw网关的机器组。关于其他的机器组，可以在 site.yml 文件中看到：

# cat site.yml
...
- hosts:
  - mons
  - agents
  - osds
  - mdss
  - rgws
  - nfss
  - restapis
  - rbdmirrors
  - clients
  - iscsigws
  - mgrs
...

查看所有机器是否都能无密登录：

# ansible -m ping all
ceph-1 | SUCCESS => {
    "changed": false,
    "ping": "pong"
}
ceph-0 | SUCCESS => {
    "changed": false,
    "ping": "pong"
}
ceph-2 | SUCCESS => {
    "changed": false,
    "ping": "pong"
}

修改配置文件

common

编辑配置文件：group_vars/all.yml

主要修改一下几个配置项：

...
# or 'distro' or 'local'
ceph_origin: 'upstream'
...
ceph_stable: true
ceph_mirror: http://mirrors.163.com/ceph
ceph_stable_key: http://mirrors.163.com/ceph/keys/release.asc
ceph_stable_release: kraken
ceph_stable_repo: "{{ ceph_mirror }}/rpm-{{ ceph_stable_release }}"	# ubuntu系统的话记得把rpm改成debian
...
ceph_stable_redhat_distro: el7	# ubuntu系统不需要该选项
...
monitor_interface: eth0
...
public_network: 172.20.2.0/24
...

osd

编辑配置文件：group_vars/osds.yml

选择一种部署场景：

journal_collocation
raw_multi_journal
dmcrypt_journal_collocation
dmcrypt_dedicated_journal
bluestore
osd_directory

根据不同的场景来编辑如下两个选项：

...
devices:
...
raw_journal_devices:
...

最常用的场景解释：

journal_collocation：日志盘和数据盘共用一块磁盘，部署的时候不需要分区，只需要指定 devices磁盘就好。

raw_multi_journal：日志盘和数据盘分开指定，devices指定数据盘，raw_journal_devices指定日志盘，都是磁盘主分区。

bluestore：部署bluestore，只需要指定devices盘。当然最佳实践的话需要手动分4个区来部署。

部署

修改部署yml文件，注释掉不需要安装的选项，比如：

# cat site.yml
...
- hosts: mons
  gather_facts: false
  become: True
  roles:
  - ceph-mon

#- hosts: agents
#  gather_facts: false
#  become: True
#  roles:
#  - ceph-agent

- hosts: osds
  gather_facts: false
  become: True
  roles:
  - ceph-osd

- hosts: rgws
  gather_facts: false
  become: True
  roles:
  - ceph-rgw
...

通过ansible-playbook来运行：

1	# ansible-playbook site.yml

更多关于ansible的部署情况可以参见官方文档：https://github.com/ceph/ceph-ansible/wiki