Ceph官方文档翻译docx.docx

1、Ceph官方文档翻译docxCeph 官方文档翻译石家庄众毅信息技术有限公司2017 年 06 月在此处插入索引和目录准备 ?New in version .谢谢您尝试 Ceph！我们建议安装一个ceph-deploy 管理 节点 和一个三节点的Ceph 存储集群 来研究 Ceph的基本特性。 这篇 预检 会帮你准备一个 ceph-deploy 管理节点、 以及三个 Ceph 节点（或虚拟机），以此构成Ceph 存储集群。在进行下一步之前，请参见操作系统推荐 以确认你安装了合适的 Linux发行版。如果你在整个生产集群中只部署了单一Linux 发行版的同一版本，那么在排查生产环境中遇到的问题时

2、就会容易一点。在下面的描述中 节点代表一台机器。在没有 DNS的情况下，需要手动修改各个主机的 hosts 文件和主机名安装 CEPH 部署工具 ?把Ceph 仓库添加到 ceph-deploy 管理节点，然后安装 ceph-deploy 。高级包管理工具（ APT） ?在 Debian 和 Ubuntu 发行版上，执行下列步骤：1. 添加 release key ：wget -q -O- | sudo apt-key add -2.添加 Ceph软件包源， 用 Ceph 稳定版（如 cuttlefish、 dumpling、 emperor 、firefly等等）替换掉 ceph-stabl

3、e-release。例如：3.echo deb $(lsb_release -sc) main | sudo tee /etc/apt/更新你的仓库，并安装 ceph-deploy ：sudo apt-get update & sudo apt-get install ceph-deployNote你也可以从欧洲镜像 下载软件包，只需把 替换成 即可。红帽包管理工具（ RPM） ?在 Red Hat （ rhel6 、rhel7 ）、 CentOS （ el6 、 el7 ）和 Fedora 19-20 （ f19 - f20 ） 上执行下列步骤：1. （只需要在管理节点） 在 RHEL7 上

4、，用 subscription-manager 注册你的目标机器，确认你的订阅， 并启用安装依赖包的“ Extras ”软件仓库。例如 ：如果使用 ceph-deploy 部署，则不需要此步骤sudo subscription-manager repos -enable=rhel-7-server-extras-rpms2. 在 RHEL6 上，安装并启用 Extra Packages for Enterprise Linux (EPEL) 软件仓库。 请查阅 EPEL wiki 获取更多信息。3.（只需要在管理节点） 在 CentOS 上，可以执行下列命令：sudo yum install

5、-y yum-utilssudo yum-config-manager -add-reposudo yum install -nogpgcheck -y epel-releasesudo rpm -import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-74.sudo rm /etc/ （只需要在管理节点） 把软件包源加入软件仓库。用文本编辑器创建一个 YUM (Yellowdog Updater, Modified) 库文件，其路径为 /etc/ 。例如：sudo vim /etc/ 把如下内容粘帖进去，用 Ceph 的最新主稳定版名字替换ceph-stable-r

6、elease （如 firefly ），用你的 Linux 发行版名字替换 distro （如el6 为 CentOS 6 、 el7 为 CentOS 7 、 rhel6 为 Red Hat 、 rhel7 为 Red Hat 7 、 fc19 是 Fedora 19 、 fc20 是 Fedora 20 ）。最后保存到 /etc/ 文件中。ceph-noarchname=Ceph noarch packages5. baseurl= 更新软件库并安装 ceph-deploy ：sudo yum update & sudo yum install ceph-deployNote你也可以从欧洲

7、镜像 下载软件包，只需把 替换成 即可。CEPH 节点安装 ?你的管理节点必须能够通过 SSH 无密码地访问各 Ceph 节点。如果 ceph-deploy 以某个普通用户登录，那么这个用户必须有无密码使用 sudo 的权限。安装 NTP?我们建议在所有 Ceph 节点上安装 NTP 服务（特别是 Ceph Monitor 节点），以免因时钟漂移导致故障，详情见 时钟 。在 CentOS / RHEL 上，执行：sudo yum install ntp ntpdate ntp-doc在 Debian / Ubuntu 上，执行：sudo apt-get install ntp确保在各 Ceph

8、 节点上启动了 NTP 服务，并且要使用同一个 NTP 服务器，详情见 NTP 。安装 SSH 服务器 ?在所有 Ceph 节点上执行如下步骤：1.在各 Ceph 节点安装 SSH 服务器（如果还没有）：sudo apt-get install openssh-server或者sudo yum install openssh-server2. 确保 所有 Ceph 节点上的 SSH 服务器都在运行。创建部署 CEPH 的用户 ?ceph-deploy 工具必须以普通用户登录 Ceph 节点，且此用户拥有无密码使用 sudo 的权限，因为它需要在安装软件及配置文件的过程中，不必输入密码。较新版的

9、ceph-deploy支持用 -username 选项提供可无密码使用sudo 的用户名（包括 root，虽然 不建议 这样做）。使用ceph-deploy -username username命令时，指定的用户必须能够通过无密码SSH 连接到 Ceph 节点，因为 ceph-deploy 中途不会提示输入密码。我们建议在集群内的 所有 Ceph节点上给ceph-deploy 创建一个特定的用户，但不要 用“ceph” 这个名字。全集群统一的用户名可简化操作（非必需），然而你应该避免使用知名用户名，因为黑客们会用它做暴力破解（如root 、 admin 、 productname）。后续步骤描

10、述了如何创建无sudo密码的用户，你要用自己取的名字替换username 。Note从 Infernalis版起，用户名 “ceph” 保留给了 Ceph 守护进程。 如果 Ceph 节点上已经有了 “ceph” 用户，升级前必须先删掉这个用户。1.在各 Ceph 节点创建新用户。ssh userceph-serversudo useradd -d /home/username -m usernamesudo passwd username2. 确保各 Ceph 节点上新创建的用户都有 sudo 权限。echo username ALL = (root) NOPASSWD:ALL | sudo

11、 tee etc/usernamesudo chmod 0440 /etc/username允许无密码 SSH 登录 ?正因为 ceph-deploy发到各 Ceph 节点。1.用 sudo 或 root不支持输入密码，你必须在管理节点上生成 SSH 密钥并把其公钥分ceph-deploy 会尝试给初始 monitors 生成 SSH 密钥对。生成 SSH 密钥对，但不要用户。提示 “Enter passphrase ” 时，直接回车，口令即为空：ssh-keygenGenerating public/private key pair.Enter file in which to save t

12、he key (/ceph-admin/.ssh/id_rsa):Enter passphrase (empty for no passphrase):Enter same passphrase again:Your identification has been saved in /ceph-admin/.ssh/id_rsa.Your public key has been saved in /ceph-admin/.ssh/.2.点，把下列命令中的username替换成前面 创建部署把公钥拷贝到各 CephCeph 的用户 里的用户名。节ssh-copy-id usernamenode1

13、ssh-copy-id usernamenode2ssh-copy-id usernamenode33. （推荐做法）修改ceph-deploy 管理节点上的 /.ssh/config 文件，这样 ceph-deploy 就能用你所建的用户名登录 Ceph 节点了，而无需每次执行 ceph-deploy 都要指定 -usernameusername 。这样做同时 SSH也简化了 ssh 和 scp 的用法。把 username 替换成你创建的用户名。需要使用 chmod 600 /.ssh/config 修改权限，否则会报错Host node1Hostname node1User userna

14、meHost node2Hostname node2User usernameHost node3Hostname node3User username启动时联网 ?Ceph 的各 OSD 进程通过网络互联并向 Monitors上报自己的状态。如果网络默认为off ，那么 Ceph 集群在启动时就不能上线，直到你打开网络。某些发行版（如 CentOS ）默认关闭网络接口。所以需要确保网卡在系统启动时都能启动，这样 Ceph 守护进程才能通过网络通信。例如，在Red Hat 和 CentOS 上，需进入/etc/sysconfig/network-scripts目录并确保ifcfg-iface文

15、件中的设ONBOOT置成了 yes 。确保联通性 ?用ping 短主机名（ hostname -s ）的方式确认网络联通性。解决掉可能存在的主机名解析问题。Note主机名应该解析为网络 IP 地址，而非回环接口 IP 地址（即主机名应该解析成非 的 IP地址） 。如果你的管理节点同时也是一个 Ceph 节点，也要确认它能正确解析自己的主机名和 IP 地址（即非回环 IP 地址）。开放所需端口 ?Ceph Monitors 之间默认使用 6789 端口通信， OSD 之间默认用 6800:7300 这个范围内的端口通信。详情见 网络配置参考 。 Ceph OSD 能利用多个网络连接进行与客户端、

16、 monitors 、其他 OSD 间的复制和心跳的通信。某些发行版（如 RHEL ）的默认防火墙配置非常严格，你可能需要调整防火墙，允许相应的入站请求，这样客户端才能与 Ceph 节点上的守护进程通信。对于 RHEL 7 上的 firewalld ，要对公共域开放 Ceph Monitors 使用的 6789 端口和OSD 使用的 6800:7300 端口范围， 并且要配置为永久规则， 这样重启后规则仍有效。 例如：sudo firewall-cmd -zone=public -add-port=6789/tcp -permanent若使用 iptables ，要开放 Ceph Monito

17、rs 使用的 6789 端口和 OSD 使用的 6800:7300端口范围，命令如下：sudo iptables -A INPUT -i iface -p tcp -s ip-address/netmask -dport 6789 -j ACCEPT在每个节点上配置好 iptables 之后要一定要保存，这样重启之后才依然有效。例如：/sbin/service iptables save终端（ TTY ） ?在 CentOS 和 RHEL 上执行ceph-deploy命令时可能会报错。 如果你的 Ceph节点默认设置了 requiretty，执行sudo visudo禁用它，并找到 Defau

18、lts requiretty选项，把它改为 Defaults:ceph!requiretty或者直接注释掉，这样 ceph-deploy就可以用之前创建的用户（创建部署Ceph 的用户）连接了。sudo visudo 修改确保配置如下Defaults !visiblepwDefaults !requirettyusername ALL=(ALL) NOPASSWD: ALLNote编辑配置文件 /etc/sudoers 时，必须用 sudo visudo 而不是文本编辑器。SELINUX?在 CentOS 和 RHEL 上， SELinux 默认为 Enforcing 开启状态。为简化安装，我

19、们建议把SELinux 设置为 Permissive 或者完全禁用， 也就是在加固系统配置前先确保集群的安装、配置没问题。用下列命令把SELinux 设置为 Permissive ：sudo setenforce 0要使 SELinux 配置永久生效（如果它的确是问题根源），需修改其配置文件/etc/selinux/config 。YUM 优先级 / 首选项插件 ?确保你的包管理器安装了优先级 / 首选项包且已启用。在 CentOS 上你也许得安装 EPEL ，在 RHEL 上你也许得启用可选软件库。sudo yum install yum-plugin-priorities比如在 RHEL

20、7 服务器上，可用下列命令安装 yum-plugin-priorities 并启用rhel-7-server-optional-rpms 软件库：sudo yum install yum-plugin-priorities-enablerepo=rhel-7-server-optional-rpms总结 ?快速入门的预检部分到此结束，请继续 存储集群快速入门 。存储集群快速入门 ?如果你还没完成 预检 ，请先做完。本篇 快速入门 用 ceph-deploy从管理节点建立一个 Ceph存储集群 ，该集群包含三个节点，以此探索Ceph 的功能。第一次练习时，我们创建一个Ceph存储集群，它有一个M

21、onitor和两个OSD 守护进程。一旦集群达到active + clean状态，再扩展它：增加第三个OSD、增加元数据服务器和两个 Ceph Monitors 。为获得最佳体验，先在管理节点上创建一个目录，用于保存 ceph-deploy 生成的配置文件和密钥对。mkdir my-clustercd my-clusterceph-deploy 会把文件输出到当前目录，所以请确保在此目录下执行 ceph-deploy 。Important如果你是用另一普通用户登录的，不要用sudo或在root身份运行ceph-deploy，因为它不会在远程主机上调用所需的sudo命令。禁用requiretty

22、在某些发行版（如CentOS）上，执行ceph-deploy命令时，如果你的Ceph节点默认设置了requiretty那就会遇到报错。可以这样禁用此功能：执行sudo visudo，找到Defaults requiretty选项，把它改为Defaults:ceph !requiretty，这样ceph-deploy 就能用 ceph 用户登录并使用 sudo 了。创建集群 ?如果在某些地方碰到麻烦，想从头再来，可以用下列命令清除配置：ceph-deploy purgedata ceph-node ceph-nodeceph-deploy forgetkeys用下列命令可以连 Ceph 安装包一

23、起清除：ceph-deploy purge ceph-node ceph-node如果执行了 purge ，你必须重新安装 Ceph 。在管理节点上，进入刚创建的放置配置文件的目录，用1.创建集群。ceph-deploy 执行如下步骤。ceph-deploy new initial-monitor-node(s)例如：ceph-deploy new node1在当前目录下用ls和 cat检查 ceph-deploy的输出，应该有一个 Ceph 配置文件、一个 monitor密钥环和一个日志文件。详情见ceph-deploy new -h。2.把 Ceph 配置文件里的默认副本数从3 改成2，这

24、样只有两个 OSD 也可以达到active + clean状态。把下面这行加入global段：osd pool default size = 23.如果你有多个网卡，可以把public network写入 Ceph 配置文件的global段下。详情见 网络配置参考 。public network = ip-address/netmask4.安装 Ceph。ceph-deploy install ceph-node ceph-node .例如：ceph-deploy install admin-node node1 node2 node3ceph-deploy将在各节点安装Ceph 。 注： 如

25、果你执行过 ceph-deploy purge，你必须重新执行这一步来安装Ceph 。5.配置初始 monitor(s) 、并收集所有密钥：ceph-deploy mon create-initial完成上述操作后，当前目录里应该会出现这些密钥环：cluster-name. 只有在安装 Hammer 或更高版时才会创建 bootstrap-rgw 密钥环。Note如果此步失败并输出类似于如下信息 “Unable to find /etc/ceph/ ，请确认 中为monitor 指定的 IP 是 Public IP ，而不是 Private IP 。1. 添加两个 OSD 。为了快速地安装，这

26、篇快速入门把目录而非整个硬盘用于 OSD 守护进程。如何为 OSD 及其日志使用独立硬盘或分区，请参考 ceph-deploy osd 。登录到 Ceph 节点、并给 OSD 守护进程创建一个目录。ssh node2sudo mkdir /var/local/osd0exitssh node3sudo mkdir /var/local/osd1exit然后，从管理节点执行 ceph-deploy 来准备 OSD 。ceph-deploy osd prepare ceph-node:/path/to/directory例如：ceph-deploy osd prepare node2:/var/l

27、ocal/osd0 node3:/var/local/osd1最后，激活 OSD 。ceph-deploy osd activate ceph-node:/path/to/directory例如：ceph-deploy osd activate node2:/var/local/osd0 node3:/var/local/osd12.用 ceph-deploy 把配置文件和 admin 密钥拷贝到管理节点和 Ceph 节点，这样你每次执行 Ceph 命令行时就无需指定 monitor 地址和 了。ceph-deploy admin admin-node ceph-node例如：ceph-deploy admin admin-node node1 node2 node3ceph-deploy 和本地管理主机（ admin-node ）通信时，必须通过主机名可达。必要时可修改 /etc/hosts ，加入管理主机的名字。3. 确保你对 有正确的操作权限。4. sudo chmod +r /etc/ceph/ 检查集群的健康状况。ceph health等 peering 完成后，集群应该达到 active + clean 状态。操作集群 ?