摘要：第一次接觸集群，感謝官方的指導(dǎo)文檔和許多網(wǎng)友提供的教程，糊糊涂涂算是把集群部署起來(lái)了。應(yīng)該為每個(gè)運(yùn)行的機(jī)器添加一個(gè)，否則集群處于狀態(tài)。至此的集群搭建算是完成了，下一步會(huì)進(jìn)行塊設(shè)備的搭建。參考分布式存儲(chǔ)部署手冊(cè)如何在中安裝存儲(chǔ)集群部署版

第一次接觸ceph集群，感謝官方的指導(dǎo)文檔和許多網(wǎng)友提供的教程，糊糊涂涂算是把集群部署起來(lái)了。由于Luminous12.2剛發(fā)布不久，部署起來(lái)跟舊版本還是有些許差別，所以以此做下筆記也給需要的人做下參考。
Ps. 剛開(kāi)始接觸ceph的同學(xué)，十分建議先把官方文檔看一遍。

ceph官方文檔

Ceph 是一個(gè)高性能、可靠、可擴(kuò)展的開(kāi)源存儲(chǔ)平臺(tái)。它是一個(gè)自由的分布式存儲(chǔ)系統(tǒng)，提供了對(duì)象、塊和文件級(jí)存儲(chǔ)的接口，并可以不受單點(diǎn)故障的影響而運(yùn)行。

（1）Ceph Admin-管理節(jié)點(diǎn)，用來(lái)安裝ceph-deploy 進(jìn)行ceph部署使用，基本上大部分操作都在這臺(tái)機(jī)器上。

（2）Ceph OSD (ceph-osd) - 控制數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)復(fù)制和恢復(fù)。Ceph 集群需要至少兩個(gè) Ceph OSD 服務(wù)器。這次安裝中我們將使用三個(gè) Ubuntu 服務(wù)器。

（3）Ceph Monitor (ceph-mon) - 監(jiān)控集群狀態(tài)并運(yùn)行 OSD 映射 和 CRUSH 映射。這里我們使用一個(gè)服務(wù)器。

（4）Ceph Meta Data Server (ceph-mds) - 如果你想把 Ceph 作為文件系統(tǒng)使用，就需要這個(gè)。

Ubuntu 16.04.3

Ceph v12.2 Luminous

（1）設(shè)置對(duì)應(yīng)的固定IP（每個(gè)節(jié)點(diǎn)分別設(shè)置）

192.168.31.131 admin_server
192.168.31.132 mon_server
192.168.31.133 osd_server_1
192.168.31.134 osd_server_2

（2）修改/etc/hostname，修改為對(duì)應(yīng)的主機(jī)名

（3）修改/etc/hosts
將以下添加到hosts

192.168.31.132 mon_server
192.168.31.133 osd_server_1
192.168.31.134 osd_server_2

（1）修改/etc/apt/sources.list，增加網(wǎng)易下載源（xenial 是ununtu16.04的版本代號(hào)，不同版本不一樣）

deb http://mirrors.163.com/ubuntu/ xenial main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ xenial-security main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ xenial-updates main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ xenial-backports main restricted universe multiverse
## 測(cè)試版源
deb http://mirrors.163.com/ubuntu/ xenial-proposed main restricted universe multiverse
## 源碼
deb-src http://mirrors.163.com/ubuntu/ xenial main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ xenial-security main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ xenial-updates main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ xenial-backports main restricted universe multiverse
##測(cè)試版源
deb-src http://mirrors.163.com/ubuntu/ xenial-proposed main restricted universe multiverse

（2）更新

sudo apt-get update
sudo apt-get install

（1）安裝ntp:用于同步所有節(jié)點(diǎn)的日期和時(shí)間
sudo apt-get install ntp

（2）安裝SSH: 用于admin控制其它節(jié)點(diǎn)
sudo apt-get install openssh-server

sudo useradd -d /home/cephuser -m cephuser 
sudo passwd cephuser 
echo "cephuser ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephuser 
sudo chmod 0440 /etc/sudoers.d/cephuser

（1）安裝key（使用163源）

wget -q -O- "http://mirrors.163.com/ceph/keys/release.asc" | sudo apt-key add -
echo deb http://mirrors.163.com/ceph/debian-luminous/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list

（2）安裝ceph-deploy
sudo apt-get update && sudo apt-get install -y ceph-deploy

（1）生成公鑰
ssh-keygen

（全按回車鍵，默認(rèn)）

Generating public/private key pair.
Enter file in which to save the key (/ceph-admin/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /ceph-admin/.ssh/id_rsa.
Your public key has been saved in /ceph-admin/.ssh/id_rsa.pub.

（2）復(fù)制public key到其它節(jié)點(diǎn)需在普通用戶權(quán)限下執(zhí)行，在對(duì)話窗口輸入yes，然后輸入對(duì)端用戶密碼

ssh-copy-id cephuser@mon_server
ssh-copy-id cephuser@osd_server_1
ssh-copy-id cephuser@osd_server_2

（3）修改 ~/.ssh/config
添加以下內(nèi)容：

Host mon_server
  Hostname mon_server
  User cephuser
Host osd_server_1
  Hostname osd_server_1
  User cephuser
Host osd_server_2
  Hostname osd_server_2
  User cephuser

（1）使用ceph-deploy部署。 首先需要?jiǎng)?chuàng)建工作環(huán)境，該環(huán)境會(huì)保存所有的配置文件：

mkdir ~/my-cluster
cd ~/my-cluster

（2）創(chuàng)建集群，其中mon_server是monitor節(jié)點(diǎn)，執(zhí)行該命令會(huì)生成ceph配置文件、monitor密鑰文件以及日志文件。
ceph-deploy new mon_server

（3）修改默認(rèn)冗余份數(shù)（此參數(shù)只有當(dāng)OSD節(jié)點(diǎn)小于3的時(shí)候才需要修改，默認(rèn)的冗余份數(shù)是3，如果是2節(jié)點(diǎn)需要設(shè)置為2，如果osd節(jié)點(diǎn)大于2，則此步驟省略），修改ceph.conf文件，第一個(gè)參數(shù)2是副本數(shù)量，第二個(gè)2000是 日志大小約為2G，在[global]下增加以下內(nèi)容：

osd pool default size = 2
osd journal size = 2000 

（4）配置網(wǎng)卡和網(wǎng)絡(luò)（OSD節(jié)點(diǎn)單網(wǎng)卡請(qǐng)忽略）
OSD節(jié)點(diǎn)是雙網(wǎng)卡，因此需要設(shè)置使用的網(wǎng)卡和網(wǎng)絡(luò)地址

修改ceph.conf文件，在[global]下增加以下內(nèi)容：

public network = 192.168.31.0/24
cluster network = 10.10.100.0/24

（5）開(kāi)始安裝ceph
注：因?yàn)镃FW的問(wèn)題，管理節(jié)點(diǎn)ceph-Deploy前Ceph鏡像源修改非常重要，這里采用了網(wǎng)易鏡像

export CEPH_DEPLOY_REPO_URL=http://mirrors.163.com/ceph/debian-luminous/
export CEPH_DEPLOY_GPG_URL=http://mirrors.163.com/ceph/keys/release.asc

（6）在所有節(jié)點(diǎn)開(kāi)始安裝ceph
ceph-deploy install admin_server mon_server osd_server_1 osd_server_2

（7）初始化mon節(jié)點(diǎn)和收集密鑰信息
ceph-deploy mon create-initial

執(zhí)行完畢，目錄應(yīng)該有以下文件：

{cluster-name}.client.admin.keyring
{cluster-name}.bootstrap-osd.keyring
{cluster-name}.bootstrap-mds.keyring
{cluster-name}.bootstrap-rgw.keyring

完成以上步驟，安裝完成，但還沒(méi)有配置osd節(jié)點(diǎn)。

（8） 配置osd節(jié)點(diǎn)
lsblk命令查看磁盤(pán)結(jié)構(gòu)，假設(shè)選擇的是/dev/sdb（使用虛擬機(jī)的話，可以添加磁盤(pán)）

格式化對(duì)應(yīng)的磁盤(pán)：

ceph-deploy disk zap osd_server_1:sdb
ceph-deploy disk zap osd_server_2:sdb

以上步驟會(huì)清空磁盤(pán)的所有數(shù)據(jù)。 接下來(lái)創(chuàng)建osd，注意由于我們只是測(cè)試，故沒(méi)有使用多帶帶的磁盤(pán)作為journal，實(shí)際在生產(chǎn)環(huán)境下，需要配備SSD分區(qū)作為journal，能夠最大化IO吞吐量。

ceph-deploy osd create osd_server_1:sdb
ceph-deploy osd create osd_server_2:sdb

（9）配置admin節(jié)點(diǎn)
admin節(jié)點(diǎn)同時(shí)也作為我們的client節(jié)點(diǎn)，需要拷貝其他節(jié)點(diǎn)的配置文件以及密鑰，使得不需要指定mon地址以及用戶信息就可以直接管理我們的ceph集群，執(zhí)行以下命令即可：

ceph-deploy admin admin_server mon_server osd_server_1 osd_server_2
sudo chmod +r /etc/ceph/ceph.client.admin.keyring # 保證具有讀取的密鑰的權(quán)限

（10）配置mgr
運(yùn)行ceph health，打印：
HEALTH_WARN no active mgr
自從ceph 12開(kāi)始，manager是必須的。應(yīng)該為每個(gè)運(yùn)行monitor的機(jī)器添加一個(gè)mgr，否則集群處于WARN狀態(tài)。（具體可以參考Luminous的release日志）
在mon_server上創(chuàng)建名稱為mon_mgr的mgr服務(wù)
ceph-deploy mgr create mon_server:mon_mgr
查看狀態(tài)：

hcy@admin_server:~/my-cluster$ ceph health
HEALTH_OK
hcy@admin_server:~/my-cluster$ ceph -s
 cluster:
 id: 7981a8fc-378d-4564-95cf-e464d46bdd38
 health: HEALTH_OK
 
 services:
 mon: 1 daemons, quorum mon_server
 mgr: mon_mgr(active)
 osd: 2 osds: 2 up, 2 in
 
 data:
 pools: 0 pools, 0 pgs
 objects: 0 objects, 0 bytes
 usage: 2108 MB used, 28409 MB / 30517 MB avail
 pgs: 

（11）訪問(wèn)dashboard
啟用dashboard（mon_server節(jié)點(diǎn)）

ceph mgr module enable dashboard
通過(guò) http://192.168.31.132:7000 訪問(wèn)dashboard

dashboard的port默認(rèn)為7000，可以執(zhí)行ceph config-key set mgr/dashboard/server_port $PORT修改port。
也可以執(zhí)行ceph config-key set mgr/dashboard/server_addr $IP指定dashboard的訪問(wèn)IP。

至此Ceph的集群搭建算是完成了，下一步會(huì)進(jìn)行塊設(shè)備的搭建。
參考：

CEPH 分布式存儲(chǔ)部署手冊(cè) (Ubuntu 14.04)
如何在 Ubuntu 16.04 中安裝 Ceph 存儲(chǔ)集群
CentOS7.2部署Luminous版Ceph-12.2.0