點(diǎn)擊上方藍(lán)字關(guān)注我們

FastDFS簡介

FastDFS是一個開源的分布式文件系統(tǒng)。

場景功能包括：

文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負(fù)載均衡的問題。特別適合以文件為載體的在線服務(wù)，如相冊網(wǎng)站、視頻網(wǎng)站等等。

FastDFS架構(gòu)：

FastDFS服務(wù)端有兩個角色：跟蹤器（tracker）和存儲節(jié)點(diǎn)（storage）。跟蹤器主要做調(diào)度工作，在訪問上起負(fù)載均衡的作用。

跟蹤器和存儲節(jié)點(diǎn)都可以由一臺多臺服務(wù)器構(gòu)成。跟蹤器和存儲節(jié)點(diǎn)中的服務(wù)器均可以隨時增加或下線而不會影響線上服務(wù)。其中跟蹤器中的所有服務(wù)器都是對等的，可以根據(jù)服務(wù)器的壓力情況隨時增加或減少。

下載相關(guān)軟件包

fastdfs-6.06.tar.gz

libfastcommon-1.0.43.tar.gz

fastdfs-nginx-module-1.22.tar.gz

nginx-1.16.1.tar.gz

安裝環(huán)境依賴包

Yuminstall  gcc gcc-c++ make cmake automake autoconf libtool pcrepcre-devel pcre* zlib zlib-devel openssl openssl-devel libeventlibevent-devel perl perl-devel unzip zip net-tools

安裝libfastcommon

設(shè)置安裝路徑(可自定義路徑)

創(chuàng)建路徑

exportDESTDIR=/hadoop/fastdfs/opt/fastdfs

查詢路徑echo$DESTDIR

解壓并進(jìn)入libfastcommon-1.0.43目錄

執(zhí)行./make.sh&& make install

安裝fastdfs

解壓fastdfs-6.06.tar.gz安裝包

修改make.sh

cd/hadoop/fastdfs/soft/fastdfs-6.06

vimake.sh

LIBS="-Wl,-rpath=/hadoop/fastdfs/opt/fastdfs/usr/lib64"#lib安裝路徑

修改TARGET_CONF_PATH設(shè)置文件配置路徑

if[ ! -d $TARGET_CONF_PATH ]; then
mkdir -p $TARGET_CONF_PATH

修改trackerMakefile.in文件

INC_PATH= -I../common -I${DESTDIR}/usr/include/fastcommon
LIB_PATH =$(LIBS) -L${DESTDIR}/usr/lib64 -lfastcommon

修改storageMakefile.in文件

INC_PATH= -I. -Itrunk_mgr -I../common -I../tracker -I../client -Ifdht_client-I${DESTDIR}/usr/include/fastcommon
LIB_PATH = $(LIBS)-L${DESTDIR}/usr/lib64 -lfastcommon

修改clientMakefile.in文件

INC_PATH= -I../common -I../tracker-I${DESTDIR}/usr/include/fastcommon
LIB_PATH = $(LIBS)-L${DESTDIR}/usr/lib64 -lfastcommon

執(zhí)行編譯

cd/hadoop/fastdfs/soft/fastdfs-6.06/

./make.sh&& make.shinstall

安裝fastdfs-nginx-module

解壓安裝包

tarzxvf fastdfs-nginx-module-1.22.tar.gz

修改fastdfs-nginx-module編譯配置

vifastdfs-nginx-module-1.22/src/config
ngx_module_incs="${DESTDIR}/usr/include${DESTDIR}/usr/include/fastcommon"
CORE_INCS="$CORE_INCS${DESTDIR}/usr/include ${DESTDIR}/usr/include/fastcommon"

修改MOD_CONF_FILENAME文件路徑名稱

-DFDFS_MOD_CONF_FILENAME="/hadoop/fastdfs/opt/fastdfs/etc/fdfs/mod_fastdfs.conf""

復(fù)制fastdfs-nginx-module配置文件到fastdfs存放配置文件的目錄

cp/hadoop/fastdfs/soft/fastdfs-nginx-module-1.22/src/mod_fastdfs.conf/hadoop/fastdfs/opt/fastdfs/etc/fdfs/

安裝nginx

cd/hadoop/fastdfs/soft/nginx-1.16.1

./configure--prefix=/hadoop/fastdfs/opt/nginx-fdfs--add-module=/hadoop/fastdfs/soft/fastdfs-nginx-module-1.22/src--with-http_ssl_module --with-ld-opt="-L/hadoop/fastdfs/opt/fastdfs/usr/lib-Wl,-rpath=/hadoop/fastdfs/opt/fastdfs/usr/lib64"

;make

注意：此時需要移除為了先面編譯設(shè)置的變量DESTDIR，因?yàn)檫@個變量和nginx自帶某變量沖突，會導(dǎo)致nginx執(zhí)行makeinstall是安裝路徑混亂

exportDESTDIR=""

再執(zhí)行makeinstall

檢查nginx是否正常加載所有依賴

ldd/hadoop/fastdfs/opt/nginx-fdfs/sbin/nginx

復(fù)制fastdfs源碼中給的參考配置文件到fastdfs安裝目錄

cp./hadoop/fastdfs/soft/fastdfs-6.06/conf/*.conf/hadoop/fastdfs/opt/fastdfs/etc/fdfs/

創(chuàng)建啟動腳本目錄

mkdir/hadoop/fastdfs/bin

cp/hadoop/fastdfs/opt/fastdfs/etc/init.d/*/hadoop/fastdfs/bin

修改兩個啟動腳本中程序目錄和配置文件目錄

vi/hadoop/fastdfs/bin/fdfs_trackerd
PRG=/hadoop/fastdfs/opt/fastdfs/usr/bin/fdfs_trackerd
CONF=/hadoop/fastdfs/opt/fastdfs/etc/fdfs/tracker.conf

vi/home/fastdfs/bin/fdfs_storaged

PRG=/hadoop/fastdfs/opt/fastdfs/usr/bin/fdfs_storaged
CONF=/hadoop/fastdfs/opt/fastdfs/etc/fdfs/storage.conf

1.配置fastdfs

編輯tracker.conf

store_lookup=0 #選擇上傳文件的組的方法,，0為循環(huán)

base_path= /hadoop/fastdfs/tracker #tracker日志路徑

http.server_port= 8090  #http端口

2.配置client.conf

base_path= /hadoop/fastdfs/client  #日志路徑

tracker_server= 192.168.10.30:22122  #tracker地址

tracker_server= 192.168.10.40:22122

tracker_server= 192.168.10.50:22122

注：

Trackerserver作用也正是負(fù)載均衡和調(diào)度
Storageserver作用是文件存儲，客戶端上傳的文件最終存儲在Storage服務(wù)上

3.配置storage.conf

vistorage.conf

group_name= group1  #組名，由storage服務(wù)器組成

network_timeout= 60

base_path= /hadoop/fastdfs/storage  #日志路徑

store_path0= /hadoop/fastdfs/storepath0  #存儲目錄

tracker_server= 192.168.10.30:22122  #tracker服務(wù)器名稱

tracker_server= 192.168.10.40:22122

tracker_server= 192.168.10.50:22122

http.server_port= 8888  #http端口

注：storage_server在啟動時要注冊到tracker_server,
從而實(shí)現(xiàn)由tracker_server對其進(jìn)行調(diào)度

4.配置fastdfs-nginx-module

解壓fastdfs-nginx-module-1.22.tar.gz

vi./fastdfs-nginx-module/src/mod_fastdfs.conf

connect_timeout=2 #連接超時時間

group_name=group1 #storage組名

tracker_server=192.168.10.30:22122

tracker_server=192.168.10.40:22122

tracker_server=192.168.10.50:22122

url_have_group_name= true

store_path0=/hadoop/fastdfs/storepath0  #存儲路徑

group_count= 2   #組數(shù)量

[group1]   #組配置

group_name=group1

storage_server_port=23000 #存儲端口

store_path_count=1 #存儲路徑數(shù)

store_path0=/hadoop/fastdfs/storepath0   #存儲路徑

創(chuàng)建軟鏈接

ln-s /hadoop/fastdfs/storepath0/data/hadoop/fastdfs/storepath0/data/M00

5.配置Nginx

vimnginx.conf

listen      8090;

server_name  localhost;

location ~/group([0-9])/M00 {

ngx_fastdfs_module;

}

服務(wù)啟動trackerd/storaged

啟動順序（tracker必須先啟動）

./fdfs_trackerdstart|stop|restart
./fdfs_storaged start|stop|restart

nginx啟動

./sbin/nginx

查詢進(jìn)程

文件上傳測試

進(jìn)入/hadoop/fastdfs/opt/fastdfs/usr/bin目錄，上傳測試文件

./fdfs_test/hadoop/fastdfs/opt/fastdfs/etc/fdfs/client.conf upload/hadoop/fastdfs/341c904235fc6c73778bbb7da5d_p24_mk24.jpg 

其他節(jié)點(diǎn)查詢測試文件

END