搭建分布式文件系统FastDFS
共 6632字,需浏览 14分钟
·
2020-08-04 10:18
阅读文本大概需要3分钟。
0x01:前言
FastDFS(Fast Distributed File System)是一款开源轻量级分布式文件系统;
FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。
跟踪器(tracker)
tracker Server是fastDFS的协调者(中间人角色);完整的fastDFS服务运行期间,我们将对无法对storage Server进行直接管理,仅仅我们发起的操作会对storage Server内的文件进行操作,而真正对storage Server进行管理的是tracker Server——每个storage Server在启动后,会连接tracker Server并告知之自己的信息(如所在group),并且在tracker Server与该storage Server之间保持连接,两个角色之间会进行信息的交流,tracker Server会根据storage Server的反馈信息,在内存中(tracker Server不需要持久化任何数据)建立group==>[storage server list]映射表。
在fastDFS集群中,多个tracker Server之间的信息数据会进行同步,而这一机制并不是由tracker Server之间互相完成的,而是由storage Server完成的。因为在storage Server的配置文件有该fastDFS服务中的所有tracker Server,storage Server会为每一个tracker Server创建一个通信线程,在storage Server与tracker Server通信过程中,如果该tracker Server返回的该group的storage Server列表信息相对于本机较少,那么storage Server就会将该tracker Server上所没有的该group的storage Server列表信息同步给该tracker Server。这就使得各tracker Server之间的数据保持一致。
存储节点(storage)
storage Server是存储的角色,存储文件由storage Server进行管理。每一个storage Server的数据存储目录会有两级子目录,每一级都有256个子文件夹,一共有256*256=65536个文件夹。当有新文件被写入时,会以hash的方式被路由到其中的某个子目录下,然后新文件数据直接作为一个本地文件存储到该目录中。
storage Server以group【或volume(一个意思)】为单位组织,即便整个fastDFS只有一个storage Server,它也有一个group。
在fastDFS集群中,以group为单位可以方便负载均衡,由tracker Server配合可以实现改组内访问压力的均衡;也可以方便副本(即备份)数量的定制,同一组内的storage Server的数量减一,即为副本的数量。
在一个group内的storage Server之间的数据会互为备份,这一功能是由后台线程完成的。当客户端将一个文件写入group内的一个storage Server,则会认为文件写入成功,后台线程便会将文件同步到该group内的storage Server。注意:由于一个group内的storage Server数据互为备份,所以存储空间的容量由该group内的最小容量的storage Server决定。
同一个group内的storage Server在写文件后,会写一份binlog,这个binlog记录着文件名等元信息,它用于后台的同步,每个storage Server会记录向该group内其他storage Server的同步进度,记录进度的方式是时间戳,为的是避免机器down掉失去同步进度,以便在机器重启后接着进度继续同步。同时storage Server的同步进度会以元数据发送给tracker Server,以便在client访问文件时,作为tracker Server选择服务的storage Server的参考(即哪台strong Server上有该文件)。
0x02:安装libfastcommon
获取libfastcommon安装包:
wget https://github.com/happyfish100/libfastcommon/archive/V1.0.38.tar.gz
解压安装包:tar -zxvf V1.0.38.tar.gz
进入目录:cd libfastcommon-1.0.38
执行编译:./make.sh
安装:./make.sh install
可能遇到的问题:
-bash: make: command not found
-bash: gcc: command not found
解决方案:
debian通过apt-get install gcc make安装
centos通过yum -y install gcc make安装
0x03:安装FastDFS
获取fdfs安装包:
wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz
解压安装包:tar -zxvf V5.11.tar.gz
进入目录:cd fastdfs-5.11
执行编译:./make.sh
安装:./make.sh install
查看可执行命令:ls -la /usr/bin/fdfs*
0x04:配置Tracker服务
进入/etc/fdfs目录,有三个.sample后缀的文件(自动生成的fdfs模板配置文件),通过cp命令拷贝tracker.conf.sample,删除.sample后缀作为正式文件:
编辑tracker.conf:vi tracker.conf,修改相关参数
base_path=/home/mm/fastdfs/tracker #tracker存储data和log的跟路径,必须提前创建好
port=23000 #tracker默认23000
http.server_port=80 #http端口,需要和nginx相同启动tracker(支持start|stop|restart):
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start
查看tracker启动日志:进入刚刚指定的base_path(/home/mm/fastdfs/tracker)中有个logs目录,查看tracker.log文件
查看端口情况:netstat -apn|grep fdfs
可能遇到的报错:
/usr/bin/fdfs_trackerd: error while loading shared libraries:
libfastcommon.so: cannot open shared object file:
No such file or directory
解决方案:建立libfastcommon.so软链接
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
0x05:配置Storage服务
进入/etc/fdfs目录,有cp命令拷贝storage.conf.sample,删除.sample后缀作为正式文件;
编辑storage.conf:vi storage.conf,修改相关参数:
base_path=/home/mm/fastdfs/storage #storage存储data和log的跟路径,必须提前创建好
port=23000 #storge默认23000,同一个组的storage端口号必须一致
group_name=group1 #默认组名,根据实际情况修改
store_path_count=1 #存储路径个数,需要和store_path个数匹配
store_path0=/home/mm/fastdfs/storage #如果为空,则使用base_path
tracker_server=10.122.149.211:22122 #配置该storage监听的tracker的ip和port启动storage(支持start|stop|restart):
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf start
查看storage启动日志:进入刚刚指定的base_path(/home/mm/fastdfs/storage)中有个logs目录,查看storage.log文件
此时再查看tracker日志:发现已经开始选举,并且作为唯一的一个tracker,被选举为leader
查看端口情况:netstat -apn|grep fdfs
通过monitor来查看storage是否成功绑定:
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

0x06:安装Nginx和fastdfs-nginx-module模块
下载Nginx安装包
wget http://nginx.org/download/nginx-1.15.2.tar.gz
下载fastdfs-nginx-module安装包
wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz
解压nginx:tar -zxvf nginx-1.15.2.tar.gz
解压fastdfs-nginx-module:tar -xvf V1.20.tar.gz
进入nginx目录:cd nginx-1.10.1
安装依赖的库
apt-get update
apt-get install libpcre3 libpcre3-dev openssl libssl-dev libperl-dev配置,并加载fastdfs-nginx-module模块:
./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/fastdfs-nginx-module-1.20/src/
编译安装:
make
make install查看安装路径:whereis nginx
启动、停止:
cd /usr/local/nginx/sbin/
./nginx
./nginx -s stop #此方式相当于先查出nginx进程id再使用kill命令强制杀掉进程
./nginx -s quit #此方式停止步骤是待nginx进程处理任务完毕进行停止
./nginx -s reload验证启动状态:wget "http://127.0.0.1"
查看此时的nginx版本:发现fastdfs模块已经安装好了
可能的报错:
/usr/include/fastdfs/fdfs_define.h:15:27: fatal error: common_define.h:
No such file or directory
解决方案:修改fastdfs-nginx-module-1.20/src/config文件,然后重新第7步开始
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
0x08:配置Nginx和fastdfs-nginx-module模块
配置mod-fastdfs.conf,并拷贝到/etc/fdfs文件目录下
cd fastdfs-nginx-module-1.20/src/
cp mod_fastdfs.conf /etc/fdfs进入/etc/fdfs修改mod-fastdfs.conf:
base_path=/home/mm/fastdfs
tracker_server=10.122.149.211:22122 #tracker的地址
url_have_group_name=true #url是否包含group名称
storage_server_port=23000 #需要和storage配置的相同
store_path_count=1 #存储路径个数,需要和store_path个数匹配
store_path0=/home/mm/fastdfs/storage #文件存储的位置配置nginx,80端口server增加location如图:
cd /usr/local/nginx/conf/
vi nginx.conf
最后需要拷贝fastdfs解压目录中的http.conf和mime.types:
cd /usr/local/src/fastdfs-5.11/conf
cp mime.types http.conf /etc/fdfs/
0x09:FastDFS常用命令测试
上传文件
进入/etc/fdfs目录,有cp命令拷贝client.conf.sample,删除.sample后缀作为正式文件;
修改client.conf相关配置:
base_path=/home/mm/fastdfs/tracker //tracker服务器文件路径
tracker_server=10.122.149.211:22122 //tracker服务器IP地址和端口号
http.tracker_server_port=80 # tracker服务器的http端口号,必须和tracker的设置对应起来新建一个测试文档1.txt,内容为abc
命令:
/usr/bin/fdfs_upload_file <config_file> <local_filename>
示例:
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf 1.txt

组名:group1
磁盘:M00
目录:00/00
文件名称:CnqV01trmeyAbAN0AAAABLh3frE677.txt查看结果,进入storage的data目录:
通过wget和浏览器方式访问成功:
wget http://10.122.149.211/group1/M00/00/00/CnqV01trmeyAbAN0AAAABLh3frE677.txt

下载文件:
命令:
/usr/bin/fdfs_download_file <config_file> <file_id> [local_filename]
示例:
/usr/bin/fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/CnqV01trmeyAbAN0AAAABLh3frE677.txt a.txt
查看结果:
删除文件:
命令:
/usr/bin/fdfs_delete_file <config_file> <file_id>
示例:
/usr/bin/fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/CnqV01trmeyAbAN0AAAABLh3frE677.txt
查看结果,进入storage的data目录文件不存在,通过wget再次获取404:
☆
往期精彩
☆
02 Nacos源码编译
关注我
每天进步一点点