| 软件包 | 版本| | --- | --- | |FastDFS|v5.12-master| |libfastcommon|v1.0.38-master| |fastdfs-nginx-module|v1.20| |tengine|v2.2.2| [TOC] ## 1.更新源 ``` yum update yum install gcc ``` ## 2.安装libfastcommon ① 下载libfastcommon ``` wget https://github.com/happyfish100/libfastcommon/archive/V1.0.38.tar.gz ``` ② 解压 ``` tar -zxvf libfastcommon-1.0.38.tar.gz cd libfastcommon-1.0.38 ``` ③ 编译、安装 ``` ./make.sh ./make.sh install ``` ④ libfastcommon.so 安装到了/usr/lib64/libfastcommon.so，但是FastDFS主程序设置的lib目录是/usr/local/lib，所以需要创建软链接。 ``` ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so ``` ## 3.下载安装FastDFS ① 下载FastDFS ``` wget https://github.com/happyfish100/fastdfs/archive/V5.12.tar.gz ``` ② 解压 ``` tar -zxvf fastdfs-5.12.tar.gz cd fastdfs-5.12 ``` ③ 编译、安装 ``` ./make.sh ./make.sh install ``` ④ 默认安装方式安装后的相应文件与目录 　　A、服务脚本： ``` 　　/etc/init.d/fdfs_storaged 　　/etc/init.d/fdfs_trackered ``` 　　B、配置文件（这三个是作者给的样例配置文件） : ``` 　　/etc/fdfs/client.conf.sample 　　/etc/fdfs/storage.conf.sample 　　/etc/fdfs/tracker.conf.sample ``` 　　C、命令工具在 /usr/bin/ 目录下： ``` 　　fdfs_appender_test 　　fdfs_appender_test1 　　fdfs_append_file 　　fdfs_crc32 　　fdfs_delete_file 　　fdfs_download_file 　　fdfs_file_info 　　fdfs_monitor 　　fdfs_storaged 　　fdfs_test 　　fdfs_test1 　　fdfs_trackerd 　　fdfs_upload_appender 　　fdfs_upload_file 　　stop.sh 　　restart.sh ``` ⑤ FastDFS 服务脚本设置的 bin 目录是 /usr/local/bin， 但实际命令安装在 /usr/bin/ 下。 　　两种方式： 　　》 一是修改FastDFS 服务脚本中相应的命令路径，也就是把 /etc/init.d/fdfs_storaged 和 /etc/init.d/fdfs_tracker 两个脚本中的 /usr/local/bin 修改成 /usr/bin。 ``` 　　　 # vim fdfs_trackerd 　　　　使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin 　　　　# vim fdfs_storaged 　　　　使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin ``` 　　》 二是建立 /usr/bin 到 /usr/local/bin 的软链接，我是用这种方式。　　 ``` 　　ln -s /usr/bin/fdfs_trackerd /usr/local/bin 　　ln -s /usr/bin/fdfs_storaged /usr/local/bin 　　ln -s /usr/bin/stop.sh /usr/local/bin 　　ln -s /usr/bin/restart.sh /usr/local/bin ``` ⑥ 复制配置文件 ``` cd /etc/fdfs/ cp client.conf.sample client.conf cp storage.conf.sample storage.conf cp tracker.conf.sample tracker.conf cp storage_ids.conf.sample storage_ids.conf ``` ## 4.配置FastDFS跟踪器(Tracker) 配置文件详细说明参考：FastDFS 配置文件详解 ① 进入 /etc/fdfs ``` cd /etc/fdfs vim tracker.conf ``` ② 编辑tracker.conf， ----------------------的需要修改下，其它的默认即可。 ``` # 配置文件是否不生效，false 为生效 disabled=false # 提供服务的端口 port=22122 # Tracker 数据和日志目录地址(根目录必须存在,子目录会自动创建) base_path=/dopan/fastdfs/tracker ---------------------- # HTTP 服务端口 http.server_port=7080 ---------------------- ``` ③ 创建tracker基础数据目录，即base_path对应的目录 ``` mkdir -p /dopan/fastdfs/tracker ``` ④ 防火墙中打开跟踪端口（默认的22122） ``` vim /etc/sysconfig/iptables ``` 添加如下端口行： ``` -A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT ``` 重启防火墙： ``` service iptables restart ``` ⑤ 启动Tracker 初次成功启动，会在 /dopan/fastdfs/tracker/ (配置的base_path)下创建 data、logs 两个目录。 可以用这种方式启动 ``` /etc/init.d/fdfs_trackerd start ``` 也可以用这种方式启动，前提是上面创建了软链接，后面都用这种方式 ``` service fdfs_trackerd start ``` 查看 FastDFS Tracker 是否已成功启动 ，22122端口正在被监听，则算是Tracker服务安装成功。 ``` netstat -unltp|grep tracker ``` 关闭Tracker命令： ``` service fdfs_trackerd stop ``` ⑥ 设置Tracker开机启动 ``` chkconfig fdfs_trackerd on 或者： vim /etc/rc.d/rc.local ``` 加入配置： ``` /etc/init.d/fdfs_trackerd start 或者： service fdfs_trackerd start ``` ⑦ tracker server 目录及文件结构 Tracker服务启动成功后，会在base_path下创建data、logs两个目录。目录结构如下： ${base_path} |__data | |__storage_groups.dat：存储分组信息 | |__storage_servers.dat：存储服务器列表 |__logs | |__trackerd.log： tracker server 日志文件 ## 5.配置 FastDFS 存储 (Storage) ① 进入 /etc/fdfs 目录 ``` cd /etc/fdfs vim storage.conf ``` ② 编辑storage.conf， ----------------------的需要修改下，其它的默认即可。 ``` # 配置文件是否不生效，false 为生效 disabled=false # 指定此 storage server 所在 组(卷) group_name=group1 # storage server 服务端口 port=23000 # 心跳间隔时间，单位为秒 (这里是指主动向 tracker server 发送心跳) heart_beat_interval=30 # Storage 数据和日志目录地址(根目录必须存在，子目录会自动生成) base_path=/dopan/fastdfs/storage ---------------------- # 存放文件时 storage server 支持多个路径。这里配置存放文件的基路径数目，通常只配一个目录。 store_path_count=1 # 逐一配置 store_path_count 个路径，索引号基于 0。 # 如果不配置 store_path0，那它就和 base_path 对应的路径一样。 store_path0=/dopan/fastdfs/file ---------------------- # FastDFS 存储文件时，采用了两级目录。这里配置存放文件的目录个数。 # 如果本参数只为 N（如： 256），那么 storage server 在初次运行时，会在 store_path 下自动创建 N * N 个存放文件的子目录。 subdir_count_per_path=256 # tracker_server 的列表 ，会主动连接 tracker_server # 有多个 tracker server 时，每个 tracker server 写一行 tracker_server=ip:22122 ---------------------- # 允许系统同步的时间段 (默认是全天) 。一般用于避免高峰同步产生一些问题而设定。 sync_start_time=00:00 sync_end_time=23:59 # 访问端口 http.server_port=7888 ---------------------- ``` ③ 创建Storage基础数据目录，对应base_path目录 ``` mkdir -p /dopan/fastdfs/storage # 这是配置的store_path0路径 mkdir -p /dopan/fastdfs/file ``` ④ 防火墙中打开存储器端口（默认的 23000） ``` vim /etc/sysconfig/iptables ``` 添加如下端口行： ``` -A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT ``` 重启防火墙： ``` service iptables restart ``` ⑤ 启动 Storage 启动Storage前确保Tracker是启动的。初次启动成功，会在 /dopan/fastdfs/storage 目录下创建 data、 logs 两个目录。 可以用这种方式启动 ``` /etc/init.d/fdfs_storaged start ``` 也可以用这种方式，后面都用这种 ``` service fdfs_storaged start ``` 查看 Storage 是否成功启动，23000 端口正在被监听，就算 Storage 启动成功。 ``` netstat -unltp|grep storage ``` 关闭Storage命令： ``` service fdfs_storaged stop ``` 查看Storage和Tracker是否在通信： ``` /usr/bin/fdfs_monitor /etc/fdfs/storage.conf ``` 显示ip_addr = 192.168.56.140 ACTIVE 即为通信成功 ⑥ 设置 Storage 开机启动 ``` chkconfig fdfs_storaged on 或者： vim /etc/rc.d/rc.local ``` 加入配置： ``` /etc/init.d/fdfs_storaged start ``` ⑦ Storage 目录 同 Tracker，Storage 启动成功后，在base_path 下创建了data、logs目录，记录着 Storage Server 的信息。 在 store_path0 目录下，创建了N*N个子目录。 6.文件上传测试 ① 修改 Tracker 服务器中的客户端配置文件 ``` cd /etc/fdfs vim client.conf ``` 修改如下配置即可，其它默认。 ``` # Client 的数据和日志目录 base_path=/dopan/fastdfs/client # Tracker端口 tracker_server=ip:22122 ``` ②创建配置的base_path路径 ``` mkdir -p /dopan/fastdfs/client ``` ③ 上传测试 在linux内部执行如下命令上传 test.jpg 图片 ``` /usr/bin/fdfs_upload_file /etc/fdfs/client.conf test.jpg #这后面放的是图片的位置 ``` 上传成功后返回文件ID号：group1/M00/00/00/wKg4jFtibkaAQt72AACtutzJ9C8073.jpg 返回的文件ID由group、存储目录、两级子目录、fileid、文件后缀名（由客户端指定，主要用于区分文件类型）拼接而成。 我们仔细看一下，实际文件存储路径下有创建好的多级目录。data下有256个1级目录，每级目录下又有256个2级子目录，总共65536个文件，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据直接作为一个本地文件存储到该目录中。 ## 7.安装Nginx 在安装tengine之前，确认centos环境中有无gcc、pcre、openssl，如果没有按以下命令进行安装 zlib 安装 ``` yum install -y zlib zlib-devel yum install gcc ``` PCRE pcre-devel 安装 ``` yum install -y pcre pcre-devel ``` 安装最新版本：pcre-devel-7.8-6.el6.i686 ``` yum install -y openssl openssl-devel ``` 安装最新版本：openssl-devel-1.0.1e-30.el6_6.5.i686 开始安装tengine，注意确认有无nginx用户和app用户组，或者根据自身情况更改 下载 fastdfs-nginx-module、解压 ``` wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz # 解压 tar -zxvf fastdfs-nginx-module-1.20.tar.gz wget http://tengine.taobao.org/download/tengine-2.2.2.tar.gz tar -vxzf tengine-2.2.2.tar.gz cd tengine-2.2.2 groupadd app useradd -g app nginx ./configure --prefix=/usr/local/nginx --user=nginx --group=app --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_concat_module --with-http_upstream_check_module --with-http_sub_module --with-http_realip_module --add-module=../fastdfs-nginx-module-1.20/src make make install ------------------------------- tar -vxzf nginx-1.14.0.tar.gz cd nginx-1.14.0 groupadd app useradd -g app nginx ./configure --prefix=/usr/local/nginx --user=nginx --group=app --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_sub_module --with-http_realip_module --add-module=../fastdfs-nginx-module-1.20/src make && make install ------------------------------- cp /usr/local/nginx/sbin/nginx /etc/init.d/nginx ``` 启动nginx ``` service nginx ``` 其它命令 ``` service nginx -s stop service nginx -s quit service nginx -s reload ``` 设置开机启动 ``` vim /etc/rc.local ``` 添加一行： ``` /etc/init.d/nginx ``` 防火墙中打开Nginx端口（默认的 80） 添加后就能在本机使用80端口访问了。 ``` vim /etc/sysconfig/iptables ``` 添加如下端口行： ``` -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT ``` 重启防火墙： ``` service iptables restart ``` 7.1访问文件 简单的测试访问文件 ① 修改nginx.conf ``` vim /usr/local/nginx/conf/nginx.conf ``` 添加如下行，将 /group([0-9])/M00 映射到 /dopan/fastdfs/file/data ``` location ~/group([0-9])/M00 { alias /dopan/fastdfs/file/data; } ``` 重启nginx ``` service nginx -s reload ``` ② 在浏览器访问之前上传的图片、成功。 http://ip/group1/M00/00/00/wKg4jFtibkaAQt72AACtutzJ9C8073.jpg ## 8.FastDFS 配置 Nginx 模块 1、安装配置Nginx模块 ① fastdfs-nginx-module 模块说明 　　FastDFS 通过 Tracker 服务器，将文件放在 Storage 服务器存储， 但是同组存储服务器之间需要进行文件复制， 有同步延迟的问题。 　　假设 Tracker 服务器将文件上传到了 192.168.51.128，上传成功后文件 ID已经返回给客户端。 　　此时 FastDFS 存储集群机制会将这个文件同步到同组存储 192.168.51.129，在文件还没有复制完成的情况下，客户端如果用这个文件 ID 在 192.168.51.129 上取文件,就会出现文件无法访问的错误。 　　而 fastdfs-nginx-module 可以重定向文件链接到源服务器取文件，避免客户端由于复制延迟导致的文件无法访问错误。 ② 配置Nginx 在nginx中添加模块 ``` # 先停掉nginx服务 /usr/local/nginx/sbin/nginx -s stop ``` ③ 查看Nginx的模块 ``` /usr/local/nginx/sbin/nginx -V ``` ④ 复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录， 并修改 ``` cd fastdfs-nginx-module-1.20/src cp mod_fastdfs.conf /etc/fdfs/ ``` 修改如下配置，其它默认 ``` # 连接超时时间 connect_timeout=10 # Tracker Server tracker_server=ip:22122 # StorageServer 默认端口 storage_server_port=23000 # 如果文件ID的uri中包含/group**，则要设置为true url_have_group_name = true # Storage 配置的store_path0路径，必须和storage.conf中的一致 store_path0=/dopan/fastdfs/file # 设置组的个数 group_count = 1 # 在文件的最后，设置group [group1] group_name=group1 storage_server_port=23000 # store_path数量 store_path_count=1 store_path0=/dopan/fastdfs/file #store_path1=/home/yuqing/fastdfs1 -------------------------------------------------------------------- 不用# vim storage_ids.conf ``` ⑤ 复制 FastDFS 的部分配置文件到/etc/fdfs 目录 ``` cd fastdfs-5.12/conf/ cp http.conf mime.types /etc/fdfs/ ``` ⑥ 配置nginx，修改nginx.conf ``` vim /usr/local/nginx/conf/nginx.conf ``` 修改配置，其它的默认 在80端口下添加fastdfs-nginx模块，原来7.1步骤的注释掉 ``` location ~/group([0-9])/M00 { ngx_fastdfs_module; } ``` 注意： 　　listen 80 端口值是要与 /etc/fdfs/storage.conf 中的 http.server_port=80 (前面改成80了)相对应。如果改成其它端口，则需要统一，同时在防火墙中打开该端口。 　　location 的配置，如果有多个group则配置location ~/group([0-9])/M00 ，没有则不用配group。 ⑦ 在/dopan/fastdfs/file 文件存储目录下创建软连接，将其链接到实际存放数据的目录，这一步可以省略。 ``` ln -s /dopan/fastdfs/file/data/ /dopan/fastdfs/file/data/M00 ``` ⑧ 启动nginx ``` service nginx ``` 打印出`ngx_http_fastdfs_set pid=39973`就算配置成功 ⑨ 在地址栏访问。 能下载文件就算安装成功。注意和第三点中直接使用nginx路由访问不同的是，这里配置 fastdfs-nginx-module 模块，可以重定向文件链接到源服务器取文件。 http://ip/group1/M00/00/00/wKg4jFtibkaAQt72AACtutzJ9C8073.jpg 查看 fastdfs 是否成功启动 ``` netstat -unltp|grep fdfs service fdfs_storaged stop service fdfs_trackerd stop service nginx ``` ## 9.权限控制 前面使用nginx支持http方式访问文件，但所有人都能直接访问这个文件服务器了，所以做一下权限控制。 FastDFS的权限控制是在服务端开启token验证，客户端根据文件名、当前unix时间戳、秘钥获取token，在地址中带上token参数即可通过http方式访问文件。 ① 服务端开启token验证 修改http.conf ``` vim /etc/fdfs/http.conf ``` ``` 设置为true表示开启token验证 http.anti_steal.check_token=true 设置token失效的时间单位为秒(s) http.anti_steal.token_ttl=1800 密钥，跟客户端配置文件的fastdfs.http_secret_key保持一致 http.anti_steal.secret_key=FastDFS1234567890 如果token检查失败，返回的页面 http.anti_steal.token_check_fail=/dopan/fastdfs/error/403.jpg ``` 记得重启服务。 ② 配置客户端 客户端只需要设置如下两个参数即可，两边的密钥保持一致。 ``` # token 防盗链功能 fastdfs.http_anti_steal_token=true # 密钥 fastdfs.http_secret_key=FastDFS1234567890 ``` ③ 客户端生成token 访问文件需要带上生成的token以及unix时间戳，所以返回的token是token和时间戳的拼接。 之后，将token拼接在地址后即可访问：http://ip/group1/M00/00/00/wKg4jFtibkaAQt72AACtutzJ9C8073.jpg?token=078d370098b03e9020b82c829c205e1f&ts=1508141521 ``` /** * 获取访问服务器的token，拼接到地址后面 * * @param filepath 文件路径 group1/M00/00/00/wKg4jFtibkaAQt72AACtutzJ9C8073.jpg * @param httpSecretKey 秘钥 * @return 返回token，如： token=297c26d51f2a335f9714bdc15dcd1aa7&ts=1533289020 */ public static String getToken(String filepath, String httpSecretKey){ // unix seconds int ts = (int) Instant.now().getEpochSecond(); // token String token = "null"; try { token = ProtoCommon.getToken(getFilename(filepath), ts, httpSecretKey); } catch (UnsupportedEncodingException e) { e.printStackTrace(); } catch (NoSuchAlgorithmException e) { e.printStackTrace(); } catch (MyException e) { e.printStackTrace(); } StringBuilder sb = new StringBuilder(); sb.append("token=").append(token); sb.append("&ts=").append(ts); return sb.toString(); } ``` ④ 注意事项 如果生成的token验证无法通过，请进行如下两项检查： 　　A. 确认调用token生成函数(ProtoCommon.getToken)，传递的文件ID中没有包含group name。传递的文件ID格式形如：M00/00/00/wKgzgFnkTPyAIAUGAAEoRmXZPp876.jpeg 　　B. 确认服务器时间基本是一致的，注意服务器时间不能相差太多，不要相差到分钟级别。 ⑤ 对比下发现，如果系统文件隐私性较高，可以直接通过fastdfs-client提供的API去访问即可，不用再配置Nginx走http访问。配置Nginx的主要目的是为了快速访问服务器的文件(如图片)，如果还要加权限验证，则需要客户端生成token，其实已经没有多大意义。 关键是，这里我没找到FastDFS如何对部分资源加token验证，部分开放。有知道的还请留言。 OK，以上就是单机中使用FastDFS搭建文件系统并上传下载的过程。 本文终！！！