分布式文件服务器FastDFS

FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS架构包括Tracker server和Storage server。客户端请求Tracker server进行文件上传、下载，通过Tracker server调度最终由Storage server完成文件上传和下载。

Tracker server作用是负载均衡和调度，通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务。可以将tracker称为追踪服务器或调度服务器。

Storage server作用是文件存储，客户端上传的文件最终存储在Storage服务器上，Storageserver没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。可以将storage称为存储服务器。

 

一、服务端两个角色：

Tracker：管理集群，tracker也可以实现集群。每个tracker节点地位平等。收集Storage集群的状态。

Storage：实际保存文件   Storage分为多个组，每个组之间保存的文件是不同的。每个组内部可以有多个成员，组成员内部保存的内容是一样的，组成员的地位是一致的，没有主从的概念。

二、文件上传流程

 

         客户端上传文件后存储服务器将文件ID返回给客户端，此文件ID用于以后访问该文件的索引信息。文件索引信息包括：组名，虚拟磁盘路径，数据两级目录，文件名。

组名：文件上传后所在的 storage 组名称，在文件上传成功后有storage 服务器返回，需要客户端自行保存。

虚拟磁盘路径：storage 配置的虚拟路径，与磁盘选项store_path*对应。如果配置了store_path0 则是 M00，如果配置了 store_path1 则是 M01，以此类推。

数据两级目录：storage 服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。

文件名：与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含：源存储服务器 IP 地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

文件上传的过程:
1.Storage Server会定时向Tracker Server上传状态信息.当Tracker Server Cluster中的Tracker Server不止一个时，各个Tracker之间的关系是对等的，所以客户端上传时可以选择任意一个Tracker。
2.当客户端上传文件时,发送请求到Tracker Server,Tracker Server会将该文件分配一个Stacker的IP和端口(集群)可以存储文件的group,将信息返回到客户端
3. 当客户端向Storage Server发送写文件请求时,Storage Server会生成一个file_id.将上传的文件写入磁盘
4.最后将上面生成的文件信息当做文件名存储.
注: 每次上传文件后都会返回一个地址，用户需要自己保存此地址。

三、文件下载流程

 

最简单的FastDFS架构

当文件上传成功后,客户端就会生成一个文件地址(文件名),当下载的时候就会用到该文件名来获取.
    1. Storage Server会定时向Tracker Server上传状态信息.
    2. 当客户端向Tracker Server发送下载请求时,Tracker Server就会查询storage Server(检测同步状态),查询一个Storage Server的IP和端口号来返回给客户端
    3.当客户端需要下载哪个文件时,就会将自己本地的file_id(组名,路径,文件名)传到Storage Server上,来进行查找文件  (file_id是通过文件上传得到的保存到本地的,下载时是需要从本地获取)
    4. 当Storage Server查找到该文件时,返回给客户端file_content.

四、FastDFS提供的功能 
        1.upload 上传文件 
        2.download 下载文件 
        3.delete 删除文件