基于Fuse的最简单的文件系统

共 7034字,需浏览 15分钟

 ·

2024-04-12 00:32

从今天开始,我打算挖一个比较大的坑。我计划在我的公众号“数据存储张”创建一个合集,介绍如何从零开始开发一个文件系统。整个开发工作基于Ubuntu 20.04,当然其它Linux版本也没有问题。对于文件系统的开发,我们通常的理解是文件系统是一个内核模块。但是实际情况是文件系统并不一定是内核模块,比如EMC的UFS64就是一个用户态的文件系统。同时,很多开源的分布式文件系统也都是用户态的。
鉴于内核态开发门槛较高,所以我暂时不打算基于Linux内核来开发,而是借助FUSE来开发一个用户态的文件系统。通过本合集的实践,希望大家能够对本人拙著《文件系统技术内幕》中的内容能够有更加深刻的理解。其实无论是内核态的文件系统也好,用户态的文件系统也罢,其原理是相同的。

虽然暂时不打算基于内核开发,但基于用户态的内容实现完成后,如果大家对Linux内核文件系统的实现感兴趣,我也会继续基于内核实现一些功能,让大家对内核文件系统有一个比较全面的理解。
好了,言归正传,我们回到本文的正题,继续我们的文件系统之旅。在具体实现文件系统之前,我觉得有必要介绍一些基本概念,这样大家对理解后续内容会有所帮助。

什么是文件系统


首先我们介绍一下什么是文件系统。

文件系统是一个将硬盘的线性地址转换为层级结构的软件系统,其核心是给用户呈现层级结构的目录树(如下图所示)。在文件系统中有两个非常重要的概念,一个是文件,另外一个是目录(或者文件夹)。其中目录是一个容器,可以存储文件或者目录(称为子目录)。文件是存储数据的实体,我们的数据都是以文件的形态进行存储的。文件有很多种类,比如视频文件、音频文件、Word文档和文本文件等等。


文件系统的API


在普通用户角度,文件系统提供了一个层级结构的文件组织方式。

从程序开发的角度,文件系统提供一套API来访问文件和目录。比如文件的打开、关闭、读取数据和写入数据等,目录的打开、读取(遍历)和关闭等等,具体如下所示是这些API的一个子集。对于上述API,在内核态都有对应的API来实现具体的功能。

理解这些API很重要,因为FUSE正是在内核态对这些API的请求进行了截获,然后转发到用户态来处理的。

功能描述 Linux API
打开文件 open
向文件写数据 write
从文件读数据 read
关闭文件 close
移动文件指针位置 lseek
获取文件属性 stat
遍历目录 readdir

什么是FUSE


FUSE实现了一个在用户态开发文件系统的框架,有了这个框架,我们可以在用户态开发文件系统的逻辑,而不用关心Linux内核的相关内容。从而大大降低了开发文件系统的门槛。
FUSE本身包含一个用户态的库和一个内核模块。内核态模块与VFS及其他文件系统的关系如图所示,可以理解FUSE为一个内核态的文件系统。内核态的文件系统,并不会将数据持久化,其功能是将文件系统访问请求转发到用户态。
用户态库提供了一套API,同时提供了一套接口规范,这套规范实际上是一组函数集合。基于FUSE开发文件系统就是实现FUSE定义的函数集合的某些或者全部函数。然后调用FUSE用户态库的API将实现的函数注册到内核模块中。在下图的示例中,ceph_fuse就是基于FUSE开发的一个用户态的文件系统,用于实现对CephFS的访问的。如果我们基于FUSE开发自己的文件系统,也是位于这个位置的。



前文已述,内核态的模块基于VFS实现了一个文件系统,可以与Ext4、NFS或者CephFS主机端的文件系统对比理解。但不同的是,当有用户请求达到该文件系统时,该文件系统不是访问磁盘或者是通过网络发送请求,而是调用用户态注册的回调函数。
如果大家对前文NFS的流程,或者CephFS的流程熟悉的话,理解FUSE工作原理就非常简单了。与NFS类比,FUSE将NFS中通过网络转化请求换成了通过函数调用(严格来说并非简单的函数调用,因为涉及内核态到用户态的转换)来转化请求。

实现一个不是文件系统的文件系统


今天我们将开发一个最简单的文件系统,严格来说都不是一个文件系统。这里我们只是模拟一个文件系统的层级结构。在这个文件系统中包含一个目录和一个文件,目录的名称为“dir”,文件的名称为“helloworld”。同时,按照Linux的惯例,这里还包含当前目录“.”和上一级目录“..”。该文件系统的目录结构如下图所示。


虽然这里是一个层级结构,但是这个文件系统并不能像其他文件系统那样在目录中创建文件,也不能删除文件,更不能读取文件的内容。为什么?原因很简单,因为我们并没有实现上述功能。
接下来我们来看一下这个文件系统的具体实现。所有文件都在一个名称为helloworld的目录当中,该目录中的文件与作用如下图所示。其中3个文件(Fuse.cpp、Fuse.h和Fuse-impl.h)是FUSE的C++封装,这里我们借用了James的实现,感谢他这方面的工作。另外3个C++源代码文件是本文件系统的实现,其中helloworld.cpp是主函数的源文件,其实没有太多内容,helloworldFS.cpp/h是文件系统的实现。CMakeLists.txt是cmake的源文件,用于管理整个工程。


如下是文件系统的具体实现,可以看到这里只实现了2个函数,分别是getattr和readdir。其中readdir用于读取目录项,getattr用于获取文件或者目录的详细属性。这两个函数正是命令行工具ls会调用到的命令。
/* Description: HelloWorld filesystem class implementation
* This class implements the core API that is related to the directory and file.
* In this class, we implement a very simple file system.
*/


#include "helloworldFS.h"

#include <iostream>
#include <string>

// include in one .cpp file
#include "Fuse-impl.h"

using namespace std;

static const string root_path = "/";
static const string hello_str = "Data Storage Zhang!\n";
static const string hello_path = "/helloworld";
static const string dir_path = "/dir";

int HelloWorldFS::getattr(const char *path, struct stat *stbuf, struct fuse_file_info *)
{
int res = 0;

memset(stbuf, 0, sizeof(struct stat));
if (path == root_path) { //根目录的属性
stbuf->st_mode = S_IFDIR | 0755;
stbuf->st_nlink = 2;
} else if (path == hello_path) { //helloworld文件的属性
stbuf->st_mode = S_IFREG | 0444;
stbuf->st_nlink = 1;
stbuf->st_size = hello_str.length();
} else if (path == dir_path) { //dir目录的属性
stbuf->st_mode = S_IFDIR | 0755;
stbuf->st_nlink = 2;
} else
res = -ENOENT;

return res;
}

int HelloWorldFS::readdir(const char *path, void *buf, fuse_fill_dir_t filler,
off_t, struct fuse_file_info *, enum fuse_readdir_flags)
{
if (path != root_path)
return -ENOENT;

filler(buf, ".", NULL, 0, FUSE_FILL_DIR_PLUS);
filler(buf, "..", NULL, 0, FUSE_FILL_DIR_PLUS);
filler(buf, hello_path.c_str() + 1, NULL, 0, FUSE_FILL_DIR_PLUS);
filler(buf, dir_path.c_str() + 1, NULL, 0, FUSE_FILL_DIR_PLUS);

return 0;
}
头文件的实现更加简单,如下是头文件的源代码。在头文件中只是定义了一个文件系统类HelloWorldFS,并定义了上述两个函数。
// Hello filesystem class definition
#ifndef __HELLOFS_H_
#define __HELLOFS_H_

#include "Fuse.h"
#include "Fuse-impl.h"

class HelloWorldFS : public Fusepp::Fuse<HelloWorldFS>
{
public:
HelloFS() {}
~HelloFS() {}

static int getattr (const char *, struct stat *, struct fuse_file_info *);
static int readdir(const char *path, void *buf,
fuse_fill_dir_t filler,
off_t offset, struct fuse_file_info *fi,
enum fuse_readdir_flags);
};

#endif
如下是主函数所在源文件的内容,实现也是比较简单的。这里实例化了HelloWorldFS类,并调用run函数。这个函数完成了文件系统挂载,函数注册等任务。具体涉及FUSE实现的内容,我们后面再详细介绍这方面的内容。
// See  FUSE:  example/hello.c

#include "helloworldFS.h"

int main(int argc, char *argv[])
{

HelloWorldFS fs;

int status = fs.run(argc, argv);

return status;
}
如下是cmake的工程文件,用于生成Makefile文件。关于cmake的概念及使用方法可以阅读本号之前的文章,本文不再赘述相关内容。
cmake_minimum_required(VERSION 3.16)
SET(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} --std=c++14 -D_FILE_OFFSET_BITS=64 -D__coverage -I/usr/include/fuse3 -lfuse3 -lpthread")
project(CMakeSunny
VERSION 1.0
DESCRIPTION "A CMake Tutorial"
LANGUAGES CXX)

add_executable(helloworld
helloworld.cpp
helloworldFS.cpp
Fuse.cpp)

target_link_libraries(helloworld -lfuse3)
具备上述源文件后就可以编译源文件了。首先需要在根目录创建一个名称为build子目录。然后切换到该目录执行“cmake ..”命令。成功后会生成一个Makefile。最后,我们执行一下make命令就会编译出一个可执行程序helloworld。执行如下命令就可以将我们实现的“文件系统”挂载到/mnt/test(需要提前创建)目录了。
./helloworld /mnt/test
然后我们可以通过cd命令切换到该目录,并通过ls命令查看其中的内容。这时就可以看到我们在文章一开始看到的内容。


如前文所述,本文我们实现了一个假的文件系统,这个文件系统既不能创建新文件,也不能读取文件的数据,更不能向已有文件写入数据。但是通过本文,相信大家对文件系统的概念和FUSE的用法有了一个基本的了解。后面我们将以当前实现的文件系统为基础,实现一个基于内存的,可读写的文件系统。

注:本文配套的源代码可以在github的SunnyZhang-IT/fs-from-zero库中找到。


作者著作


发布:刘恩惠

审核:陈歆懿

    
      
 


如果喜欢本文
欢迎 在看留言分享至朋友圈 三连
<
 PAST · 往期回顾 
>

书单 | 3月新书速递!


浏览 31
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报