[1]https://blog.csdn.net/Holy_666/article/details/86532671
[2]CSDN博主土豆西瓜大芝麻:[Linux的VFS详解]:https://blog.csdn.net/jinking01/article/details/90669534
[3]深入理解 Linux的 I/O 系统:https://z.itpub.net/article/detail/9595A9A27188FF73810F07F00DAA08ED
[4]Linux嵌入式的知乎专栏:https://zhuanlan.zhihu.com/p/505338841
[5]博客园博主[李大嘴]:[字符设备和块设备的区别]https://www.cnblogs.com/qlee/archive/2011/07/27/2118406.html
[6]博客园博主[赛艇队长]:[Linux文件系统详述]https://www.cnblogs.com/bellkosmos/p/detail_of_linux_file_system.html
[7]StackExchange:[What are directories, if everything on Linux is a file?]
[8] [The Linux Documentation Project: Filesystem]http://www.tldp.org/LDP/tlk/fs/filesystem.html#tth_sEc9.1.4)
本文主要从四个角度对Linux文件系统进行总结整理;
Linux文件系统的组织方式;
Linux的VFS机制和统一文件模型(common file model);
Linux系统IO缓冲机制;
老调重弹:Linux设计的思路,就是一切皆文件,因此Linux中的一切文件都以文件格式保存,而文件根据各自不同的功能分为一下几类:
普通文件:
-,常规的文件类型,在Linux中,以.开头的文件为隐藏文件;
目录文件;
d, 目录文件,目录文件实际包含两部分Inode和entry(实际所有文件都是这样,不同的是,目录中保存了相关文件的信息);
Linux通过Inode结构体存储目录的基础信息,系统调用stat(),用来访问这个结构和相应信息。
(图1 源自引用文献[7])
字符设备文件;
c, character device,字符设备是以字符为最小单位进行数据交互的文件,用以驱动字符交互的应用,如键盘(有文章提到oracle是以字符为格式进行数据传输的,记个ToDo);
而对于字符设备而言,仅支持顺序访问数据,不支持随机访问。
块设备文件;
B,block device driver
块设备传输,实际是以固定大小进行数据传输的文件类型,和字符设备不同的是,block支持我们对设备随机访问。最典型的例子即硬盘,操作系统/数据库/其他和磁盘交互应用,实际可以根据自己的规则,去随机访问磁盘的位置,去在该位置写入数据。而通过块设备进行读写时,也需要以bolck为最小单位进行操作(实际上,无论是OS还是DBS,都是以Page去容纳多个Block,然后通过Page进行数据加载,然后以block进行数据解析的)
符号链接;(软链接,硬链接实际是生成了一个相应文件,该文件名和原始文件名指向同一个inode):
符号链接可以理解成一种快捷方式,允许我们通过符号链接快速访问目标文件。
套接字;
S,socket,用于网络通信的文件,通过套接字API形成的一个简单协议族,成对出现进行通信。
管道;
P,进行进程间通信的文件,将一个进程的输出,通过管道,输入到另一个文件。
(Note: 本部分仅介绍基础部分,磁盘分区,初始化,数据在磁盘上的组织后续再进行补充)
Linux操作系统支持很多不同的文件系统,ext2,ext3,XFS,FAT等等,而Linux把对不同文件系统的访问,交给VFS(virtual file system)来进行。
Linux的文件系统会为每个文件分配两个数据结构:
索引节点(index node) 和 目录项(directory entry),用来记录文件的元信息(meta data)如inode编号,文件大小,访问权限,修改时间,磁盘位置等。索引节点和磁盘上的每个物理文件相对应,而索引节点本身,也存储在磁盘上。
目录项(directory entry)用来记录文件的名字,索引节点指针,和其他目录项的层次关系。多个目录项关联起来,就形成了目录结构,和索引节点不同,目录项是由内核维护的数据结构,缓存在内存中;(note:实际上系统启动时,会将相应的数据,加载到树形结构中,维护在内存中)
目录项的结构体,dentry
struct dentry { atomic_t d_count; /* 目录项引用计数器 */ unsigned int d_flags; /* 目录项标志 */ struct inode * d_inode; /* 与文件名关联的索引节点 */ struct dentry * d_parent; /* 父目录的目录项 */ struct list_head d_hash; /* 目录项形成的哈希表 */ struct list_head d_lru; /*未使用的 LRU 链表 */ struct list_head d_child; /*父目录的子目录项所形成的链表 */ struct list_head d_subdirs; /* 该目录项的子目录所形成的链表*/ struct list_head d_alias; /* 索引节点别名的链表*/ int d_mounted; /* 目录项的安装点 */ struct qstr d_name; /* 目录项名(可快速查找) */ unsigned long d_time; /* 由 d_revalidate函数使用 */ struct dentry_operations *d_op; /* 目录项的函数集*/ struct super_block * d_sb; /* 目录项树的根 (即文件的超级块)*/ unsigned long d_vfs_flags; void * d_fsdata; /* 具体文件系统的数据 */ unsigned char d_iname[DNAME_INLINE_LEN]; /* 短文件名 */ };
通过stat访问得到的Inode信息
struct stat { /* when _DARWIN_FEATURE_64_BIT_INODE is NOT defined */ dev_t st_dev; /* device inode resides on */ ino_t st_ino; /* inode's number */ mode_t st_mode; /* inode protection mode */ nlink_t st_nlink; /* number of hard links to the file */ uid_t st_uid; /* user-id of owner */ gid_t st_gid; /* group-id of owner */ dev_t st_rdev; /* device type, for special file inode */ struct timespec st_atimespec; /* time of last access */ struct timespec st_mtimespec; /* time of last data modification */ struct timespec st_ctimespec; /* time of last file status change */ off_t st_size; /* file size, in bytes */ quad_t st_blocks; /* blocks allocated for file */ u_long st_blksize;/* optimal file sys I/O ops blocksize */ u_long st_flags; /* user defined flags for file */ u_long st_gen; /* file generation number */ };
而索引节点,目录项,以及文件数据间的关系可以用如下结构来表示
(图2 源自引用4)
当一个用户应用,通过系统调用函数进行数据读写时会发生什么?
fopen("~"); fwrite("~"); fclose("~");
在我们的直觉上,会认为用户空间的代码,通过调用库函数唤起系统调用,然后交于OS File System直接写入磁盘(在考虑buffer,page,block,机制后)。但是实际上Linux实际上是将系统调用交付于VFS,即虚拟文件系统,然后由VFS执行后续操作的。
(图3 源自引用2)
这样做有什么价值呢?如上文所述,Linux存在不同的file system operator,这些不同的文件系统暴漏给上层的接口可能是不同的,如果将这些接口都提供给OS SCI(stsrem call interface),系统调用会过于复杂。而VFS在文件系统和系统调用间提供了一个抽象层,让系统调用的POSIX API和不同存储设备的具体接口实现了分离,实现了一次解耦。
(图4 源自引用2)
由于VFS将不同的底层接口抽象了统一的标准给系统调用,系统调用层便可以用上文提到的Inode,entry模型将所有文件的模型进行统一。实际上正是VFS层提供了统一的文件模型。
VFS通过四种标准模型来构建统一文件模型:
(1)superblock: 存储文件系统的基本元数据(可以理解成 meta of meta,这词儿没查过,是我现编的)。如文件系统的类型,大小,状态,一起其他元数据的相关信息。
(2)index node(inode):一个用来保存文件相关的元数据。
(3)directory entry: 保存文件名称和inode的对应关系;
每个dentry存在三种状态:
由于dentry实际是加载在内存里的,系统会对dentry存在优化策略:
1.used dentrie list:把使用的dentry串成一个链表;
2.LRU链表:(least recently used)链表,实际就是最常见的页面置换算法,找出最久没有使用的entry,把它从内存中释放。
3.hash table:用哈希表,来维持dentry的高速查询;
(4) file: 一组逻辑上相关联的数据,实际就是我们通过open函数返回的数据类型,在我们使用open打开函数后,就从磁盘中加载了对于的数据至内存,VFS将数据保存至File模型中,和进程,用户强关联。其中包含了打开的flag,文件名称,当前的便宜。最重要的字段就是f_op,指向了当前文件所支持的操作集合;
struct file { struct dentry *f_dentry; struct vfsmount *f_vfsmnt; struct file_operations *f_op; mode_t f_mode; loff_t f_pos; struct fown_struct f_owner; unsigned int f_uid, f_gid; unsigned long f_version; ... }
本部分主要讨论系统IO和缓冲区之间的交互;
![截屏2022-09-15 22.12.33](/Users/alberthaoluchen/Library/Application Support/typora-user-images/截屏2022-09-15 22.12.33.png)
1.用户进程通过read()向kernel进行系统调用,切换上下文,到内核空间。
2.CPU将数据从硬盘or主存拷贝至kernel到读缓冲区;
3.CPU将读缓冲区的数据拷贝回用户缓冲区;
4.上下文从kernelspace 切换回UserSpace,read调用执行返回;
用户态 <---> 内核态切换两次;
拷贝操作,两次;
用户态的切换和系统拷贝,被切开,相较于连续的操作,这种间断式的操作更耗时;
页缓存技术,通过每次从磁盘读取一个Page单位的数据至缓存,来减少对磁盘的读写,来提高系统效率;
当我们进行顺序读写时,页缓存能极大提高我们的读写速度(实际就是直接在memory上读写);
页缓存的优化策略:
读策略:
写策略:
当我们执行写操作时,先写进页缓存,此时我们把目标页标记为脏页(dirty page),并把这个页加入脏页链表;
flusher会周期性的回写脏页到磁盘,当磁盘数据和内存一致时,清楚脏页标记,
当满足以下条件时,脏页会被写入内存: