块设备I/O和缓冲区管理

块设备I/O缓冲区

由于与内存访问相比，磁盘I/O速度较慢，所以不希望在每次执行读写文件操作时都执行磁盘I/O。因此，大多数文件系统使用I/O缓冲来减少进出存储设备的物理I/O数量。合理设计的I/O缓冲方案可显著提高文件I/O效率并增加系统吞吐量。

I/O缓冲区原理：文件系统使用一系列I/O缓冲区作为块设备的缓冲内存。进程试图读取（dev、blk）标识的磁盘块时，它首先在缓冲区缓存中搜索分配给磁盘块的缓冲区。

• 若该缓冲区存在并包含有效数据，只需从缓冲区中读取数据，无需再次访问从磁盘中读取数据。
• 当某数据块被读入，该缓冲区将被保存在缓冲区缓存中供任意进程对同一个块的下一次读/写请求使用。
• 进程写入磁盘块时，首先获取一个分配给该块的缓冲区，然后将数据写入缓冲区，将缓冲区标记为脏，以延迟写入，并将其释放到缓冲区缓存中。由于脏缓冲区包含有效的数据，可使用其满足后续读/写请求，而不会引起实际磁盘I/O。脏缓冲区只有在被重新分配到不同的块时才会写入磁盘。

BUFFER *bread(dev,blk) 
{
BUFFER *bp =» getblk(dev,blk)} // get a buffer for (dev,blk) if (bp data valid)
return bp;
bp->opcode = READ;	II issue READ operation
start_lo(bp):	// ntart I/O on device
wait for I/O completion
write_block(devf blk, data)
bwrite(BUFFER *bp)( bp->opcode = WRITE； start_io(bp); wait for I/O completion; brelse(bp); // release bp

BUFFER *bp = bread(dev,blk);	// read in the disk block first
write data to bp;
(synchronous write)? bwrite(bp) : dwrite(bp);

Unix I/O缓冲区管理算法

Unix缓冲区管理子系统组成

• I/O缓冲区：内核中的一系列NBUF缓冲区用做缓冲区缓存。

​ 缓冲区结构体由两部分组成：用于缓冲区管理的缓冲头部分和用于数据块的数据部分。

• 设备表：每个块设备用一个设备表结构表示。

struct devtab{
    u16 dev;
    BUFFER *dev_list;
    BUFFER *io_queue;
    devtab[NDEV];
}

• 缓冲区初始化:系统启动时，所有I/O缓冲区都在空闲列表中，所有设备列表和I/O队列均为空。
• 缓冲区列表：当缓冲区分配给（dev,blk）时，它会被插入设备表的dev_list中。如果缓冲区当前正在使用，则会将其标记为BUSY（繁忙）并从空闲列表中删除。繁忙缓冲区也可能会在设备表的I/O队列中。
• 当缓冲区数量很少时，由于额外系统开销，散列实际上可能会增加执行时间。散列对缓冲区性能几乎没有任何影响。

Unix算法的缺点

1. 效率低下：该算法依赖于重试循环，例如，释放缓冲区可能会唤醒两组进程：需要释放的缓冲区的进程，以及只需要空闲缓冲区的进程。由于只有一个进程可以获取释放的缓冲区，所以，其他所有被唤醒的进程必须重新进入休眠状态。从休眠状态唤醒后，每个被唤醒的进程必须从头开始重新执行算法，因为所需的缓冲区可能已经存在。这会导致过多的进程切换。
2. 缓存效果不可预知：在Unix算法中，每个释放的缓冲区都可被获取'如果缓冲区 由需要空闲缓冲区的进程获取，那么将会重新分配缓冲区，即使有些进程仍然需要当前的缓冲区。
3. 可能会出现饥饿：Unix算法基于“自由经济”原则，即每个进程都有尝试的机会，但不能保证成功，因此，可能会出现进程饥饿。
4. 该算法使用只适用丁单处理器系统的休眠/唤醒操作。
   相关数据结构定义代码：

typdef struct buf{
struct buf *next_free;	//freelist pointer
struct buf *next_dev；	//dev_list pointer
int dev,blk；	//assigned disk block；
int opcode；	//READ|WRITE
int dirty;	//buffer data modified
int async;	//ASYNC write flag
int valid;	//buffer data valid
int busy;	//buffer is in use
int wanted；		some process needs this buffer
struct, semaphore lock=l ；	//buffer locking semaphore； value=L
struct semaphore iodone=0；	//for process to wait for I/O completion；
char buf[BLKSIZE];	//block data area
} BUFFER;
BUFFER buf[NBUF], *freelist; // NBUF buffers and free buffer list

PV算法——新I/O缓冲管理算法

使用PV来实现进程同步，而不是休眠/唤醒。信号量的优点：

1.计数信号量可用来表示可用资源数量；

2.多进程等待一个资源时，信号量上的V操作只会释放一个等待进程，该进程不必重试，因为它保证拥有资源；

BUFFER *getb1k(dev,blk)：
while(1){(1). P(free);
//get a free buffer first if (bp in dev_1ist){(2). if (bp not BUSY){
remove bp from freelist;P(bp);
// lock bp but does not wait
(3).return bp;
// bp in cache but BUSY V(free);
// give up the free buffer
(4).P(bp);
// wait in bp queue
return bp;v
// bp not in cache,try to create a bp=(dev,blk)
(5).bp = frist buffer taken out of freelist;P(bp);
// lock bp,no wait
(6).if(bp dirty){
awzite(bp);
// write bp out ASYNC,no wait
continue;
// continue from (1)
(7).reassign bp to(dev,blk);1/ mark bp data invalid,not dir return bp;-
// end of while(1)；
brelse(BUFFER *bp)，
{
(8).iF (bp queue has waiter)( V(bp); return; ]
(9).if(bp dirty && free queue has waiter){ awrite(bp);zeturn;}(10).enter bp into(tail of) freelist;V(bp);V(free);
}

使用信号量的缓冲区管理算法

假设有一个单处理器内核（一次运行一个进程）。使用计数信号量上的P/V来设计满足以下要求的新的缓冲区管理算法∶

（1）保证数据一致性。

（2）良好的缓存效果。

（3）高效率∶没有重试循环，没有不必要的进程"唤醒"。

（4）无死锁和饥饿。

PV算法

BUFFER *getb1k(dev,blk)：
while(1){(1). P(free);
//get a free buffer first if (bp in dev_1ist){(2). if (bp not BUSY){
remove bp from freelist;P(bp);
// lock bp but does not wait
(3).return bp;
// bp in cache but BUSY V(free);
// give up the free buffer
(4).P(bp);
// wait in bp queue
return bp;v
// bp not in cache,try to create a bp=(dev,blk)
(5).bp = frist buffer taken out of freelist;P(bp);
// lock bp,no wait
(6).if(bp dirty){
awzite(bp);
// write bp out ASYNC,no wait
continue;
// continue from (1)
(7).reassign bp to(dev,blk);1/ mark bp data invalid,not dir return bp;-
// end of while(1)；
brelse(BUFFER *bp)，
{
(8).iF (bp queue has waiter)( V(bp); return; ]
(9).if(bp dirty && free queue has waiter){ awrite(bp);zeturn;}(10).enter bp into(tail of) freelist;V(bp);V(free);
}

证明PV算法的正确性

（1）缓冲区唯一性：在 getblk（）中，如果有空闲缓冲区，则进程不会在（1）处等待，而是会搜索 dev list。如果所需的缓冲区已经存在，则进程不会重新创建同一个缓冲区。如果所需的缓冲区不存在。则进程会使用个空闲缓冲区来创建所需的缓冲区。而这个空闲缓冲区保证是存在的。如果没有空闲缓冲区，则需要同一个缓冲区的几个进程可能在（1）处阻塞。当在（10）处释放出一个空闲缓冲区时，它仅释放一个进程来创建所需的缓冲区。一旦创建了缓冲区，它就会存在于dev list中，这将防止其他进程再次创建同一个缓冲区。因此，分配的每个缓冲区都是唯一的。

（2）无重试循环：进程重新执行while（1）循环的唯一位置是在（6）处，但这不是重试，因为进程正在不断地执行。

（3）无不必要唤醒：在 getblk（中，进程可以在（1）处等待空闲缓冲区也可以在（4）处等待所需的缓冲区。在任意一种情况下，在有缓冲区之前，都不会唤醒进程重新运行。此外，当在（9）处有一个脏缓冲区即将被释放并且在（1）处有多个进程等待空闲缓冲区时，该缓冲区不会被释放而是直接被写入。这样可以避免不必要的进程唤醒。

（4）缓存效果：在 Unix算法中，每个释放的缓冲区都可被获取。而在新的算法中，始终保留含等待程序的缓冲区以供重用。只有缓冲区不含等待程序时，才会被释放为空闲。这样可以提高缓冲区的缓存效果。

（5）无死锁和饥饿：在 getblk（）中，信号量锁定顺序始终是单向的，即 P（free），然后是P（bp），但决不会反过来，因此不会发生死锁。如果没有空闲缓冲区，所有请求进程都将在（1）处阻塞。这意味着，虽然有进程在等待空闲缓冲区，但所有正在使用的缓冲区都不能接纳任何新用户。这保证了繁忙缓冲区最终将被释放为空闲缓冲区。因此，不会发生空闲缓冲区饥饿的情况。

模拟系统的改进

Unix信号最初设计用于以下用途

（1）模拟系统可以扩展为支持多个磁盘控制器，而不是单独一个磁盘控制器，这样可通过一个数据信号来缓解I/O堵塞。

（2）可用非均匀分布生成输人命令，以改善实际系统中模型文件操作。例如，可以生成更多的读命令而不是写命令，以及一些设备上有更多的I/O需求等。

6.PV算法的改进

PV算法非常简单，易于实现，但是它有以下两个缺点。首先，它的缓存效果可能并非最佳。这是因为一旦没有空闲缓冲区，所有请求进程都将被阻塞在 getblk（）中的（1）处，即使它们所需的缓冲区可能已经存在于缓冲区缓存中了。其次，当进程从空闲列表信号量队列中唤醒时，它可能会发现所需的缓冲区已经存在，但处于繁忙状态，在这种情况下，它将在（4）处再次被阻塞。严格地说，进程被不必要地唤醒了，因为它被阻塞了两次。

I/O缓冲区管理算法比较

• 系统组织

用户界面****：这是模拟系统的用户界面部分。它会提示输人命令、显示命令执行、显示系统状态和执行结果等。在开发过程中，读者可以手动输入命令来执行任务。在最后测试过程中，任务应该有自己的输入命令序列。例如，各任务可以读取包含命令的输入文件。

• 多任务处理系统

这是多任务处理系统的CPU端，模拟单处理器（单CPU）文件系统的内核模式。实际上，它与第 4章中所述的用于用户级线程的多任务系统相同，只是以下修改除外。当系统启动时，它会创建并运行一个优先级最低的主任务，但它会创建 ntask 工作任务，所有任务的优先级都是1，并将它们输入 readyQueue。

由于主任务的优先级最低，所以如果没有可运行的任务或所有任务都已结束，它将再次运行。在后一种情况下，主任务执行end task（），在其中收集并显示模拟结果，然后终止，从而结束模拟运行。

所有工作任务都执行同一个body（）函数，其中每个任务从输入文件中读取命令来执行读或写磁盘块操作，直到命令文件结束。

（2）磁盘驱动程序

（1）start io（）：维护设备I/O队列，并对I/O 队列中的缓冲区执行 I/O操作。

（2）中断处理程序：在每次I/O操作结束时，磁盘控制器会中断CPU。当接收到中断后，中断处理程序首先从 IntStatus中读取中断状态。

（4）磁盘中断

从磁盘控制器到CPU的中断由 SIGUSR1（#10）信号实现。在每次I/O操作结束时，磁盘控制器会发出kill（ppid，SIGUSR1）系统调用，向父进程发送 SIGUSR1信号，充当虚拟CPU中断。通常，虚拟CPU会在临界区屏蔽出/入磁盘中断（信号）。为防止竞态条件，磁盘控制器必须要从CPU接收一个中断确认，才能再次中断。

（5）虚拟磁盘

使用Linux系统调用lseek（）、read（）和 write（），我们可以支持虚拟磁盘上的任何块I/O操作。为了简单起见，将磁盘块大小设置为16字节。由于数据内容无关紧要，所以可以将它们设置为16个字符的固定序列。

（6）磁盘控制器

磁盘控制器是主进程的一个子进程。因此，它与CPU 端独立运行，除了它们之间的通信通道，通信通道是 CPU和磁盘控制器之间的接口。通信通道由主进程和子进程之间的管道实现。

命令：从 CPU到磁盘控制器的I/O命令。

DataOut：在写操作中从 CPU 到磁盘控制器的数据输出。

DataIn：在读操作中从磁盘控制器到CPU 的数据。

IntStatus：从磁盘控制器到CPU 的中断状态。

IntAck：从CPU到磁盘控制器的中断确认。

实践：

通过对信号量PV操作，消除父子进程间的竞争条件，使其调用顺序可控。代码链接如下：

https://gitee.com/gao_ze_zheng/passage3/tree/master/12.4PV

运行结果：