文章目录

• • 1 内存映射
  • • 1.1 应用编程接口
    • 1.2 数据结构
    • 1.3 创建内存映射
    • 1.4 虚拟内存过量提交策略
    • 1.5 删除内存映射

• 重要：本系列文章内容摘自<Linux内核深度解析>基于ARM64架构的Linux4.x内核一书，作者余华兵。系列文章主要用于记录Linux内核的大部分机制及参数的总结说明

1 内存映射

内存映射是在进程的虚拟地址空间中创建一个映射，分为以下两种：
（1）文件映射：文件支持的内存映射，把文件的一个区间映射到进程的虚拟地址空间，数据源是存储设备上的文件。
（2）匿名映射：没有文件支持的内存映射，把物理内存映射到进程的虚拟地址空间，没有数据源。

通常把文件映射的物理页称为文件页，把匿名映射的物理页称为匿名页。
根据修改是否对其他进程可见和是否传递到底层文件，内存映射分为共享映射和私有映射。

（1）共享映射：修改数据时映射相同区域的其他进程可以看见，如果是文件支持的映射，修改会传递到底层文件。
（2）私有映射：第一次修改数据时会从数据源复制一个副本，然后修改副本，其他进程看不见，不影响数据源。

两个进程可以使用共享的文件映射实现共享内存。匿名映射通常是私有映射，共享的匿名映射只可能出现在父进程和子进程之间。

在进程的虚拟地址空间中，代码段和数据段是私有的文件映射，未初始化数据段、堆和栈是私有的匿名映射。

内存映射的原理如下：
（1）创建内存映射的时候，在进程的用户虚拟地址空间中分配一个虚拟内存区域。

（2）Linux内核采用延迟分配物理内存的策略，在进程第一次访问虚拟页的时候，产生缺页异常。如果是文件映射，那么分配物理页，把文件指定区间的数据读到物理页中，然后在页表中把虚拟页映射到物理页；如果是匿名映射，那么分配物理页，然后在页表中把虚拟页映射到物理页。

1.1 应用编程接口

内存管理子系统提供了以下常用的系统调用：
（1）mmap()用来创建内存映射。

void *mmap(void *addr, size_t length, int prot, int flags,
            int fd, off_t offset);

（2）mremap()用来扩大或缩小已经存在的内存映射，可能同时移动。

void *mremap(void *old_address, size_t old_size,
             size_t new_size, int flags, ... /* void *new_address */);

（3）munmap()用来删除内存映射。

int munmap(void *addr, size_t length);

（4）brk()用来设置堆的上界。

int brk(void *addr);

（5）remap_file_pages()用来创建非线性的文件映射，即文件区间和虚拟地址空间之间的映射不是线性关系，现在被废弃了。
（6）mprotect()用来设置虚拟内存区域的访问权限。

int mprotect(void *addr, size_t len, int prot);

（7）madvise()用来向内核提出内存使用的建议，应用程序告诉内核期望怎样使用指定的虚拟内存区域，以便内核可以选择合适的预读和缓存技术。

int madvise(void *addr, size_t length, int advice);

在内核空间中可以使用以下两个函数：
（1）remap_pfn_range把内存的物理页映射到进程的虚拟地址空间，这个函数的用处是实现进程和内核共享内存。

int remap_pfn_range(struct vm_area_struct *vma, unsigned long addr,unsigned long pfn,unsigned long size, pgprot_t prot);

（2）io_remap_pfn_range把外设寄存器的物理地址映射到进程的虚拟地址空间，进程可以直接访问外设寄存器。

int io_remap_pfn_range(struct vm_area_struct *vma, unsigned long addr,unsigned long pfn, unsigned long size, pgprot_t prot);

应用程序通常使用C标准库提供的函数malloc()申请内存。glibc库的内存分配器ptmalloc使用brk或mmap向内核以页为单位申请虚拟内存，然后把页划分成小内存块分配给应用程序。默认的阈值是128KB，如果应用程序申请的内存长度小于阈值，ptmalloc分配器使用brk向内核申请虚拟内存，否则ptmalloc分配器使用mmap向内核申请虚拟内存。

应用程序可以直接使用mmap向内核申请虚拟内存。
1. 系统调用mmap()
系统调用mmap()有以下用处：
（1）进程创建匿名的内存映射，把内存的物理页映射到进程的虚拟地址空间。
（2）进程把文件映射到进程的虚拟地址空间，可以像访问内存一样访问文件，不需要调用系统调用read()和write()访问文件，从而避免用户模式和内核模式之间的切换，提高读写文件的速度。
（3）两个进程针对同一个文件创建共享的内存映射，实现共享内存。

函数原型：

void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);	

参数如下：
（1）addr：起始虚拟地址。如果addr是0，内核选择虚拟地址。如果addr不是0，内核把这个参数作为提示，在附近选择虚拟地址。
（2）length：映射的长度，单位是字节。
（3）prot：保护位。

• PROT_EXEC：页可执行。
• PROT_READ：页可读。
• PROT_WRITE：页可写。
• PROT_NONE：页不可访问。

（4）flags：标志。常用的标志如下：

• MAP_SHARED：共享映射。
• MAP_PRIVATE：私有映射。
• MAP_ANONYMOUS：匿名映射。
• MAP_FIXED：固定映射，不要把参数addr解释为一个提示，映射的起始地址必须是参数addr，必须是页长度的整数倍。
• MAP_HUGETLB：使用巨型页。
• MAP_LOCKED：把页锁在内存中。
• MAP_NORESERVE：不预留物理内存。
• MAP_NONBLOCK：不阻塞，和MAP_POPULATE联合使用才有意义，从Linux 2.6.23开始，该标志导致MAP_POPULATE什么都不做。
• MAP_POPULATE：填充页表，即分配并且映射到物理页。如果是文件映射，该标志导致预读文件。

（5）fd：文件描述符。仅当创建文件映射的时候，这个参数才有意义。如果是匿名映射，有些实现要求参数fd是−1，可移植的应用程序应该保证参数fd是−1。
（6）offset：偏移，单位是字节，必须是页长度的整数倍。仅当创建文件映射的时候，这个参数才有意义。

返回值：

如果成功，返回起始虚拟地址，否则返回负的错误号。

2. 系统调用mprotect()
mprotect()用来设置虚拟内存区域的访问权限。
函数原型：

int mprotect(void *addr, size_t len, int prot);

参数如下：
（1）addr：起始虚拟地址，必须是页长度的整数倍。
（2）len：虚拟内存区域的长度，单位是字节。
（3）prot：保护位。

• PROT_EXEC：页可执行。
• PROT_READ：页可读。
• PROT_WRITE：页可写。
• PROT_NONE：页不可访问。

返回值：

如果成功，返回0，否则返回负的错误号。

3. 系统调用madvise()
madvise()用来向内核提出内存使用的建议，应用程序告诉内核期望怎样使用指定的虚拟内存区域，以便内核可以选择合适的预读和缓存技术。

函数原型：

int madvise(void *addr, size_t length, int advice);

参数如下：
（1）addr：起始虚拟地址，必须是页长度的整数倍。
（2）length：虚拟内存区域的长度，单位是字节。
（3）advice：建议。
POSIX标准定义的建议值如下：

• MADV_NORMAL：不需要特殊处理，这是默认值。
• MADV_RANDOM：预期随机访问指定范围的页，预读的用处比较小。
• MADV_SEQUENTIAL：预期按照顺序访问指定范围的页，所以可以激进地预读指定范围的页，并且进程在访问页以后很快释放。
• MADV_WILLNEED：预期很快就会访问指定范围的页，所以可以预读指定范围的页。
• MADV_DONTNEED：预期近期不会访问指定范围的页，即进程已经处理完指定范围的页，内核可以释放相关的资源。

Linux私有的建议值如下：

• MADV_REMOVE：进程想要释放指定范围的页和相关的后备存储。
• MADV_DONTFORK：在执行fork()的时候从子进程的地址空间删掉指定范围的页。
• MADV_DOFORK：取消MADV_DONTFORK，在执行fork()的时候不从子进程的地址空间删掉指定范围的页。
• MADV_HWPOISON：毒化指定范围的页，像内存损坏一样处理对指定范围的页的访问。
• MADV_MERGEABLE：允许KSM（Kernel Samepage Merging，内核相同页合并）合并数据相同的页。
• MADV_UNMERGEABLE：取消MADV_MERGEABLE，不允许合并数据相同的页。
• MADV_SOFT_OFFLINE：使指定范围的页软下线，即内存页被保留，但是下一次访问的时候，把数据复制到新的物理页，旧的物理页下线，对进程不可见。这个特性用来测试处理内存错误的代码。
• MADV_HUGEPAGE：允许指定范围使用透明巨型页。
• MADV_NOHUGEPAGE：不允许指定范围使用透明巨型页。
• MADV_DONTDUMP：生成核心转储文件的时候不要包含指定范围的页。
• MADV_DODUMP：取消MADV_DONTDUMP，生成核心转储文件的时候包含指定范围的页。
• MADV_FREE：从4.5版本开始支持，进程不再需要指定范围的页，内核可以释放这些页，释放可以延迟到内存不足的时候。

返回值：

如果成功，返回0，否则返回负的错误号。

1.2 数据结构

1. 虚拟内存区域
虚拟内存区域是分配给进程的一个虚拟地址范围，内核使用结构体vm_area_struct描述虚拟内存区域，主要成员如下所示：

（1）成员vm_file指向文件的一个打开实例（file）。索引节点代表一个文件，描述文件的属性。
（2）成员vm_pgoff存放文件的以页为单位的偏移。
（3）成员vm_ops指向虚拟内存操作集合，创建文件映射的时候调用文件操作集合中的mmap方法（file->f_op->mmap）以注册虚拟内存操作集合。例如：假设文件属于EXT4文件系统，文件操作集合中的mmap方法是函数ext4_file_mmap，该函数把虚拟内存区域的成员vm_ops设置为ext4_file_vm_ops。

共享匿名映射的虚拟内存区域如下所示，共享匿名映射的实现原理和文件映射相同，区别是共享匿名映射关联的文件是内核创建的内部文件。在内存文件系统tmpfs中创建一个名为“/dev/zero”的文件，名字没有意义，创建两个共享匿名映射就会创建两个名为“/dev/zero”的文件，两个文件是独立的，毫无关系。

（1）成员vm_file指向文件的一个打开实例（file）。
（2）成员vm_pgoff存放文件的以页为单位的偏移。
（3）成员vm_ops指向共享内存的虚拟内存操作集合shmem_vm_ops。

私有匿名映射的虚拟内存区域如下所示：

• 成员vm_file没有意义，是空指针。
• 成员vm_pgoff没有意义。
• 成员vm_ops是空指针。

（1）页保护位（vm_area_struct.vm_page_prot）：描述虚拟内存区域的访问权限。内核定义了一个保护位映射数组，把VM_READ、VM_WRITE、VM_EXEC和VM_SHARED这4个标志转换成保护位组合。
每种处理器架构需要定义__P000到__S111的宏，P代表私有（Private），S代表共享（Shared），后面的3个数字分别表示可读、可写和可执行，例如__P000表示私有、不可读、不可写和不可执行，__S111表示共享、可读、可写和可执行。

mm/mmap.c
pgprot_t protection_map[16] = {
    __P000, __P001, __P010, __P011, __P100, __P101, __P110, __P111,
    __S000, __S001, __S010, __S011, __S100, __S101, __S110, __S111
};

pgprot_t vm_get_page_prot(unsigned long vm_flags)
{
    return __pgprot(pgprot_val(protection_map[vm_flags &
                (VM_READ|VM_WRITE|VM_EXEC|VM_SHARED)]) |
             pgprot_val(arch_vm_get_page_prot(vm_flags)));
}

函数arch_vm_get_page_prot由每种处理器架构自定义，默认的实现如下：

include/linux/mman.h
#ifndef arch_vm_get_page_prot
#define arch_vm_get_page_prot(vm_flags) __pgprot(0)
#endif

（2）虚拟内存区域标志：结构体vm_area_struct的成员vm_flags存放虚拟内存区域的标志，头文件“include/linux/mm.h”定义了各种标志，常用的标志如下：
1）VM_READ、VM_WRITE、VM_EXEC和VM_SHARED分别表示可读、可写、可执行和可以被多个进程共享。
2）VM_MAYREAD表示允许设置VM_READ，VM_MAYWRITE表示允许设置VM_WRITE，VM_MAYEXEC表示允许设置VM_EXEC，VM_MAYSHARE表示允许设置VM_SHARED。这4个标志用来限制系统调用mprotect可以设置的访问权限。
3）VM_GROWSDOWN表示虚拟内存区域可以向下（低的虚拟地址）扩展，VM_GROWSUP表示虚拟内存区域可以向上（高的虚拟地址）扩展。VM_STACK表示虚拟内存区域是栈，绝大多数处理器的栈是向下扩展，VM_STACK等价于VM_GROWSDOWN；少数处理器（例如PA-RISC处理器）的栈是向上扩展，VM_STACK等价于VM_GROWSUP。
4）VM_PFNMAP表示页帧号（Page Frame Number，PFN）映射，特殊映射不希望关联页描述符，直接使用页帧号，可能是因为页描述符不存在，也可能是因为不想使用页描述符。
5）VM_MIXEDMAP表示映射混合使用页帧号和页描述符。
6）VM_LOCKED表示页被锁定在内存中，不允许换出到交换区。
7）VM_SEQ_READ表示进程从头到尾按顺序读一个文件，VM_RAND_READ表示进程随机读一个文件。这两个标志用来提示文件系统，如果进程按顺序读一个文件，文件系统可以预读文件，提高性能。
8）VM_DONTCOPY表示调用fork以创建子进程时不把虚拟内存区域复制给子进程。
9）VM_DONTEXPAND表示不允许使用mremap()扩大虚拟内存区域。
10）VM_ACCOUNT表示虚拟内存区域需要记账，判断所有进程申请的虚拟内存的总和是否超过物理内存容量。
11）VM_NORESERVE表示不需要预留物理内存。
12）VM_HUGETLB表示虚拟内存区域使用标准巨型页。
13）VM_ARCH_1和VM_ARCH_2由各种处理器架构自定义。
14）VM_HUGEPAGE表示虚拟内存区域允许使用透明巨型页，VM_NOHUGEPAGE表示虚拟内存区域不允许使用透明巨型页。
15）VM_MERGEABLE表示KSM（内核相同页合并，Kernel Samepage Merging）可以合并数据相同的页。

（3）虚拟内存操作集合（vm_operations_struct）：定义了虚拟内存区域的各种操作方法，其代码如下：

include/linux/mm.h
struct vm_operations_struct {
     void (*open)(struct vm_area_struct * area);
     void (*close)(struct vm_area_struct * area);
     int (*mremap)(struct vm_area_struct * area);
     int (*fault)(struct vm_fault *vmf);
     int (*huge_fault)(struct vm_fault *vmf, enum page_entry_size pe_size);
     void (*map_pages)(struct vm_fault *vmf,
             pgoff_t start_pgoff, pgoff_t end_pgoff);

     /* 通知以前的只读页即将变成可写，
      * 如果返回一个错误，将会发送信号SIGBUS给进程*/
     int (*page_mkwrite)(struct vm_fault *vmf);

     /* 使用VM_PFNMAP或者VM_MIXEDMAP时调用，功能和page_mkwrite相同*/
     int (*pfn_mkwrite)(struct vm_fault *vmf);
     …
}

1）open方法：在创建虚拟内存区域时调用open方法，通常不使用，设置为空指针。
2）close方法：在删除虚拟内存区域时调用close方法，通常不使用，设置为空指针。
3）mremap方法：使用系统调用mremap移动虚拟内存区域时调用mremap方法。
4）fault方法：访问文件映射的虚拟页时，如果没有映射到物理页，生成缺页异常，异常处理程序调用fault方法来把文件的数据读到文件的页缓存中。
5）huge_fault方法：和fault方法类似，区别是huge_fault方法针对使用透明巨型页的文件映射。
6）map_pages方法：读文件映射的虚拟页时，如果没有映射到物理页，生成缺页异常，异常处理程序除了读入正在访问的文件页，还会预读后续的文件页，调用map_pages方法在文件的页缓存中分配物理页。
7）page_mkwrite方法：第一次写私有的文件映射时，生成页错误异常，异常处理程序执行写时复制，调用page_mkwrite方法以通知文件系统页即将变成可写，以便文件系统检查是否允许写，或者等待页进入合适的状态。
8）pfn_mkwrite方法：和page_mkwrite方法类似，区别是pfn_mkwrite方法针对页帧号映射和混合映射。

2. 链表和树
如下所示，进程的虚拟内存区域按两种方法排序：

（1）双向链表，mm_struct.mmap指向第一个vm_area_struct实例。
（2）红黑树，mm_struct.mm_rb指向红黑树的根。

虚拟内存区域使用起始地址和结束地址描述，链表按起始地址递增排序。红黑树是平衡的二叉查找树，按起始地址排序，使用红黑树有以下好处：

（1）在红黑树中查找一个虚拟内存区域的速度快。
（2）增加一个新的区域时，先在红黑树中找到刚好在新区域前面的区域，然后向链表和树中插入新区域，可以避免扫描链表。

1.3 创建内存映射

C标准库封装了函数mmap用来创建内存映射，内核提供了POSIX标准定义的系统调用mmap：

asmlinkage long sys_mmap(unsigned long addr, unsigned long len, 
              unsigned long prot, unsigned long flags, 
              unsigned long fd, off_t off); 

Linux内核从2.3.31版本开始提供私有的系统调用mmap2：

asmlinkage long sys_mmap2(unsigned long addr, unsigned long len, 
              unsigned long prot, unsigned long flags, 
              unsigned long fd, off_t off); 

两个系统调用的区别是：mmap指定的偏移的单位是字节，而mmap2指定的偏移的单位是页。有的处理器架构实现了这两个系统调用，有的处理器架构只实现了其中一个系统调用，例如ARM64架构只实现了系统调用mmap。

系统调用sys_mmap的执行流程如下所示：

常见的情况是：创建内存映射的时候不分配物理页，等到进程第一次访问虚拟页的时候，生成页错误异常，页错误异常处理程序分配物理页，在页表中把虚拟页映射到物理页：

1.4 虚拟内存过量提交策略

虚拟内存过量提交，是指所有进程提交的虚拟内存的总和超过物理内存的容量，内存管理子系统支持3种虚拟内存过量提交策略。
（1）OVERCOMMIT_GUESS(0)：猜测，估算可用内存的数量，因为没法准确计算可用内存的数量，所以说是猜测。
（2）OVERCOMMIT_ALWAYS(1)：总是允许过量提交。
（3）OVERCOMMIT_NEVER(2)：不允许过量提交。

默认策略是猜测，用户可以通过文件“/proc/sys/vm/overcommit_memory”修改策略。

1.5 删除内存映射

系统调用munmap用来删除内存映射，它有两个参数：起始地址和长度。

系统调用munmap的执行流程如下所示，它把主要工作委托给源文件“mm/mmap.c”中的函数do_munmap：

（1）根据起始地址找到要删除的第一个虚拟内存区域vma。
（2）如果只删除虚拟内存区域vma的一部分，那么分裂虚拟内存区域vma。
（3）根据结束地址找到要删除的最后一个虚拟内存区域last。
（4）如果只删除虚拟内存区域last的一部分，那么分裂虚拟内存区域last。
（5）针对所有删除目标，如果虚拟内存区域被锁定在内存中（不允许换出到交换区），那么调用函数munlock_vma_pages_all以解除锁定。
（6）调用函数detach_vmas_to_be_unmapped，把所有删除目标从进程的虚拟内存区域链表和树中删除，单独组成一条临时的链表。
（7）调用函数unmap_region，针对所有删除目标，在进程的页表中删除映射，并且从处理器的页表缓存中删除映射。
（8）调用函数arch_unmap执行处理器架构特定的处理。各种处理器架构自定义函数arch_unmap，它默认是一个空函数。
（9）调用函数remove_vma_list删除所有目标。