InnoDB Data Dictionary--施洪宝

本文主要是介绍InnoDB Data Dictionary--施洪宝，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

一. 基础知识

本文使用的Mysql版本: 8.0.12-debug
本文用到的Linux命令: xxd
本文需要使用到的知识点: Mysql 数据页存储, 可以参见 https://segmentfault.com/a/1190000037436803

1.1 问题

Data Dictironary是什么?

Data Dictironary(DD, 数据字典)是有关数据库对象的合集, 例如表、视图、索引等, 可以看做是数据库的元信息。换句话说, 数据字典存储了有关表结构的信息, 每个表具有的列, 表的索引等。

2.系统表是什么? 跟自己创建的表有何不同?

系统表有很多, 常见的有mysql.schemata,mysql.tables, mysql.indexes
我们创建的表的元信息是放到系统表中的
在内存中, 这些元信息以对象的方式提供给外部使用, 比如说, 创建一个表, 内存中会创建这个表的数据字典对象, 系统表以及我们创建的表都会有自己的数据字典对象
可以认为系统表的元信息就存储在自己的数据字典对象中, 这些信息会被序列化到磁盘的mysql.ibd文件中

3.DD存储在哪些地方?

这里是针对Mysql 8的数据字典,

数据字典信息需要持久化, 存储在mysql.ibd文件中, 使用专门的表空间id
在每个独立的表空间中, 也备份了一份这个表空间相关的dd对象序列化信息
系统表空间, 也就是ibdata1文件中, 并没有存储dd对象的相关信息

1.2 DD存储

Mysql 8之前, 数据字典存储结构如下图,

数据字典

从图中可以看出, DD信息存储在多个地方,

部分数据存储在文件中
部分数据存储在mysql系统表中
InnoDB系统表也存储了部分数据

这种存储方式存在以下问题:

数据存储在多个地方, 难以维护管理
MyISAM系统表容易损坏
不支持原子操作

Mysql 8 对数据字典进行了重新设计, 并且使用InnoDB存储,

数据字典-Mysql 8

将原来存储数据字典的文件全部删除, 统一放到数据字典表空间中
对于原来使用MyISAM存储的系统表, 全部替换为InnoDB存储, 为实现原子DDL提供了可能性

1.3 如何查看数据字典

通过命令行连接Mysql服务器查看

SET SESSION debug='+d,skip_dd_table_access_check';
SELECT name, schema_id, hidden, type FROM mysql.tables where schema_id=1 AND hidden='System';

可以看到DD中存储了很多系统表,

+------------------------------+-----------+--------+------------+
| name                         | schema_id | hidden | type       |
+------------------------------+-----------+--------+------------+
| catalogs                     |         1 | System | BASE TABLE |
| character_sets               |         1 | System | BASE TABLE |
| collations                   |         1 | System | BASE TABLE |
| columns                      |         1 | System | BASE TABLE |
| dd_properties                |         1 | System | BASE TABLE |
| events                       |         1 | System | BASE TABLE |
| index_stats                  |         1 | System | BASE TABLE |
| indexes                      |         1 | System | BASE TABLE |
| schemata                     |         1 | System | BASE TABLE |
| tables                       |         1 | System | BASE TABLE |
| tablespace_files             |         1 | System | BASE TABLE |
| tablespaces                  |         1 | System | BASE TABLE |
+------------------------------+-----------+--------+------------+

这里我们仅列出了一部分, InnoDB还存储了很多其他的系统表
这些系统表存储了各种元数据, columns存储了表的列信息, indexes则存储了表的索引信息, schemata存储了数据库的信息。

2.通过 ibd2sdi 工具查看

ibd2sdi test.ibd

tips: 可以通过utilities/ibd2sdi.cc文件, 查看反序列化过程, 进而可以看出sdi页面存储结构

1.4 Serialized Dictionary Information(SDI)

SDI是什么?

SDI, 字典序列化信息, 也就是将数据字典中的对象序列化后的数据

2.SDI如何组织?

DD中包含很多的数据字典对象, 这些对象的SDI数据以B+树的方式进行组织
SDI数据基本都是压缩后存储的, 压缩方式使用的是zlib

3.SDI举例

{
    "mysqld_version_id":80012,
    "dd_version":80012,
    "sdi_version":1,
    "dd_object_type":"Table",
    "dd_object":{
        "name":"x",
        "columns":[
            {
                "name":"id",
                "type":4,
                ...
            },
            {
                "name":"DB_TRX_ID",
                "type":10,
                ...
            },
            {
                "name":"DB_ROLL_PTR",
                "type":9,
                ...
            }
        ],
        ...
        "indexes":[
            {
                "name":"PRIMARY",
                "hidden":false,
                ...
            }
        ],
        ...
    }
}

可以看到, SDI中存储了这个表的元信息, 比如说这个表的列组成, 索引信息等。

二. SDI存储页示例

上文中, 我们说过在每个表的独立表空间中, 存储了这个表相关的DD对象序列化后的信息。在这一节, 我们学习如何查看SDI信息。

我们首先建立一个表

CREATE TABLE `x` (
  `id` int(11) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci

表所在的库是hbshi

2.查看这表的独立表空间文件, 通过 xxd x.ibd x.txt 查看这个表空间的数据页, 这里我们主要看第4页, 这1页存储了这个表相关的数据字典序列化信息,

000c000: 723e 3b3c 0000 0003 ffff ffff ffff ffff  r>;<............
000c010: 0000 0000 0128 06fc 45bd 0000 0000 0000  .....(..E.......
000c020: 0000 0000 0004 0002 04d2 8004 0000 0000  ................
000c030: 0172 0001 0001 0002 0000 0000 0000 0000  .r..............
000c040: 0000 ffff ffff ffff ffff 0000 0004 0000  ................
000c050: 0002 00f2 0000 0004 0000 0002 0032 0100  .............2..
000c060: 0201 0f69 6e66 696d 756d 0003 000b 0000  ...infimum......
000c070: 7375 7072 656d 756d cb80 0000 10ff f100  supremum........
000c080: 0000 0200 0000 0000 0000 0900 0000 0016  ................
........
........
000fff0: 0000 0000 0070 0063 723e 3b3c 0128 06fc  .....p.cr>;<.(..

对于一个表空间而言, 可能会有多个数据字典对象, 这些对象序列化后会以B+树的方式组织, 我们看一下具体的存储结构,

整体页存储结构:

最小记录: 记录头[00c05e, 00c062], 具体数据[00c063, 00c06a]
最大记录: 记录头[00c06b, 00c06f], 具体数据[00c070, 00c077]
第1条记录: 2字节的内容长度[00c078, 00c079]; 5字节的记录头[00c07a, 00c07e]; 记录内容[00c07f, 00c16a]。
第2条记录: 2字节的内容长度[00c16b, 00c16c], 5字节的记录头[00c16d, 00c171], 记录的数据[00c172, 00c4d1]

我们再看下每个记录的具体存储:

长度: 1或者2个字节的长度字段, 说明内容长度
5个字节的记录头
33个字节的记录说明
记录的具体内容, 记录头前面的1或者2个字节就是说明这个记录的内容长度的

记录说明:

4个字节的类型信息
8个字节的id
6个字节的事务id
7个字节的回滚指针
4个字节的非压缩长度
4个字节的压缩长度

存储结构如下图所示,
SDI存储页

3.SDI记录遍历流程

从最小记录计算第1条记录, 00c063 + 010f = 00c172
计算第2条记录, 00c172 + ff0d = 00c07f
计算第3条记录: 00c07f + fff1 = 00c070

注意: 游标以每个记录的内容开始, 例如最小记录的开始位置为00c063, 而不是00c05e。计算的下一个记录位置, 也是内容开始的位置。

4.如何查看SDI压缩后的数据

首先通过bin/ibd2sdi工具, 将ibd文件中的sdi信息打印
从打印中的信息中, 选择其中一项
从选中的一项中抽出object字段, 将其压缩, 这里我们使用python脚本进行压缩, 压缩方式使用zlib

#!/usr/bin/env python
# -*- coding=utf-8 -*-
#
import os
import sys
import json
import time
import datetime
import hashlib
import zlib

reload(sys)
sys.setdefaultencoding("utf-8")

def help():
    f = open("./test.data")
    l = f.readline()
    d = zlib.compress(l)
    f2 = open("./tmp.data", 'w+')
    f2.write(d)

help()

对比压缩后的数据以及表空间存储的数据

三. DD表空间

InnoDB常用表空间

表空间占用4个字节, 最大值为0xffff ffff, 这个表空间是无效的, 没有使用
0xffff fffe 是data dicitonary的表空间, 也就是mysql.ibd
0xffff fffd 是临时表空间, 也就是ibtmp1.ibd
[0xffff fffc, 0xffff fff0]是为日志准备的
[0xffff ffef, 0xffff ff70]是undo log
[0x0000 0002, 0xffff ff6f]是可以正常使用的表空间
1是 sys/sys_config 表空间
0是系统表空间, 也就是ibdata1

2.DD表空间存储

DD表空间存储结构与一般的独立表空间存储结构是相同的
第4页(page 3)是SDI存储的root page, SDI以B+树进行组织
除了SDI信息外, 具体的元数据表也存储在这个表空间中, 存储方式与一般的表是一样的。

四. 总结与思考

本文主要介绍了Mysql数据字典的概念以及数据字典的存储, 这里我们简单总结一下,

系统表以及我们创建的表, 元信息都存储在数据字典中
我们自己创建的表的元信息存储在系统表中, 同时也会序列化到自己的表空间中
系统表的元信息, 存储在系统表的数据字典对象中, 这些信息会被序列化到mysql.ibd文件中
SDI信息以B+树的方式进行组织

2.思考

DD是数据库对象的合集, Mysql server层以及InnoDB层都需要这些信息, 他们是如何具体操作的?
DDL的原子性是如何实现的?

五. 参考

https://dev.mysql.com/doc/ref...

这篇关于InnoDB Data Dictionary--施洪宝的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！

C/C++教程