PostgreSQL教程

Postgresql杂谈 02—Postgresql体系介绍

本文主要是介绍Postgresql杂谈 02—Postgresql体系介绍,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

一、Postgresql的内存结构

       所谓的内存结构,就是Postgresql在运行时的内存构成,即有多少个进程,每个进程的作用是什么。我们先来看一张PG服务器的运行时内存结构图:

       接下来,我们分别介绍了Postgresql各个进程的作用。

1.1 主进程PostMaster

       postmaster进程是PG数据库最主要的管理进程,它的作用主要有两个:

(1)可以启动和关闭数据库的实例。

/usr/pgsql-11/bin/postmaster -D $PGDATA

       如果是在centos7+下使用yum安装的postgresql,那么postgresql的启停会托管给systemctl,我们在/usr/lib/systemd/system/postgresql-11.service文件中就可以看到配置的ExecStart就是使用的上述命令:

       实际上,postmaster 命令只是postgres命令的一个软链接,可以看到postmaster 的目标命令是postgres。如下所示,postmaster命令只是同目录postgres命令的一个软连接

[postgres@VM-115-39-centos /usr/pgsql-11/bin]ls -l postmaster lrwxrwxrwx 1 root root 8 Jul 25 2020 postmaster -> postgres

(2)为客户端的链接创建postgres子进程。

       Postgresql针对每个客户端的链接都会fork一个子进程,如下所示,圈出部分就是客户端的一个远程链接而创建的postgres进程,所以Postgresql在处理客户端链接时成本还是很高的。

1.2 backgroud writer进程

       bgwriter进程是将共享内存中的脏数据块写入到磁盘上的进程。这里,先解释下什么是脏数据块。当向数据库中插入或者更新数据时,往往不会马上将这些更新的数据写入到磁盘,而是直接在内存中进行更新,这样做主要是为了提高更新或者插入的效率。但是这也就引入了一个问题——内存中的数据和磁盘中已经持久化的数据是不一致的,我们就把这部分内存中的数据称为脏块。bgwriter进程的作用就是按照一定的周期,将脏块的数据写入到磁盘。这个更新的频率可以通过postgresql.conf配置文件进行配置,过高或者过低的频率都有问题,比如说过高的话,磁盘IO过于频繁,性能会降低;过低时,有可能造成内存不足,当有新的数据要写入或者要查询脏块中的数据时,就需要将数据先写入到内存中,必然会造成更新或者查询更慢。所以我们进行配置时要找到一个合适的频率。

1.3 wal writer进程

       postgresql中的wal日志也叫预写日志,和oracle中的redo日志类似,执行数据更新时,先要将更新记录记录到磁盘上,主要是为了防止在数据库服务器突然宕机时,内存中的脏数据丢失,可以根据wal日志进行数据的恢复。wal日志的保存目录是在$PGDATA/pg_wal目录下,可以看到文件名逐渐递增,而且每个文件的大小都是16M,总的大小可配置,当达到了最大的值,新的Wal日志会覆盖旧的: 

1.4 logger进程

       logger进程可以收集包括postmaster进程在内的所有进程的stderr日志,这里需要注意是错误日志哦,并不是所有的日志它都会收集。它支持通过postgresql.conf文件修改日志相关的参数,可以设置最大值并循环覆盖,日志的默认目录在$PGDATA/logs/,像我本机默认的日志记录如下,每天一个日志文件,按照星期存储:

       查看某个日志的内容,发现都是一些错误的信息:

1.5 checkpoint进程

       和oracle类似,postgresql也有检查点进程checkpoint,检查点进程的主要作用就是,辅助bgwriter进行内存中脏数据块的写入。实际上,当bgwriter向磁盘中写入脏块时,是通过checkpoint进程实际写入的。bgwriter在扫描出脏块后,会发起写入的request,而checkpoint进程会读取这些request,将脏块批量写入磁盘,并且会记录已经写入后的脏块,从而保证下次只会写入新的脏块。

1.6 autovacuum launcher进程

       该进程主要是两个作用:

(1)PG数据库中DELET操作,原来的数据并不会被立即删除。即使是Update的数据,也不会在旧的数据行上进行更新,而是新生成一行数据,将原来的数据行标记为删除状态。这就是为了PG数据库的共享锁和独占锁机制,只有在其它事务没有在读取这些旧数据时,它们才会被删除。而autovacuum进程的作用就是自动清理这些被标记为删除状态的数据。

(2)负责统计信息的收集,用于查询优化时的代价的估算。

1.7 state collector进程

       该进程的主要作用就是数据的统计收集,比如在一个表上进行了多少次的插入、更新和删除操作,磁盘块的读写次数、行的读写次数等等。

1.8 logical replication launcher进程

       用于逻辑复制,订阅者通过 logical replication launcher进程向发布者订阅表的更新并获取更新。

1.9 archiver进程

       归档进程,所谓归档,就是在旧的WAL日志在覆盖前把其备份出来,Postgresql支持一种PITR(Point-In-Time-Recovery)技术,就是在数据库进行一次全量备份之后,该技术会将备份时间点之后的WAL日志归档备份,这样使用全量备份再加上WAL日志,就可以将数据库恢复到任意的时间点了。但是需要注意的是Postgresql默认的配置是不开发归档功能的,如果需要开放,要在postgresql.conf文件中设置archive_mode = on

1.10 共享内存

       主要作为数据缓冲区,提高读写性能,作为WAL日志和Commit日志的缓冲区等等。

1.11 本地内存

  • 临时缓冲区,用来访问临时表的本地缓冲区
  • work_mem,作为内部排序操作和联合查询时合并链接、Hash链接的临时内存
  • maintenance_work_mem,在维护性操作(比如VACUUM、CREATE INDEX)中使用的内存缓冲区。

二、Postgresql的逻辑结构

  • 数据库簇

       可以理解为一个数据库的容器,可以存放多个数据库实例(create database)。Postgresql的数据库是一个多租户的概念,租户之间互相隔离。

  • 数据库

       这个不用多解释了,使用create database可以创建数据库。

  • 模式schema

       模式是相同数据库下逻辑隔离的基本单位,可以通过create schema创建不同的模式,其实有点类似与oracle中的用户,oracle中不同用户可以创建不同的表,表名可以重复,其它用户访问别的用户的表时需要带上用户名,这样就实现了用户间的数据隔离,而Postgresql中使用模式达到这种数据隔离的目的。

test=# create schema myschema;
CREATE SCHEMA
test=# create table myschema.mytable(id INT,name varchar);
CREATE TABLE
test=# \d+ myschema.mytable
                                      Table "myschema.mytable"
 Column |       Type        | Collation | Nullable | Default | Storage  | Stats target | Description 
--------+-------------------+-----------+----------+---------+----------+--------------+-------------
 id     | integer           |           |          |         | plain    |              | 
 name   | character varying |           |          |         | extended |              |    

三、Postgresql的目录结构

3.1 程序目录结构

  • 跟目录,一般是在/usr/pgsql-<主版本>下
  • bin/,存放了二进制的可执行程序,比如启停程序postgres,备份工具pg_dump、pg_restore等备份工具、psql客户端工具,都是在这里。
  • lib/,存放了动态库文件,*.so
  • share/,存放了文档和配置文档文件、以及扩展包的sql文件等等。

3.2 存储目录结构

  • 跟目录,/var/lib/pgsql/<主版本号>/data
  • postgresql.conf,数据库实例的配置文件,基本上所有的配置参数都在这个文件中
  • postgresql.auto.conf,通过alter system修改的配置参数存放到该文件内。
  • pg_ident.conf,ident认证方式的配置文件
  • pg_hba.conf,认证相关的配置文件
  • PG_VERSION,记录了数据库的主版本
  • postmaster.opts,记录上数据库启动的命令行参数
[postgres@VM-115-39-centos ~/11/data]cat postmaster.opts /usr/pgsql-11/bin/postgres "-D" "/var/lib/pgsql/11/data/"

       以上是主要的文件,接下来是几个主要的子目录

  • base/,默认表空间的目录,下面有多个子目录,子目录的名称对应的数据库的OID相同

数据库的OID:

postgres=# select oid,datname from pg_database;
  oid  |         datname         
-------+-------------------------
 13881 | postgres
     1 | template1
 13880 | template0
 16385 | stock_analysis_data
 17724 | stock_test_activiti
 18121 | stock_analysis_activiti
 18621 | test
 18622 | test1
 18623 | test2

base目录下的子目录:

[postgres@VM-115-39-centos ~/11/data]ls base/ 
13880 13881 16385 17724 18121 18621 18622 18623 pgsql_tmp
  • global/,共享系统表的目录
  • log/,logger进程存放的错误日志
  • pg_commit_ts/,视图提交的时间戳数据
  • pg_dynshmem/,动态共享内存子系统使用的文件
  • pg_logical/,logical replication launcher进程进行逻辑复制的中间数据
  • pg_multixact/,多事务的中间数据
  • pg_notify/,listen/notify状态的数据
  • pg_replslot/,复制槽的数据
  • pg_serial/,已经提交的可串行话的事务的数据
  • pg_snapshots/,函数pg_export_snapshot导出的快照文件存放目录。
  • pg_stat/,统计子系统的永久文件
  • pg_stat_tmp/,统计子系统的临时文件
  • pg_subtrans/,子事务状态数据
  • pg_tblspc/,存放指向用户表空间目录的链接文件
  • pg_twophase/,使用两阶段提交的分布式事务时的存储目录
  • pg_wal/,WAL日志的存放目录
  • pg_xact/,Commit Log的目录

       接下来,我们思考一个问题:数据库中每个表里面的数据都是存到磁盘文件中的,那么这些文件的存储位置在哪呢?要想弄清楚这个问题,我们需要了解一个概念——relfilenode,当我们创建一个表或者索引时,Postgresql会为每个表和索引都分配一个relfilenode(实际上就是一个int类型的编号),可以通过pg_class查询到某个表的relfilenode。比如查询表fund的relfilenode:

stock_analysis_data=# select relnamespace,relname,relfilenode from pg_class where relname='fund';
         2200 | fund    |       17586

       fund是数据库stock_analysis_data中的一个表,通过上面我们从pg_database查询数据库的OID得知,stock_analysis_data的OID是16385 ,而stock_analysis_data用的是默认的表空间,从上面的查询中可以看到,fund表的relfilenode为17586。一张表的数据文件目录为:

<默认的表空间目录>/<数据库 oid>/<relfilenode>[.顺序号]

       其中,顺序号从1开始,当表或索引的大小超过1G时,顺序号加1,所以fund表对应的文件路径如下:

/var/lib/pgsql/11/data/base/16385/17586

这篇关于Postgresql杂谈 02—Postgresql体系介绍的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!