PostgreSQL的checkpointer进程

这篇具有很好参考价值的文章主要介绍了PostgreSQL的checkpointer进程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

bgwriter与checkpointer进程对比

bgwriter进程与checkpointer进程,虽然都会写出脏页,但是刷脏的目的、频率、控制参数等,都有不同,以下是两则的区别:

区别 bgwriter进程 checkpointer进程
当前,该进程刷脏的目的 1、保证有足够多的干净页面可以使用,提供数据查询的性能。
2、通过提前将一部分脏数据落盘,可以减少checkpoint操作时的IO操作,使系统IO趋于平稳。
1、保证数据的一致性,将所有脏块刷出到磁盘,并创建一个数据一致性的位点,以便在数据崩溃后进行恢复。
执行频率 默认200ms 默认5min
每次刷出脏块 默认100 全部脏块
脏页刷出策略 Postgres 8.1版本之前是用的LRU算法,从8.1版开始,Postgres使用了Clock Sweep时钟扫描算法 无,刷出全部脏块。
是否更新pg_control文件?
该进程在哪个版本引入? Postgres 8.0 Postgres 9.2 (在8.0-9.1版本中,由bgwriter进程处理checkpoint)

在Postgres 9.2版本中,checkpointer进程正式从bgwriter进程中分离出来,称为一个独立的进程。

checkpointer进程分离出来前

每隔几分钟就要运行一次检查点,将全部脏页写入操作系统的缓存区,然后再将操作系统缓冲区的所有脏页刷新到磁盘,会发出一个全局的sync调用,这将导致磁盘IO使用量的周期性激增,通常会影响性能。

bgwriter进程既需要负责执行checkpoint操作,还需要保证缓冲区有足够的干净页面可以使用,越来越臃肿,不便于性能调优。

以下代码片段来自Postgres 9.1版本:

/* checkpoint刷脏 */
void CheckPointBuffers(int flags)
{
    TRACE_POSTGRESQL_BUFFER_CHECKPOINT_START(flags);
    CheckpointStats.ckpt_write_t = GetCurrentTimestamp();
    BufferSync(flags);
    CheckpointStats.ckpt_sync_t = GetCurrentTimestamp();
    TRACE_POSTGRESQL_BUFFER_CHECKPOINT_SYNC_START();
    smgrsync();
    CheckpointStats.ckpt_sync_end_t = GetCurrentTimestamp();
    TRACE_POSTGRESQL_BUFFER_CHECKPOINT_DONE();
}
/* 全局sync,极大的增加了IO */
void smgrsync(void)
{
    int            i;

    for (i = 0; i < NSmgr; i++)
    {
        if (smgrsw[i].smgr_sync)
            (*(smgrsw[i].smgr_sync)) ();
    }

}

checkpointer进程分离出来后

bgwriter以稳定的速度进行脏块的写入操作。当检查点触发时,需要写的脏页会少很多,fsync也只需考虑只上一次检查点以来产生的脏块,提高了性能,并且最大限度的减少检查点期间的性能降低。

由于checkpointer进程和bgwriter进程之间的职责分离,系统管理员可以更方便地进行优化和调整,以满足特定的性能要求。

关于bgwriter进程

在Postgres 8.0版本中引入该进程。

刷脏的目的

  • ​ 保证有足够多的干净页面可以使用,提供数据查询的性能。
  • ​ 通过提前将一部分脏数据落盘,可以减少checkpoint操作时的IO操作,使系统IO趋于平稳。

​ 仅将部分脏块刷出到磁盘。

guc控制参数

# - Background Writer -

bgwriter_delay = 200ms                  # 10-10000ms between rounds
bgwriter_lru_maxpages = 100             # max buffers written/round, 0 disables
bgwriter_lru_multiplier = 2.0           # 0-10.0 multiplier on buffers scanned/round
bgwriter_flush_after = 512kB            # measured in pages, 0 disables

关于checkpointer进程

在Postgres 9.2中,将checkpoint处理的部分从bgwriter中剥离出来,引入checkpointer进程,专门用于处理checkpoint,而bgwriter进程不再处理检查点。

每次会将全部脏块集中刷出盘磁盘,对数据库性能影响较大。

刷脏的目的

保证数据的一致性,将所有脏块刷出到磁盘,并创建一个数据一致性的位点,以便在数据崩溃后进行恢复。

guc控制参数

# - Checkpoints -

#checkpoint_timeout = 5min              # range 30s-1d
max_wal_size = 1GB
min_wal_size = 80MB
#checkpoint_completion_target = 0.5     # checkpoint target duration, 0.0 - 1.0
#checkpoint_flush_after = 256kB         # measured in pages, 0 disables
#checkpoint_warning = 30s               # 0 disables

为什么将checkpointer从bgwriter进程中分离出来?

  • 早前版本,bgwriter进程同时执行后台写入、检查点和一些其他任务。因为只有一个进程,在做检查点的fsync的时候,不能进行bgwriter的写操作,两个操作不能同时进行,带来负面的性能影响。
  • 此外,再9.2版本中,开始使用锁存器(latch)替代轮询的循环来降低功耗,而bgwriter循环的复杂性很高,不太可能使用锁存器替代循环。

关于分离checkpointer进程与bgwriter进程的讨论:
https://www.postgresql.org/message-id/CA%2BU5nMLv2ah-HNHaQ%3D2rxhp_hDJ9jcf-LL2kW3sE4msfnUw9gA%40mail.gmail.com

后续

由于bgwriter和checkpointer进程演进的历史原因,导致即便是在当前的Postgres 12版本中,bgwrter进程的代码中仍有大量checkpointer进程的影子,checkpoint的状态统计信息,仍在bgwriter的状态统计视图pg_stat_bgwriter中。但两个进程在Postgres版本的不断演进中,代码在不断的分离,演化成两个相对独立的进程。

在Postgres 12版本中,bgwriter的状态统计数据结构如下,从中能看到checkpoint的状态信息,两者并未完全分离。

typedef struct PgStat_MsgBgWriter
{
    PgStat_MsgHdr m_hdr;

    PgStat_Counter m_timed_checkpoints;
    PgStat_Counter m_requested_checkpoints;
    PgStat_Counter m_buf_written_checkpoints;
    PgStat_Counter m_buf_written_clean;
    PgStat_Counter m_maxwritten_clean;
    PgStat_Counter m_buf_written_backend;
    PgStat_Counter m_buf_fsync_backend;
    PgStat_Counter m_buf_alloc;
    PgStat_Counter m_checkpoint_write_time; /* times in milliseconds */
    PgStat_Counter m_checkpoint_sync_time;

} PgStat_MsgBgWriter;

在Postgres 15版本中,可以发现bgwriter和checkpointer的统计信息已经完全剥离。文章来源地址https://www.toymoban.com/news/detail-832764.html

typedef struct PgStat_BgWriterStats
{
    PgStat_Counter buf_written_clean;
    PgStat_Counter maxwritten_clean;
    PgStat_Counter buf_alloc;
    TimestampTz stat_reset_timestamp;
} PgStat_BgWriterStats;

typedef struct PgStat_CheckpointerStats
{
    PgStat_Counter timed_checkpoints;
    PgStat_Counter requested_checkpoints;
    PgStat_Counter checkpoint_write_time;    /* times in milliseconds */
    PgStat_Counter checkpoint_sync_time;
    PgStat_Counter buf_written_checkpoints;
    PgStat_Counter buf_written_backend;
    PgStat_Counter buf_fsync_backend;
} PgStat_CheckpointerStats;

到了这里,关于PostgreSQL的checkpointer进程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • PostgreSQL-数据库命令

    一个数据库是一个或多个模式的集合,而模式包含表、函数等。因此,完整的逻辑组织结构层次是服务器实例(PostgreSQL Server)、数据库(Database)、模式(Schema)、表(Table),以及某些其他对象(如函数)。一个PostgreSQL服务器实例可以管理多个数据库。当应用程序连接到一

    2024年02月14日
    浏览(17)
  • PostgreSQL 创建数据库

    PostgreSQL 创建数据库可以用以下三种方式: CREATE DATABASE 命令需要在 PostgreSQL 命令窗口来执行,语法格式如下: 例如,我们创建一个 runoobdb 的数据库: createdb 命令创建数据库 createdb 是一个 SQL 命令 CREATE DATABASE 的封装。 参数说明: . dbname:要创建的数据库名。 . description:关

    2024年02月12日
    浏览(28)
  • 【数据库】什么是 PostgreSQL?开源数据库系统

    PostgreSQL 是一个开源的对象关系数据库系统,本文,我们将讨论 PostgreSQL、它的用途和好处。 PostgreSQL 是由 PostgreSQL Global Development Group 开发的高级 开源关系数据库管理系统(RDBMS) 。它作为 POSTGRES 项目的一部分于 1986 年在加州大学伯克利分校启动,它最初于 1996 年 7 月 8 日发布

    2023年04月08日
    浏览(13)
  • postgresql数据库定时备份到远程数据库

    1.老规矩,服务器目录结构: conf目录无内容 profile: 其中: 最后一行 export PGPASSWORD=‘root’ 是需要备份的数据库的密码,因为直接用 pg_dump 命令备份需要输入密码交互,而我们需要达到自动备份,所以借助这种方式不需要输入密码 docker-compose.yml: 启动容器: 然后再data目录下面

    2024年02月09日
    浏览(23)
  • PostgreSQL连接指定数据库

    要连接到PostgreSQL中的指定数据库,您需要使用以下格式的连接字符串: 其中,username是连接PostgreSQL的用户名,password是该用户的密码,hostname是PostgreSQL服务器的主机名或IP地址,port是PostgreSQL服务器的端口号,database_name是要连接的数据库名称。 例如,如果您要连接到名为my

    2024年02月11日
    浏览(21)
  • postgresql-数据库与模式

    数据库管理系统( DBMS )是用于管理数据库的软件系统。常见的关系型DBMS有PostgreSQL、 MySQL、Oracle、Microsoft SQL Server、SQLite 等。常见的 NoSQL 数据库有 Redis、MongoDB、 Cassandra、Neo4j 等。PostgreSQL 荣获了数据库排名网站DB-Engines 2017、2018 以及 2020 年度数据库管理系统称号 PostgreSQL 数

    2024年02月08日
    浏览(20)
  • postgresql 数据库 索引 介绍

    大家在学习数据库的时候,是不是常常听到索引?那什么是索引呢?索引有哪些作用呢?索引有哪些种类呢?为什么要建索引呢?带着这些疑问,本文带你一起学习postgresql数据库的索引。 索引是提高数据库性能的常用途径。比起没有索引,使用索引可以让数据库服务器更快

    2024年02月13日
    浏览(25)
  • Python操作PostgreSQL数据库

    个人简介 :一个从会计转行数据分析师的三旬老汉 擅长领域 :数据分析、数据仓库、大数据 博客内容 :平时会将自己工作中遇到的问题进行归纳总结,分享给各位小伙伴,意在帮助大家 少加班 、 不掉发 ,让我们相互学习,一起进步。 本文分享使用Python操作PostgreSQL数据

    2024年02月15日
    浏览(23)
  • PostgreSQL数据库定时备份脚本

          大多数数据库管理系统都提供了自带的备份工具,可以使用这些工具来进行备份操作。     例如: MySQL:使用 mysqldump 命令进行备份。 PostgreSQL:使用 pg_dump 命令进行备份。       以下是一个用于定时备份 PostgreSQL 数据库的示例脚本。这个脚本将使用 pg_dump 工具来创建

    2024年02月11日
    浏览(16)
  • python连接postgresql数据库

    postgresql是常用的关系型数据库,并且postgresql目前还保持着全部开源的状态,所以我们今天就一起来学习一下,如何用python连接postgresql。 官方文档地址: https://www.psycopg.org/docs/cursor.html 若是增、删、更等操作,则操作流程为: connect 连接 获取游标对象 cursor 执行sql得到结果

    2024年02月16日
    浏览(16)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包