MySql数据库主从复制一致性的校验方案

最新推荐文章于 2026-07-29 14:14:33 发布
原创 最新推荐文章于 2026-07-29 14:14:33 发布 · 199 阅读 · 1

主从复制往往会存在主从数据库数据不一致的问题，这会导致与客户端显示的数据不一样。那么本文章主要就是对主从复制的一致性问题给出一些操作方案。

一、准备工作

  1. 使用虚拟机搭建了一主多从的主从结构(主从搭建参考我之前的文章“搭建MySql主从复制”)
  2. 主(192.168.119.149)，数据库帐号slave
  3. 从1(192.168.119.150)，数据库帐号slave
  4. 从2(192.168.119.151)，数据库帐号slave
  5. 相关工具：percona-toolkit-3.3.1_x86_64.tar.gz
  6. CentOS Linux release 7.9.2009 (Core)
  7. mysql版本：8.0.21

二、安装percona-toolkit

官网下载地址：https://downloads.percona.com/downloads/percona-toolkit/3.3.1/binary/tarball/percona-toolkit-3.3.1_x86_64.tar.gz

我使用wget下载有点慢，就直接下载到本地后FTP上传到服务器上。

#解压
tar -zxvf percona-toolkit-3.3.1_x86_64.tar.gz

#进入解压后的文件夹
cd percona-toolkit-3.3.1

percona-toolkit-3.3.1文件夹内的结构如下图：

安装percona-toolkit：

#如果没有安装prel要先安装prel
yum install perl-devel

#安装好prel后再安装percona-toolkit，PREFIX是指定安装路径，输入命令后结果如下图
perl Makefile.PL PREFIX=/usr/local/percona-toolkit-3.3.1

从上图中可以看见我们还

标签
#数据库 #mysql
最低0.47元/天 解锁文章
数据一致性校验（pt-table-checksum）（一）
2301_76957510的博客
05-18 1564
可以指定 --check-slave-lag，则只检查指定服务器的 lag，而不是所有从库。如果主库或从库设置了binlog_ignore_db 或 replicate_do_db 的过滤选项，因为不能保证查询和校验和不会导致复制中断，所以执行工具会因报错而终止。但是，如果 pid 文件存在并且它包含的 pid 不再运行，则该工具将用当前 pid 覆盖该 pid 文件。工具会监视所有从库的延迟，如果某个从库延迟超过 --max-lag 的值，则暂停执行校验和，直到从库的延迟小于 --max-lag 的值。
Datawhale~数据挖掘实践之序列问题处理~天池·资金流入流出预测-挑战Baseline~Day01~数据探索与分析
小卜妞的博客
08-18 2337
写在前面✍ 本系列笔记基于天池平台上“资金流入流出预测-挑战Baseline”学习赛，记录如何完整的打一次数据挖掘类比赛。同时，该比赛属于序列建模问题，希望学习完成这个任务，可以对序列问题的处理有一定的独立思考能力和实践操作能力，可以将所学理论，用编码的形式和实际的问题得到深入。 第一篇，EDA Content: 初步了解赛题及数据 1.1 任务 1.2 用户基本信息数据 1.3 用户申购赎回数据 1.4 收益率表 1.5 银行间拆借利率表 1.6 提交格式 1.7 评分指标 EDA 1 初.
MySQL主从一致性校验：深度实践与策略探索
博客
01-03 1882
主从一致性校验的核心原理是比较主从数据库中的数据是否一致。一般情况下，可以通过比较主数据库和从数据库中对应表的数据行数，以及对应表的数据内容来进行一致性校验。在MySQL主从复制中，进行一致性校验是确保数据一致性的重要手段。通过合适的工具和策略，可以及时发现并解决主从复制中的数据不一致问题。
SAP S/4HANA 可扩展性 – 面向初学者的简化指南
SAP学习成长之路的博客
10-23 1774
可扩展性（Extensibility）是 SAP ECC 和 SAP S/4HANA 的一项关键功能。它使客户能够通过定制其业务流程来创造竞争优势，并使合作伙伴能够通过量身定制的解决方案来丰富核心 ECC 或 S/4HANA。在过去的几十年中，SAP 的 on-premise 版本客户和合作伙伴主要使用经典的 ABAP 扩展性来扩展他们的 ERP 解决方案。经典扩展性允许 ABAP 开发人员使用甚至修改所有 SAP 对象。尽管经典扩展性非常强大和灵活，但在当今的云世界中，它已不再是一个好的选择。
mysql 主从一致性检测与修复
NewRain_wang的博客
12-28 534
mysql 主从一致性检测与修复
mysql如何查看主从数据是否一致
weixin_37080834的博客
07-30 770
MySQL主从数据一致性检查方案 在MySQL数据库的主从复制环境中，确保主从服务器上的数据保持一致性是非常重要的。本文将提供一个详细的方案，包括如何检查主从数据是否一致，以及相应的代码示例和流程图。 问题背景 在主从复制的环境中，主服务器（Master）负责处理所有的写操作，而从服务器（Slave）则从主服务器同步数据。...
推荐一款好用的数据一致性校验工具
云原生智能数据管理平台
03-01 4458
正应了“常在河边走,哪有不湿鞋”的俗语，有一次迁移一个大商家数据的时候，在没有完整数据一致性校验的情况下，直接切换商家业务，最终出现因迁移数据【订单】不一致，导致的商家业务故障，给大商家造成比较大的业务影响及品牌影响。因此，能否支持完善的数据类型，屏蔽源及目标数据源在数据范围、数据格式、字符集及时区上的差异，也成为数据校验工具的核心能力。尤其在数据迁移、数据集成场景，在这种场景下，数据校验会影响业务停机时间，或者下游数据生产基线【例如，报表生产时间】，对校验时间要求较苛刻。那么究竟我们需要怎么样的工具呢。
MySQL 主从复制原理详解：从零构建高可用架构
持续输出Java相关知识
08-24 920
本文系统介绍了MySQL主从复制技术，包含核心原理、配置实践、延迟优化、故障排查和高可用方案五大模块。详细解析了binlog的三种格式差异，主从线程工作机制，以及并行复制等优化策略。通过配置示例和常见错误分析，指导实际运维操作。最后探讨了半同步复制、MHA架构等高可用方案，提供从基础到进阶的完整技术指南。文章采用原理讲解+实践示例+类比说明的方式，是MySQL复制技术从入门到精通的实用参考手册。
小滴课堂-学习笔记：生产环境数据库性能监控和优化面试环节
dev666的博客
12-15 336
愿景："让编程不再难学，让技术与生活更加有趣" 更多架构课程请访问 xdclass.net 目录 ​愿景："让编程不再难学，让技术与生活更加有趣" 第1集 生产环境的数据库，你会做哪些操作保证安全 第2集 你知道Mysql里面有多少种日志 第3集 层层套路之数据库主从复制里面知识考查 第4集 层层套路之数据库主从同步遇到的问题 第5集 Mysql主从复制数据一致性校验方案怎么做 第1集 生产环境的数据库，你会做哪些操作保证安全 简介：生成环境监控指标和安全 考点：是否有监控和数据安..
MySQL 主库出问题了，从库怎么办？
最新发布
efSh5eu7v的博客
07-29 159
# 四、进阶：自动故障转移方案### 4.1 使用 MHA（Master High Availability）MHA 是经典的 MySQL 高可用方案，它能自动检测主库故障并执行：1. 从候选从库中选择一个数据最新的。### 4.2 基于 Orchestrator 的现代方案Orchestrator 是一个 Go 语言编写的 MySQL 拓扑管理工具，它提供：- 自动故障检测与切换- 图形化拓扑展示- 手动干预接口其核心原理是通过心跳表检测主库存活，并在检测到故障时自动执行。，并在切换前进行数据校验。
数据库性能监控和优化
也人Gw的博客
07-21 1148
生产环境的数据库，哪些操作保证安全 业务性能 1、应用上线前审查业务新增的sql，分析sql执行计划。比如是否存在 select * ，索引建立是否合理等。 2、开启慢查询日志，定期分析慢查询日志。 3、监控CPU/内存利用率，读写、网关IO、流量带宽随着时间的变化统计图。 4、吞吐量QPS/TPS，一天内读写随着时间的变化统计图。 数据安全 1、短期增量备份，比如一周一次。 定期全量备份，比如一月一次。 2、检查是否有非授权用户，是否存在弱口令，网络防火墙检查。 3、导出数据是否进行脱敏处理，防止数据泄露
后端数据库迁移工具，数据同步方案
2509_93945572的博客
11-16 359
对于异构数据库间的同步，**Debezium**是个不错的选择。作为后端开发者，我们经常面临数据库迁移和数据同步的需求，特别是在系统升级、架构调整和数据中心的场景下。1. **版本兼容性**：我们曾因MySQL 5.7到8.0的迁移遇到GROUP BY语句不兼容问题，建议先用`mysql_upgrade`工具检查。在阿里云上迁移RDS数据库时，**DTS服务**确实方便。3. **回滚方案**：提前准备好回滚脚本，我们的一次失败迁移导致了12小时的业务中断。后端数据库迁移工具与数据同步方案实战经验谈。
MySQL 主从复制机制深度解析
axexfn_747的博客
06-25 219
主库（Master）将所有数据变更记录到binlog中，从库（Slave）通过I/O线程拉取主库的binlog并写入本地中继日志（relay log），再由SQL线程重放这些日志，完成数据同步。MySQL主从复制支持异步复制、半同步复制和组复制等多种模式。合理选择复制模式，并优化参数如`sync_binlog`和`binlog_format`，可显著提升系统稳定性和性能。通过深入理解MySQL主从复制的原理和优化方法，开发者能够构建更高效、可靠的数据库架构，为业务系统提供强有力的支撑。
mysql基础面试100题之（81-100）
白话机器学习
05-22 360
null值会占用更多的字节，并且null有很多坑的。
MySQL数据库迁移方案全对比：5种主流方式怎么选？（附避坑清单）
DBAxiaoye的博客
06-29 374
MySQL迁移是DBA和开发者的高频需求，但面对mysqldump、物理拷贝、主从复制、专业迁移工具等众多方案，很多人不知道该怎么选。本文从迁移速度、停机时间、适用数据量、风险等级四个维度，对比5种主流MySQL迁移方案的优缺点和适用边界，并结合大数据量迁移场景给出避坑建议，帮助读者在迁移项目中少踩坑。
数据一致性校验及数据同步,运维必看
qq_24432315的博客
09-09 3537
主从数据不一致对DBA来说是一个比较头疼的事情，刚接触MySQL时，遇到这种问题我一般采用重新还原备库的方式恢复数据，这对我来说是个很痛苦的过程。今天就来介绍两款pt工具，通过这...
Mysql主从复制数据一致性校验
mischen520的博客
11-07 431
原理：在主库上执行数据的更改，再同步到从库上，不会直接更改成从库的数据。在主库上执行更改是基于主 库现在的数据，也不会更改主库上的数据，可以同步某些表或整个库的数据，但它不同步表结构、索引，只同步不一致的数据。工具进行修复不一致数据，可以修复主从结构数据的不一致，也可以修复非主 从结构数据表的数据不一致。是否 一致并存储到数据库，最后通过存储校验结果的表就可以判断出哪些表的数据不一致。复制，难免出现复制数据不一致的风险，引起用户数据访问前后不一致的风险。从库也执相应的操作，并在从库上计算相同数据块的。
【Mysql】mysql主从同步验证
qq_51417587的博客
03-10 1522
mysql主从验证
Mysql主从复制数据一致性校验方案
java_huizhen的博客
02-22 1728
什么场景下会出现主从数据不一致 1、本身复制延迟导致 2、主库宕机或者从库宕机都会导致复制中断 3、把一个从库提升为主库，可能导致从库和主库的数据不一致性 主从一致性校验，如何实现 如果不一致你会怎么修复 Mysql主从复制是基于binlog复制，难免出现复制数据不一致的风险，引起用户数据访问前后不一致的风险 所以要定期开展主从复制数据一致性的校验并修复，避免这些问题 解决方案之一，使用Percona公司下的工具 pt-table-checksum工具进行一致性校验 原理： ..
5.4.1 数据一致性检验
qq_53646158的博客
11-14 3925
《数据清洗》清华大学出版社，实例学习
数据库主从一致性校验方法
find_element_by_id的博客
06-06 628
通过对比主库和从库的表行数是否一致进行初步校验。编写脚本对主从库数据进行逐行比对。对于关键业务数据库，建议建立定期全量校验机制，如每周低峰期运行完整校验脚本。主从库执行结果应完全相同。
PCIe_CEM_R5_V1.0_06092021_NCB.pdf
PCIe 5.0 CEM Spec
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值