有赞MySQL运维经典案例分析

MySQL运维故障解决方案:实战案例与深度解析 通过本文的实战案例和深度解析,我们了解了MySQL运维中常见的故障及其解决方案。在运维过程中,应持续监控数据库状态,及时发现并解决潜在问题,确保数据库的稳定性和性能。同时,不断学习和掌握新技术、新工具,也是提高MySQL运维水平的关键。MySQL数据库在企业应用中扮演着举足轻重的角色,但在运维过程中时常会遭遇各类故障。本文不仅梳理了常见的MySQL运维故障,还通过实战案例,展示了如何解决这些故障,确保数据库稳定运行。故障现象:查询数据表时返回错误,或数据不完整。故障现象:查询响应慢,数据库负载高。 阅读详情
640?wx_fmt=png 640?wx_fmt=jpeg

点击关注了解更多精彩内容

特邀嘉宾

王航威 

任职于杭州有赞科技DBA

负责MySQL数据库的运维及自动化运维平台的编写

对索引有较深入的了解

分享主题

周四见|知数堂公开课系列

《有赞MySQL运维经典案例


本次公开课着重在于分享在支持有赞数据库业务时遇到的各种问题,比如断网给未提交事务带来的影响?如何去发现导致性能问题的根源SQL,利用strace抽丝剥茧排查性能问题。

通过各种问题解析,为大家介绍我们在运维过程中踩过的坑,提供给大家解决问题的思路,抛砖引玉,希望能对同行有所帮助。


精彩互动问答

1.有办法判断这个事物是因为网络抖动而断开吗?

show processlist的Host列有client的ip以及端口信息,可以登录client 机器,通过netstat查看端口的状态确定。


2.MySQL服务器阻塞,归根原因是因为系统资源不够用吗?服务器活跃会话很高,服务器处于假死。客户端连不上,只能通过kill SQL解决吗?

一定的系统资源是可以支持一定的TPS和QPS的,这个可以通过压测得到大致的数量级。如果服务器资源利用率很高,而TPS和QPS都很低,就需要优化SQL。如果MySQL响应很慢的话,可以通过kill SQL缓解现象,也可以联系业务方协助排查下,停止有问题的应用进程。


3.对于网络这块是不是丢包, 有什么好的监控方法吗?

采用的是tsar --tcp -C 来监控的,关注tcp:retran 指标。


4.慢查的行数是怎么计算出来的?  

MySQL 慢查日志里面有Rows_sent和Rows_examined两个值,可以通过pt-query-digest计算统计出来。


5.请问有赞的Proxy支持Query Cache吗?刚说到的1秒缓存是否用的就是这个cache? 

Proxy不支持QC。1秒的缓存是指利用redis 等缓存工具实现的缓存。


6.explain 中 using filesort 是产生了磁盘临时表,还是只有在sort buffer不够用的时候才产生磁盘临时表?#using temporary 指的是磁盘临时表? 

using filesort 只是说无法利用索引完成排序,如果排序需要的空间大于sort_buffer_size,就需要产生磁盘临时表。using temporary表示的是需要临时表存储结果集,也可存在内存和磁盘,是通过tmp-table-size和max-heap-table-size控制的,例如union,insert into xx select xx等。


7.innodb_trx快照是怎么做的?

实时监控内存,磁盘IO,CPU,thread_running等状态,一旦超过设定阈值,就将innodb_trx,engine innodb status等信息保存下来,方便后面问题分析。


8.rr改rc会不会有问题(不考虑业务情况),会不会对主从复制有影响

我们线上的binlog_format采用的是ROW模式,到目前为止运行稳定,没有出现从库异常。


9.innodb_trx主要关注什么内容? 

主要关注的有:

trx_state,trx_started,trx_operation_state,trx_query,trx_concurrency_tickets。


10.MySQL集群用几个网络? 比如主从复制走的网络和对外提供服务的网络是否分开?

MySQL机器所在的网络是采用的单独的网段。主从是双机房架构,复制走的专线。


11.关于mysql的大表关联查询,有何优化建议?  

如果能拆,就拆成单表的查询;如果拆不了,就从驱动表以及索引角度去做下优化,利用覆盖索引等手段,同时要避免排序字段不属于驱动表。


12.贵公司的数据库中间件用的是啥?是自己开发的,还是开源的?


我们的proxy中间件是基于cobar和atlas进行深度的二次开发的。

直播现场回顾 640?wx_fmt=png 周四见|公开课  640?wx_fmt=png 640?wx_fmt=png

王航威老师,小鲜肉一枚

大学生模样”的杨奇龙老师口中的2位DBA之一

有赞数据库服务实践

(回顾下杨老师的分享smiley_4.png

两位老师精心准备了这两场干货盛宴

甚至为了分享能如期进行,特地更改了部门的团建时间

感谢两位老师的给力支持smiley_83.png

1个小时的分享干货满满

“怎么跳出坑,怎么改进技能

有哪些文档可以学习

最重要的是,怎么做可以不随便背锅”u1F602.png

也有学员直呼,希望后续还有...

在此,叶老师与吴老师慎重承诺

知数堂将持续分享干货

敬请大家关注“周四见|公开课”~

640?wx_fmt=png

640?wx_fmt=png

回放视频、PPT讲义已上线,快来围观~


温馨提示:PPT的内容有限,建议结合PPT观看视频,效果更佳!

资料发布

本次公开课的讲义,及录播的视频均可至腾讯课堂下载、查看,链接:

https://ke.qq.com/course/331538打开页面-查看任务-视频/PPT讲义均可观看)

扫描下方二维码识别

或者点击文末阅读原文直达腾讯课堂

640?wx_fmt=png


640?wx_fmt=gif


640?wx_fmt=gif


加入QQ技术交流群

扫码加入知数堂4群-王者峡谷

(QQ群号:650149401)

      

640?wx_fmt=png


告别安装烦恼!Orange3 3.38.0 Windows绿色版下载即用,附保姆级汉化与组件配置指南 本文详细介绍了Orange3 3.38.0 Windows绿色版的下载与使用,包括中文汉化、组件配置及高效管理技巧。这款无需安装的数据科学工具特别适合快速验证想法的研究人员和移动办公用户,支持多种数据源和可视化工具,大幅提升工作效率。 阅读详情

相关推荐

【MATLAB】工业传送带速度闭环控制与张力联合仿真

本文基于MATLAB/Simulink平台,构建了工业传送带速度闭环控制与张力联合仿真系统。通过搭建驱动模块、机械传动模块、检测模块和控制模块,实现了速度与张力的协同控制。采用双PID调节器分别整定速度与张力参数,经联合调试后系统性能良好:速度跟踪误差小于±0.03m/s,张力波动控制在±30N内,负载扰动恢复时间仅0.3秒。研究提供了从建模到参数优化的完整工程方案,可直接应用于课程设计或工业实践,有效解决了传送带运行中速度偏差与张力波动的协同控制难题。

unber的博客 62

电商网站数据库宕机故障解决实录(下)

1.4开始进行故障恢复***** 1、重新初始化建库1234567891011121314151617181920212223242526272829303132[root@etiantiandata]#mkdirmysql[root@etiantiandata]#chown-Rmysql.mysqlmysql[root@etiantiandata]#...

weixin_34018169的博客 247

bert-wwm+cnn+双向lstm

bert_wwm+cnn+双向lstm

问题故障定位

1. 背景 有时候会遇到一些疑难杂症,并且监控插件并不能一眼立马发现问题的根源。这时候就需要登录服务器进一步深入分析问题的根源。那么分析问题需要有一定的技术经验积累,并且有些问题涉及到的领域非常广,才能定位到问题。所以,分析问题和踩坑是非常锻炼一个人的成长和提升自我能力。如果我们有一套好的分析工具,那将是事半功倍,能够帮助大家快速定位问题,节省大家很多时间做更深入的事情。 2...

weixin_44389885的博客 1504

【干货】9个网络故障排除经典案例,网工都得会

01 正文 一、故障排除思路 定位故障范围 ①全网性网络故障:可定位故障源在出口或核心区域; ②小范围网络故障:可定位故障源在离故障源最近的相应设备或链路; ③单点性网络故障:可定位故障源在故障源自身。 排除故障 ①总体上思路为“链路”à“配置”。 ②首先确认网络或相关设备是否出现人为变更; ③其次检查物理链路、设备是否正常; ④最后检查网络设备的相关属性或配置。 二、常用排错方法 1、网络设备 ①查看状态灯,包括 电源指示灯、状态灯、报警灯; ②感知设备的温...

XMWS-IT 1万+

智慧运维系统的设计与实现 (案例分析)-附源码

本设计主要实现集人性化、高效率、便捷等优点于一身的智慧运维系统,完成首页、系统管理、内容管理、设配管理(软件管理、服务器管理)、运维指南管理(数据库运维常用命令管理、服务器运维常用命命令管理)等功能模块。系统通过浏览器与服务器进行通信,实现数据的交互与变更,只需通过一台电脑,动动手指就可以操作系统,实现数据通信管理。整个系统的设计过程都充分考虑了数据的安全、稳定及可靠等问题,而且操作过程简单。本系统通过科学的管理方式、便捷的服务提高了工作效率,减少了数据存储上的错误和遗漏。

VX_BSDZ1988的博客 3830

hbase运维故障案例分析

在实际运维HBase集群时,各位小伙伴总会遇到RegionServer异常宕机、业务写入延迟增大甚至无法写入等类似问题。本章结合笔者的经验、列举真实生产线环境常见的几个问题,并介绍这些地问题的基本排查思路。同时,重点对HBase系统中的日志进行梳理介绍,最后对如何通过监控、日志等工具进行问题排查进行总结,形成问题排查套路,方便读者进行实践。 regionserver宕机 案例一: 长时间GC导致Regionserver宕机 长时间FullGC是RegionServer宕机最常见的原因.分析这类问题,可

GrowingIO 基于 BitMap 的海量数据分析 1099

有赞MySQL自动化运维之路—ZanDB

有赞MySQL自动化运维之路—ZanDB 一、前言 在互联网时代,业务规模常常出现爆发式的增长。快速的实例交付,数据库优化以及备份管理等任务都对DBA产生了更高的要求,单纯的凭借记忆力去管理那几十套DB已经不再适用。那么如何去批量管理这些实例的备份、元数据、定时脚本和快速实例交付就成了急需解决的的问题。 二、数据库的标准化 在实现MySQL的自动化运维的过程中,最痛苦的无...

weixin_33850890的博客 131

有赞数据库自动化运维实践之路

运维内推」有赞诚聘:应用运维工程师、系统运维工程师、运维开发工程师、DBA。请关注文末链接一、前言有赞作为”新零售”的软件服务供应商,随着业务的不断发展,从第一批几十家商户到现在300万商家,涉及零售,美业,餐饮,自媒体等众多商家,业务规模以及访问量爆发式增长。一方面给后端数据库带来的影响是服务器数量和 DB 实例的数据量出现成倍增加。各种业务需求:快速交付实例,慢查询优化以及备份恢复管理等都给

高效运维 2415

周四见|有赞DBA分享运维经典案例

点击关注了解更多精彩内容周四见|知数堂公开课有赞MySQL运维经典案例分析分享嘉宾:王航威,有赞DBA分享时间:9月27日,今晚20:30分享主题:本次公开课着重在于分享...

老叶茶馆 532

mysql自动化巡检_有赞 MySQL 自动化运维之路 — ZanDB

一、前言在互联网时代,业务规模常常出现爆发式的增长。快速的实例交付,数据库优化以及备份管理等任务都对DBA产生了更高的要求,单纯的凭借记忆力去管理那几十套DB已经不再适用。那么如何去批量管理这些实例的备份、元数据、定时脚本和快速实例交付就成了急需解决的的问题。二、数据库的标准化在实现MySQL的自动化运维的过程中,最痛苦的无非是目录的不统一,配置文件的混乱以及DB主机的不标准,而这些不标准的环境会...

weixin_33942142的博客 585

mysql运维之路_有赞MySQL自动化运维之路—ZanDB

一、前言在互联网时代,业务规模常常出现爆发式的增长。快速的实例交付,数据库优化以及备份管理等任务都对DBA产生了更高的要求,单纯的凭借记忆力去管理那几十套DB已经不再适用。那么如何去批量管理这些实例的备份、元数据、定时脚本和快速实例交付就成了急需解决的的问题。二、数据库的标准化在实现MySQL的自动化运维的过程中,最痛苦的无非是目录的不统一,配置文件的混乱以及DB主机的不标准,而这些不标准的环境会...

weixin_26713059的博客 145

【DB】有赞数据库自动化运维实践之路

一、前言 有赞作为”新零售”的软件服务供应商,随着业务的不断发展,从第一批几十家商户到现在300万商家,涉及零售,美业,餐饮,自媒体等众多商家,业务规模以及访问量爆发式增长。 一方面给后端数据库带来的影响是服务器数量和 DB 实例的数据量出现成倍增加。各种业务需求:快速交付实例,慢查询优化以及备份恢复管理等都给 DBA 的日常运维支持带来更高的要求。另一方面最开始以 excel 作为

Enweitech Software Works 5464

运维项目经历案例

一,期中项目经验示例 1.1 新服务器上线搭建系统环境 1,根据现有结构部署工具(PXE+kickstart) 2,结合应用系统需求定制部署模版 3,制作系统优化等一键执行脚本 4,自动化部署实施 5,根据定制的优化内容对自动化部署效果进行检验 1.2 新服务器上线搭建软件环境 1,在新批量部署的服务器上部署LNMP环境; 2,对批量化部署的环境进行效果检验; 3,编制Nginx配置文件并批量化部署; 4,根据需求做Nginx服务相关的优化(expires/gizp等) 1.3 web服务器架构调整(从

weixin_45372735的博客 2万+

Mysql_运维一主一从案例

【代码】Mysql_运维一主一从案例

weixin_70228478的博客 344

运维故障案例

一些故障案例后续会增加

m0_73695023的博客 2033

云上运维案例分享

数据上云只是轻松运维的开始,专业,可信,方便,快捷的统一运维监控平台才是云上运维顺利进行的保障。

LinkSLA的博客 3776

10个最经典MySQL 数据库运维案例

http://www.sohu.com/a/165511362_487482

一涵的博客 1万+
上一篇: 周四见|有赞DBA分享运维经典案例
下一篇: 假期反正闲着,不如来玩个游戏吧
老叶茶馆_
博客等级 码龄9年 1137粉丝 411原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值