比尔云BierYun--阿里云最新优惠活动
阿里云优惠码丨阿里云代金券

MySQL数据归档实战-Python和pt-archiver的强强结合

一、引言

前段时间,在优雅的使用pt-archiver进行数据归档一文中介绍了pt-archiver的使用方法,也将pt-archiver部署到了生产环境,这时候问题来了~

生产环境需要做归档的任务有十几个,如果要知道每个归档任务成功与否、跑了多长时间、归档了多少数据,就得手工逐个查看日志,非常枯燥的重复劳动,那是否有办法可以统一管理呢?

2ed43d5c679c245a75bc75f3187a29cc9f6477fa

于是用python倒腾了一个小工具—mysql_archiver小工具,github地址:https://github.com/dbarun/mysql_archiver

a63a61258b8d16434bf162d3419093f037a1c4f7

二、mysql_archiver

2.1 归档调度

db_archive_exec.py,从数据库获取归档任务的基本信息,调用pt-archiver进行操作

2.1.1 表结构设计

表db_archive_info,主要存放归档任务的基本信息

a211f261591588d28acc3f207e7382e7d1ff2c1e

表db_archive_log,主要存放归档任务的执行日志

e0a51aa2c8c5b52d58174f75cafd47e670e02ed3

2.1.2 获取归档任务

567f6e565dee82d4faabb086406c7908705be3d1

2.1.3 调用pt-archiver

650dcceb79ae61238cbd9c9442b56f20c7514683

2.1.4 部署crontab

执行db_archive_exec.py需要指定两个参数,

参数1:db ip/域名

参数2:db schema

如:python db_archive_exec.py 127.0.0.1 db123

ee3234e3d74aac4ce33d2d06357251b1cb564741

2.2 归档监控

db_archive_monitor.py,监控前一次的归档任务是否执行成功,并结合zabbix进行报警

c6c595b5d7ba1c46d8446191f1498d9ba5b3f43c

2.2.1 数据库视图设计

视图vw_db_archive_fail,汇总前一天执行失败的归档任务

110a6b3064319f14fbc57846382e3bd1ace187cd

2.2.2 获取归档监控信息

eb0b6f290f47a7160e5f432f27557add7bd4bd76

2.2.3 通过logger生成文本

f4bc2dad3c76eccf06c9729797c08cda3a304710

2.3 归档报表

db_archive_report_weekly.py,生成前一周的归档情况,并以邮件方式发送

87e2773d37662644f126d79ddc8148d4df915b0a

2.3.1 表结构设计

db_archive_report_weekly,主要存放数据库归档周报数据

e1e82f9b5eaa87c9469642cafd581a1ca4e93fb7

2.3.2 数据库视图设计

视图vw_db_archive_report_weekly,计算前一周的数据库归档情况

1cd2ea8529eb1d6be90599b83ab89a0c03a31e1e

2.3.3 生成邮件内容

557c41184b1e08ecc0c8e4e4bd6463f46f71c62f

三、小结

开发运维工具,说白了,就是为了避免重复的运维工作,让运维尽可能地自动化。所以,能提高生产力的工具,我觉得都是好工具。

MySQL_archiver基本上实现了数据归档的自动运转,统一的归档任务调度管理、自动监控和预警、自动生成报表。在一定程度上节约了生产力,提高了运维效率。

MySQL_archiver也是存在很多缺点的,比如:Python代码有点臃肿,不够简洁;缺少可视化的操作界面,如果能有一套运维平台,那就完美了。

原文地址http://www.bieryun.com/600.html

未经允许不得转载:阿里云代金券 » MySQL数据归档实战-Python和pt-archiver的强强结合

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

强烈推荐

高性能SSD云服务器ECS抗攻击,高可用云数据库RDS