设为首页收藏本站

LinuxTone | 运维专家网论坛 - 最棒的Linux运维与开源架构技术交流社区!

 找回密码
 注册

用新浪微博连接

一步搞定

QQ登录

只需一步,快速开始

查看: 30181|回复: 39

[MySQL管理] 互联网数据库管理员需要做些什么   [复制链接]

Rank: 7Rank: 7Rank: 7

签到
64
注册时间
2008-11-27
最后登录
2015-1-16
在线时间
207 小时
阅读权限
100
积分
5859
帖子
771
主题
366
精华
4
UID
632

LT同学

发表于 2012-9-10 13:26:05 |显示全部楼层
很早前就想写篇博文介绍一下互联网DBA需要干的一些事情,但苦于没有时间,忙于平台建设,最近,各个模块都初具规模,故有时间静下心来,介绍一下。
        众所周知,互联网DBA与传统行业DBA有很大的不同,那就是管理的机器多,新技术更新快,面对的开发多、网络环境复杂、要求7*24待机;这样就导致互联网DBA的工作在传统DBA工作之上,增加了更多的复杂性,我们必须考虑如何大批量部署,如何集中化监控、如何解决单点故障而保障7*24,而为了做到这些,不是靠堆人力,我们必须有一个完整的平台作为支撑,那么数据库平台到底要建成什么样子呢?

1、强有力的监控系统(监+控):
监控是我们的眼睛,我们不可能7*24个小时盯着我们的DB,所以,我们需要监控系统来帮我们盯着,一旦异常,监控不仅仅通知我们,而必须要有控制,例如:MySQL 从库宕机了我们通过监控自动让其下线;从库同步状态失效了,可以自动修复同步等;并且,随着机器的增加、实例daemon的增加,我们会发现我们的手机报警会急剧增加,为了我们自己晚上能睡一个安稳觉,我们怎么去降低我们的报警,例如:哪些该短信,哪些该邮件;所有机器的磁盘空间报警是否可以整合后在报呢?这就是我们监控系统必须考虑的,

2、自动审核系统:
开发很多,项目很多,但是开发的习惯都不一致,可能会导致我们审核表结构的时头都看大了,为了保证线上的统一,为了保证不被开发的神奇SQL搞伤,不被N多的项目审核压垮,我们必须有一个自动建表审核系统,我们定义一些规则,如:不能用预留字段、主键必须为INT,BIGINT等,然后开发填写准备上线的表结构,通过系统自动审核,审核通过的,自动上线,审核不通过的,给出建议;

3、慢日志分析系统:
随着自动审核系统的上线,我们可能会漏掉一些索引使用不太好的SQL,那么我们就需要慢日志分系统帮助我们,在设计该系统时候,我们需要考虑是实时抓取慢日志,还是每天定期推送慢日志、慢日志抓取后是立即推送给开发还是自动分析完以后给出建议给开发、慢日志还要考虑一些SQL是否需要过滤,因为他可能是每天的统计,当然这些都是自动的,设计完后,不需要人工介入;

4、统计系统:
我们必须清晰的知道线上DB的整体运行情况,访问量的变化、写入量的变化、图是死的,他不会欺骗任何人;我们能通过访问统计知道是否有恶意访问、是否需要优化,是否需要增加节点抗住更大的压力;

5、备份系统:

不管你信不信,我是信了,冷备份总是我们的救命草,不管我们做的多么好,故障总会有,drop database也会发生,所以,一个完整的备份系统,势在必行,我们的备份是否正常,备份的数据是否能恢复,恢复需要多少时间,都是我们备份系统需要考虑的;

6、管理系统:
我们机器少则上百台,多则可能好几千,如何清晰知道每台机器跑了多少daemon,DB Proxy下面有哪些机器,如何能对主库机器、从库机器进行脚本分别分发等;都需要管理系统来帮我们完成;

7、中间层:
是把双刃剑,他能给我们带来好的扩展,例如:动态添加从库、主库失效检测等;但是他带来了DBA管理的复杂性、带来了更多的故障点、带来了更多的bug、如果DB Proxy性能不好的话,那就更糟了,并且为了解决client透明,我们必须考虑很多,例如:连接保持,如:字符集、last_insert_id、use dbname等;如果我们有人力开发维护,那么我相信Proxy会带给我们欢乐;

以上各个系统都是为我们管理DB提供支持,如果没有这些系统支持,那么数据库管理就谈不上平台,谈不上批量管理,谈不上承载百亿访问量,百T数据量的数据库;当然在涉及这样的系统时候,我们也要考虑新技术的引进,例如:如果能快速的打造NoSQL 平台等;当然在部署这些模块的时候,我们时时刻刻记得,所有的模块都是会变的,我们需要不停的学习,不停的改进,才会打造宕机时间更低的数据库服务;【三天不读书、智商输给猪】
  后续会慢慢分享出,我们这些模块是如何做的,及其进度如何。
http://hi.baidu.com/ytjwt/

Rank: 6Rank: 6

注册时间
2012-8-23
最后登录
2014-2-24
在线时间
32 小时
阅读权限
70
积分
7686
帖子
24
主题
6
精华
0
UID
34975
发表于 2012-9-10 13:45:17 |显示全部楼层
学习了

使用道具 举报

Rank: 6Rank: 6

注册时间
2010-4-6
最后登录
2014-7-12
在线时间
27 小时
阅读权限
70
积分
2808
帖子
145
主题
30
精华
0
UID
8723
发表于 2012-9-13 10:17:38 |显示全部楼层
受教了 感谢分享
建议大家把每天遇到的小问题都发布到troubleshooting分类

使用道具 举报

LT管理团队

守住每一天

Rank: 9Rank: 9Rank: 9

注册时间
2008-5-30
最后登录
2017-1-14
在线时间
790 小时
阅读权限
200
积分
68184
帖子
1399
主题
190
精华
10
UID
31
发表于 2012-9-13 10:38:07 |显示全部楼层
整理得很好。

不旦是DBA啊. SA也需要。
<-sina_sign,1054764633,7->

使用道具 举报

Rank: 8Rank: 8

注册时间
2011-2-23
最后登录
2015-9-28
在线时间
650 小时
阅读权限
90
积分
83677
帖子
376
主题
13
精华
0
UID
12125
发表于 2012-9-13 10:40:32 |显示全部楼层
受教了...

使用道具 举报

Rank: 8Rank: 8

注册时间
2011-1-3
最后登录
2014-10-6
在线时间
156 小时
阅读权限
90
积分
22841
帖子
109
主题
8
精华
0
UID
11662
发表于 2012-9-13 12:38:06 |显示全部楼层
必须顶顶顶顶

使用道具 举报

Rank: 8Rank: 8

注册时间
2010-11-14
最后登录
2017-1-23
在线时间
185 小时
阅读权限
90
积分
37359
帖子
158
主题
55
精华
0
UID
11140
发表于 2012-9-13 13:11:43 |显示全部楼层
大牛!
我用微笑面对人生

使用道具 举报

Rank: 8Rank: 8

注册时间
2011-6-10
最后登录
2016-9-7
在线时间
179 小时
阅读权限
90
积分
63938
帖子
120
主题
5
精华
0
UID
14249
发表于 2012-9-13 16:01:08 |显示全部楼层
谢谢分享!!!

使用道具 举报

Rank: 6Rank: 6

注册时间
2008-6-13
最后登录
2014-8-6
在线时间
219 小时
阅读权限
70
积分
8688
帖子
971
主题
181
精华
0
UID
74

LT粉丝

发表于 2012-9-13 22:12:10 |显示全部楼层
大牛、确实干货、真正能体现运维思想。非常感谢!
工作太忙,不上QQ/MSN,但每天会上LinuxTone学习!

使用道具 举报

Rank: 8Rank: 8

注册时间
2011-8-17
最后登录
2015-7-17
在线时间
489 小时
阅读权限
90
积分
47074
帖子
79
主题
7
精华
0
UID
15421
发表于 2012-9-14 10:50:33 |显示全部楼层
很想把公司系统做成如楼主所说的那样,可是运维不是我做主

使用道具 举报

Rank: 6Rank: 6

注册时间
2012-6-12
最后登录
2013-8-11
在线时间
19 小时
阅读权限
70
积分
4784
帖子
8
主题
0
精华
0
UID
22243
发表于 2012-9-14 19:10:26 |显示全部楼层
学习了呵呵

使用道具 举报

Rank: 8Rank: 8

注册时间
2011-4-14
最后登录
2016-11-11
在线时间
69 小时
阅读权限
90
积分
15220
帖子
12
主题
3
精华
0
UID
12799
发表于 2012-9-17 10:09:36 |显示全部楼层
学习了,很顶的文章

使用道具 举报

Rank: 8Rank: 8

注册时间
2012-3-15
最后登录
2016-7-14
在线时间
108 小时
阅读权限
90
积分
42372
帖子
16
主题
1
精华
0
UID
18703
发表于 2012-9-19 11:07:37 |显示全部楼层
写的太好的,正在学习数据库,受益匪浅啊。

使用道具 举报

Rank: 8Rank: 8

注册时间
2010-3-11
最后登录
2014-11-24
在线时间
136 小时
阅读权限
90
积分
20944
帖子
37
主题
0
精华
0
UID
7968
发表于 2012-9-22 15:41:21 |显示全部楼层
受教了。。。。。。。。。。感想很大

使用道具 举报

论坛元老

工程师

Rank: 8Rank: 8

注册时间
2011-8-3
最后登录
2017-1-10
在线时间
85 小时
阅读权限
90
积分
22009
帖子
30
主题
2
精华
0
UID
15260
发表于 2012-10-22 10:33:38 |显示全部楼层
好好。了解一下。。

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

IT运维专家网感谢您的支持

合作联系: QQ:67888954/MSN:cnseek@msn.com/mail:netseek@linuxtone.org

Archiver|手机版|感谢所有关心和支持过LinuxTone的朋友们 转载本站内容请注明原作者名及出处 ( 京ICP备08103151 )   |

GMT+8, 2017-2-22 14:09 , Processed in 0.030277 second(s), 11 queries , Apc On.

Powered by Discuz! X2

© 2001-2011 Comsenz Inc.

回顶部