旗下微信矩阵:

人大金仓:华生·K的秘密日记

2022-06-10 17:28 · 互联网     

急诊风云—突发监控告警

呜瓦~~呜瓦~~

午夜十二点,KMonitor生命联动系统在监测到金小仓的内存压力过高后立即报警,120指挥中心接到警报,迅速派出救护车将金小仓送到了西虹市市立医院的急诊科,病人情况危急速请华生·K医生到诊室1进行会诊,医生华生·K接过KMonitor内存告警单,仔细查看起来。

KMonitor内存监测图、告警单

“一般是查询量突然增多导致的内存压力突增,先增加物理内存试试吧。”  华生·K医生给金小仓插入了一根新的内存条。看着内存监测图中慢慢降下来的压力值,他轻轻地拍了拍金小仓安慰道:“别怕,只是查询量突增而已,加根内存条不就好了嘛。”随后,金小仓接过病历单长舒一口气,心想还好身体内置了KMonitor芯片,可以与医院实时联动,及时发现处理问题。

硬核复诊—高效处理故障

时隔两周,金小仓又出现在市立医院的数据库门诊大厅,这次的他似乎神情略显呆滞,慢吞吞地进入诊室。今天是华生·K医生坐诊,金小仓说道:“大夫,一周前客户新增了应用系统的业务模块,就开始觉得自己呆呆的,不知道哪里出了问题。”华生·K医生检查起金小仓的基本状态:舌苔暗沉、脉搏波动略慢。“从这些症状来看,基本确定是因为最近一周突增大量数据库链接,导致查询压力过大,从而产生的锁竞争情况格外突出,同时CPU应该有瓶颈。”  华生·K医生依靠多年的临床经验心中慢慢分析,同时说道,“再做个KMonitor检查,它出具的检查报告更加详细,可以确定问题根源对症下药,顺便再检查下最近的内存问题,看看有没有异常波动。”  华生·K医生将目前发现的问题简单列到了病历上。

随后,便引金小仓进入了里面的检查室。

“躺下不要动,静下心来,深呼吸……”,一边说着,华生·K医生一边操作着新引进的KMonitor设备为金小仓做全身扫描检查。片刻后,一张张检查报告自动打印了出来。

华生·K医生盯着KMonitor出具的内存检查报告,看来新增的业务模块对内存的压力还是很大的,内存使用率都到95%了。

紧接着,华生·K医生查看了KMonitor输出的KingbaseES性能报告,最近两周以来,数据库链接持续增长,缓存命中率逐步降低,说明前期的诊断方向是正确的,提高内存容量解决了部分问题。

随后华生·K医生又翻看了近一个月来整体的性能压力走势图,心中沉思道“压力持续增长,可以考虑扩容节点,搞成读写分离集群形势,可以让备节点分担一些查询压力。”

最后华生·K医生通过KMonitor检查了金小仓的SQL查询情况,查询报告中显示出了“响应时间抖动最严重语句”“平均查询时间最慢语句”等信息,华生·K医生挨个语句进行分析:

SQL语句的抖动应该与硬件资源压力有关,压力一大同样的查询数据库相应的时间就会增大,这个需要升级硬件或者扩容解决。

慢SQL的问题,前面两个语句都是perf表的查询,响应时间高达1s多,看来是这个表太大又没有建立索引的问题。

华生·K医生依据KMonitor的检查报告,又对病历做了调整,同时提醒金小仓:“KMonitor是KingbaseES的专用检查工具,可以做全身的体检,提早发现隐患问题,像你这种情况需要定期过来检查一遍,不适及时就诊。”

金小仓按照病历指导扩容了一个节点,又找推拿师针对大容量的几个表(比如perf表)做了分区并重新建立索引,调整了数据库参数,新增了链接池模块,似乎又回到了之前无忧无虑的快乐时光,客户投诉率下降了好多。

3

体检日记—预估潜在风险

一个月后,华生·K医生照常在坐诊,金小仓看着华生·K医生说:“华生医生,我现在状态好多了,不过昨天突然心跳加速了一下,当即挂了您的号,赶紧过来看看是怎么回事?”

华生·K医生盯着前几次的病历记录陷入沉思:这种异常情况难道是最近频繁更换硬件的副作用吗,但从升级报告来看是做过兼容压力测试的啊。“不会是器质性病变前兆吧,只能再做次KMonitor检查了。”

金小仓照旧躺在KMonitor检查舱中,旁边的华生·K医生翻看起KMonitor吐出的一份份检查报告。

突然这份服务器资源监测报告引起了华生·K医生的注意,在昨天12:00时CPU、内存、磁盘压力出现突刺现象,奇怪的是磁盘读写速率很低但磁盘使用率却高达75%。

华生·K医生使用KMonitor的磁盘检测工具对所有磁盘做了一次全面扫描,发现一块硬盘出现了十几次C5警告,这是硬盘坏道的警告提示,华生·K医生恍然大悟,看来它就是导致心跳加速的罪魁祸首,幸亏有KMonitor这个集成化的监测平台,不然定位这个问题可就麻烦了。

“你心跳加速的原因找到了,这块硬盘即将出现坏道……”华生·K医生终于分析完所有报告,给出了最终结论,自己也长舒了一口气。

“坏道,竟然是坏道……”金小仓像是听到了催命符一般,“还好来医院检查了,不然造成丢数事故后果不堪设想,我的年终绩效就泡汤了。K医生这个检查设备真厉害啊,这种问题都能查出来!”

华生·K医生往常对丢数病患也是头疼,出了丢数问题修复困难,另一方面也没有好的手段预防。

但好在有了KMonitor监测工具,可以提前预警:“这是新引进的设备KMointor,以后继续定期来医院体检,它会提前预警很多疾病;你体内的KMonitor芯片一直在监测各种指标,一旦有异常情况会及时告警,我们医院也会收到警告信息,及时为你提供针对性的解决方案。”

金小仓毫不犹豫地更换了硬盘并利用备份集做了恢复,多亏了KMonitor及早处理隐患,防患于未然。走出医院的金小仓,嘴角微微扬起,整个人彷佛脱胎换骨一般,因为它知道体内的KMonitor芯片正在实时地守护着自己。

华生·K医生看着金小仓离开的背影,拿起电话:“福尔摩斯·K先生,我是华生,我回来了!”。

当前疫情形势依旧严峻,无数的企业、家庭和个人被笼罩在疫情的巨大阴影之下。

结语

在这场看不见硝烟的战斗中,一线疫情防控工作者们默默坚守在自己的岗位上,为大众做好健康防护工作。

然而,昔日奔波于各个客户现场的数据库实施运维和DBA,受疫情影响活动受限,只能在客户求助时远程介入,无法周期性巡检。因此,那些在周期性巡检时就能发现并解决的问题,例如数据库性能降低、硬件资源出现告警、CPU使用率过高、磁盘空间不足、网络延迟超长等,对于居家隔离的数据库实施运维和DBA而言,就变得鞭长莫及,只能在这些问题演变成了事故时四处救火。

人大金仓KMonitor于此时横空出世,立志成为数据库背后的孤勇者,为购买使用金仓数据库的用户保驾护航,时刻关注他们在生产环境下金仓数据库的健康状况,一旦发现问题及时告警,帮助DBA和用户及早处理隐患,防患于未然。

数据库的健康守护者——KMonitor,于无声处默默地坚守自己的岗位,保障数据库的健康运行,保护用户数据的安全。

(免责声明:本文转载自其它媒体,转载目的在于传递更多信息,并不代表本站赞同其观点和对其真实性负责。请读者仅做参考,并请自行承担全部责任。)