从一个案例看自动化运维工具的作用



前几天和一个客户讨论运维工具,他们提出来你们的工具中有没有功能能分析awr报告?我当时挺奇怪,为什么他们想要这样的工具。他说因为他们发现一旦数据库出问题,大家都是通过awr报告去分析的,但是他们自己很难读懂awr报告,也无法从awr报告中看出问题在哪。所以他们就想有没有一种工具来解读awr报告,从中找出系统的问题。实际上Oracle是有一个工具可以解读awr报告的,那就是addm报告,它可以通过awr数据发现这段时间里对系统影响最大的要素。可能有些朋友要说了,addm报告里面发现的大多数就是TOP SQL,能不能有更好的分析工具。
实际上awr报告作为分析数据库问题的最好的工具之一,是有其道理的,最核心的是它包含了数据库运行的最为丰富的指标数据,只要你有足够的水平和经验,就可以从awr报告中发现系统的很多隐藏的很深的问题。不过awr报告也有不尽如人意的地方,一个是两个snap之间的周期太长,一般是1小时,最小一般不低于半小时。这样的话有可能一些短暂的突发性问题会被一小时的平均值所掩盖,所以有时候我们使用awr分析的时候还要借助ash报告来看更细粒度的时间区间。另外一个问题是awr报告十分难懂,哪怕干了十年DBA的人恐怕都很难十分清晰的通读awr报告。最后一点是awr报告的内容太多了,靠人去读,总是难免会遗漏一些关键性的指标。
实际上我们并不是需要看awr报告,而是目前我们最好用的分析工具就是awr报告。如果有一个能类似awr报告那样把大量的数据采集起来,并进行自动化分析的工具,那么我们不使用awr报告,也可以快速的发现数据库中的问题了。借助运维工具中的AIOPS能力,可以大大降低系统故障定位的时间和成本。
今天我们来看一个前两天发生的案例。用户的某个系统出现性能问题,于是把离线的运行指标数据发送给我们来分析。基于离线数据,从健康模型上看,确实出现了一些问题。在某个时间段内,总是间歇性的出现健康状态的抖动,每次抖动时间不长,也就是十来分钟。
从一个案例看自动化运维工具的作用
从健康模型上看,数据库并发执行、操作系统等方面都出现了一些问题。其中操作系统放的问题是因为网卡存在较为严重的丢包。这个问题是个老问题了,目前网管人员也正在排查问题。于是我们就把主要分析方向定位到并发这个维度。
从一个案例看自动化运维工具的作用
系统的每秒硬解析那么高,不过这个问题分析起来很头痛,如果在传统的运维模式下,可能会放到后面去分析,等到其他方面找不到问题了再去啃这个硬骨头。不过在AIOPS的支持下,分析一个问题也就是点击一下按钮而已了,我们可以很任性的进行下钻分析。

看到这个指标的趋势是不是和我们的健康分的趋势有点相似?先不管这些,直接点击“智能指标分析”吧。

指标关联度分析是我最喜欢用的工具,直接点上再说。关联度最高的居然是表扫描数和全索引扫描数,从这里看,似乎问题和TOP SQL有关。一些SQL做了大量的表扫描和全索引扫描。

“指标查找智能诊断路径”工具也针对这个问题推荐了一些诊断工具,其中包含共享池分析,也有一些TOP SQL的诊断工具。因为刚才我们已经看到了上一个工具的分析结果,于是我们先不做共享池分析了,因为共享池的问题很可能是TOP SQL引起的。于是先看看执行次数较高的SQL:

排在前三位的SQL居然在半小时内执行了近300万次,而且这些次SQL都没有返回任何数据。这种业务逻辑肯定是有问题的。再来看看逻辑读较高的TOP SQL。

可以看到,那个不到半小时执行了216万多次的SQL依然排在第一位,不过每次逻辑读只有6。这条SQL本身并没有问题,而是执行次数明显不合理了。后来和开发商确认一下,发现这条SQL相关的应用模块的逻辑上确实存在问题。这个模块是要查询出符合条件的数据,然后进行处理。而如果一次扫描没有发现数据,那么就会立即循环,直到找到数据或者超时为止。如果某个时间段内,某业务没有发生,那么这条语句会不断的循环执行,直到该模块的执行窗口超时。这种业务逻辑存在十分严重的风险,开发商看到这段代码后,就马上清楚该如何优化了。
整个问题发现工作耗时不到5分钟,加上和客户沟通的时间,以及开发商确认问题的时间,也不过半小时而已,而如果我们通过awr去分析这个问题,恐怕还刚刚把awr报告粗略的看一遍吧。随着系统运维的规模的不断扩大,以前靠专家看awr报告的模式已经很难适应现在运维的需要了。必须通过工具化的手段来自动化的分析运行指标数据,协助运维人员进行分析。今年是我们投入数据库自动化运维工具的第四个年头,目前一些智能化工具在辅助分析方面已经能够发挥很大的作用了,上面的这个例子已经很好的反映了这种能力。不过离我们的下一个目标-自动化诊断还有很大的距离。如果哪一天,工具能够进化到不需要我去点击工具,判断下一步去点哪个工具,那么当系统存在运行隐患或者问题的时候,AIOPS工具能够在后台自动进行问题分析与定位,最终把分析结果推送给运维人员,那么运维能力又能上一层楼。这个工作虽然很难,不过我们还在不断的摸索着前进。

从一个案例看自动化运维工具的作用》来自互联网,仅为收藏学习,如侵权请联系删除。本文URL:http://www.bookhoes.com/889.html