你是否在为系统卡顿而烦恼？

你是否在面对性能问题时束手无策？

你是否为迟迟找不到性能瓶颈而沮丧？

你是否想拥有一站式傻瓜式性能诊断工具？

请卸下你的烦恼，让Monitor新特性——性能诊断工具箱来满足你的幸福感！

1 适用版本

该功能适用版本为金蝶云·苍穹V5.0.011及以上。

2 功能速览

为了解决普通用户定位性能问题根因困难的问题，Monitor为用户提供了一个性能诊断工具箱，配套有慢查询、线程监控、火焰图、性能穿透等交互式诊断工具，达到性能问题根因定位直观化、傻瓜化，降低了对用户技能的要求，从而使普通开发人员、运维人员皆可较容易、高效地定位出性能卡顿根因。

接下来，为大家逐一介绍4个交互式诊断工具。

2.1 慢查询，一键找到系统卡顿的请求

适用场景：

聚焦系统某段时间内发生了哪些慢SQL、慢WEB请求、慢RPC请求，以便有针对性地快速排障。

功能入口路径：

Monitor→【性能治理】→【慢查询】，如下图所示：

上传图片

慢查询功能路径

上传图片

慢查询功能界面

接下来，分别举例讲解慢SQL、慢WEB请求、慢RPC请求分析方法。

JDBC慢请求示例

上传图片

JDBC慢请求

如上图，SlowLogger-JDBC表示此请求是一个慢SQL请求，且图中详细展示了SQL执行耗时、SQL语句以及执行SQL的代码堆栈信息，通过堆栈信息可以精准定位执行SQL的业务代码，开发人员结合具体业务特征优化SQL保障其性能。

WEB慢请求示例

上传图片

慢WEB请求

如上图，SlowLogger-WEB表示此请求是一个慢WEB(HTTP)请求，且图中详细展示了请求总耗时、traceId、请求参数以及请求执行时调用过程的耗时统计信息。从图中可以发现，主要耗时在RpcRequest，便可进一步用traceId在日志中查询详细信息，如下所示：

上传图片

TraceId查询日志

如上图，观察日志可以发现两条SQL占用总时间的70%，至此找到导致WEB请求慢的根因，开发人员可以进一步优化SQL提升性能。

RPC慢请求示例

上传图片

RPC慢请求

如上图，SlowLogger-RPC表示此请求是一个慢RPC请求，且图中详细展示了请求总耗时、traceId、请求来源、调用方法、参数以及请求执行时调用过程的耗时统计信息。从图中可以发现，主要耗时在FormService，进一步可以用traceId在日志中查询详细信息如下：

上传图片

RPC慢请求日志查询

观察日志可以发现，上图业务插件占用总时间的90%，至此找到导致RPC请求慢的根因，开发人员可以进一步分析优化插件业务逻辑。

2.2 线程监控，专治各种卡慢杂症

适用场景：

系统没有慢请求但是又存在卡顿，则可以通过持续观察系统所有线程状态、执行过程中统计信息、线程堆栈动态变化情况，综合分析定位出性能卡顿根因。

功能入口路径：

Monitor→【线程监控】，如下图所示：

上传图片

线程监控功能入口

上传图片

线程监控功能页面

如上图，根据查询条件（红框部分）查询符合条件的被监控服务器当前运行的所有线程，每个线程信息分为4部分：线程名称、线程信息、线程统计、线程堆栈。为了直观介绍如何根据线程信息定位性能问题，下面将分场景举例说明。

场景一：某线程堆栈长时间始终在运行同一个方法

通过多次点击“查询”按钮，刷新所有线程信息，观察线程运行时间及堆栈信息，发现某个线程已经长时间运行，但堆栈也没啥变化，如下所示：

上传图片

线程堆栈停留

如上图，线程堆栈一直停滞在batchRequire方法，则判断该方法为卡顿地方，开发人员重点排查并优化方法代码提高性能。

场景二：通过线程堆栈统计信息定位性能根因

线程统计信息中显示了详细的运行耗时记录，通过分析线程统计信息找出性能慢的根因，线程信息如下所示：

上传图片

根据线程统计信息定位性能根因

如上图，通过观察线程统计信息很容易找到导致性能慢的2条线索，线索1需要开发人员结合标注信息具体分析业务代码，线索2一次请求执行了1115次DB调用，需要开发人员具体分析是否存在循环调用SQL的不合理情况。

场景三：通过线程堆栈判断线程阻塞

线程执行过程中可能由于阻塞导致停顿造成性能慢的情况，如下图：

上传图片

线程阻塞

如上图，通过观察线程堆栈很容易发现线程由于等待锁一直阻塞。

场景四：检测死锁

系统运行过程中会自动进行死锁检测，一旦发现死锁，则在顶部红色高亮显示，如下图：

上传图片

自动检测死锁

如上图，会提示存在死锁，再通过观察线程堆栈列表，可以找到上图标记的2个线程发生了死锁。

2.3 火焰图，耗时方法无处藏身

火焰图能显示方法调用栈详细耗时，是性能根因分析的杀手锏，其详细知识在这不过多介绍，可参考火焰图官方网站：

https://www.brendangregg.com/flamegraphs.html

适用场景：

通过其他工具无法定位到具体方法导致的性能瓶颈时，可采用火焰图进行分析。

功能入口路径：

Monitor→【性能治理】→【火焰图】，如下图所示：

上传图片

火焰图功能入口

Monitor提供生成CPU耗时和内存分配2种火焰图，具体功能如下：

上传图片

生成火焰图功能界面

如上图，可以针对具体服务生成不同采样时长的火焰图，采样时长越长越能准确分析性能瓶颈，默认为10秒钟，并且可选多个实例同时批量生成。

该特性对于分布式服务特别有用，因为请求具体在哪个节点执行是无法预测的也就无法判断哪个节点有问题，而批量生成火焰图可以同一时刻覆盖所有节点，确保有问题的节点也会生成火焰图。火焰图生成后可在线查看或下载后离线查看分析。

接下来，结合一个实际案例讲述如何通过分析CPU耗时火焰图找到性能慢的根因。

案例描述：一个数据量较大的验证环境，其采购入库单方案查询慢，耗时18s。

操作步骤：

1、打开火焰图管理页面，选择对应服务，类型选择“CPU耗时”，采样时长填写“30”秒，单击“确定”按钮开始生成火焰图。

2、打开Chrome浏览器，通过“F12”快捷键打开控制台切换到“Network”网络跟踪，刷新采购入库单列表，如下图可以看到向后端先后发送2个请求，耗时都>9秒。

上传图片

采购入库单列表网络跟踪

3、在Monitor火焰图页面，等待火焰图生成完成后，单击“查看”打开刚生成的火焰图。

上传图片

火焰图列表

上传图片

火焰图

4、上示火焰图（图片较大只截取主要业务部分）清晰地展现出方法调用栈及耗时情况，很明显红色边框标准的2个方法宽度最宽(代表CPU耗时)最耗时，占了将近95%的CPU时间，还可以基于这两个方法栈继续向上分析，根据分析的线索结合代码进行性能优化。

2.4 性能穿透，从整体到局部下钻分析性能根因

性能穿透可根据调用关系生成服务、中间件、数据库之间的调用拓扑，以分析性能问题根因。功能入口为：Monitor→【性能治理】→【穿透分析】，如下所示：

上传图片

性能穿透功能入口

拓扑图节点之间有向线段表示节点之间调用关系，文本用于显示节点调用平均用时。根据平均用时时长，把有向线段自动显示为绿、黄、红三种颜色，代表三种不同等级的调用性能。

上传图片

拓扑图

如上图中的图例说明，绿色代表性能正常（用时<5秒）、黄色代表较慢（5秒≤用时≤10秒）、红色代表慢（用时>10秒），通过颜色区分很容易从拓扑图发现性能慢的调用。

上图红色线段清晰直观地表达出2个服务主调和被调的调用关系及调用慢。基于拓扑图可以多维度下钻分析性能根因，下面分维度举例说明。

连线维度穿透：通过连线下钻到具体实例响应耗时

在上示拓扑图中，红色调用线路明显存在性能瓶颈，双击调用线路，可以下钻查看具体是哪个节点实例响应慢，如下图：

上传图片

穿透实例

可以看到具体响应慢的实例，继续双击线路进一步钻取具体实例被调用过的API，如下图：

上传图片

API详情

从上图可以很清晰地看到API在什么时间执行及耗时，还可以进一步通过查看日志和调用链进行穿透分析，也可以使用火焰图进行API耗时根因分析，这里就不再继续扩展详述。

节点维度穿透：下钻节点实例健康指标及分析工具进行综合诊断

节点实例穿透支持下钻健康指标监控，并以实例为中心集成了慢日志、线程堆栈、TOP命令、火焰图工具，提供一站式诊断工具，减少上下文切换交互。

实例指标监控，显示当前实例的详细负载，比如CPU、内存、GC及吞吐量等信息对评估实例性能很关键，当实例产生慢响应时，先观察下指标比如CPU和内存使用负载是否过大、GC是否频繁等，详情如下：

上传图片

实例指标

慢日志，和慢查询类似，便于快速定位当前实例时间段范围内产生的慢请求。

上传图片

实例慢日志

实例实时堆栈，展示当前实例的所有线程堆栈情况，和前面介绍的线程监控一样，如下图：

上传图片

实例线程堆栈

服务实例实时TOP，通过TOP命令实时观察服务实例所在的容器或虚拟机CPU及内存使用情况及Java线程 CPU和内存使用情况，便于定位实例性能，如下图：

上传图片

实例TOP命令

左半部分实时刷新展示JVM主线程及所有子线程资源用量，右半部分实时刷新展示JVM进程资源用量，系统资源用量清晰见，再也不用到容器内查看了~

实时火焰图，针对实例一键生成火焰图，具体分析火焰图方法请参考上面火焰图章节，生成实例火焰图功能，如下图：

上传图片

实例火焰图

系统自动选择服务和实例，单击“确定”按钮，即可一键生成实例火焰图，简单、易用。

3 亮点价值

亮点一：性能分析图形化、工具化、流程化，提高定位系统性能根因效率；

亮点二：性能分析方法多样化，支持多种性能分析场景；

亮点三：性能根因分析精准，穿透慢方法、慢SQL。

4 划重点

金蝶云·苍穹V5.0H2 Monitor 新增【性能诊断工具箱】，帮助用户快速定位性能问题根因，功能详情如下：

1) 基于Log、Metrics、Trace三位一体数据，自动分析性能瓶颈，结合傻瓜式工具帮助快速定位问题；

2) 支持慢请求查询、线程堆栈、火焰图、多维性能穿透等功能，用户可根据不同场景搭配使用不同的功能，便于精准、高效地找出性能瓶颈；

3) 支持SQL语句级、方法级耗时追踪，实现性能卡顿根因精准定位。

#往期推荐#

# 告警管理，系统健康看护新利器

# 日志分类存储，降本增效好帮手

更多精彩内容，“码”上了解！↓

上传图片

性能诊断工具箱，助你轻松找到系统慢根因

性能诊断工具箱，助你轻松找到系统慢根因

恭喜您！