Skip to content

Latest commit

 

History

History
80 lines (71 loc) · 4.39 KB

dashboard-overview-info.md

File metadata and controls

80 lines (71 loc) · 4.39 KB
title category
重要监控指标详解
monitoring

重要监控指标详解

使用 Ansible 部署 TiDB 集群时,一键部署监控系统 (Prometheus/Grafana),监控架构请看 TiDB 监控框架概述

目前 Grafana Dashboard 整体分为 PD、TiDB、TiKV、Node_exporter、Overview 等。

对于日常运维,我们单独挑选出重要的 Metrics 放在 Overview 页面,方便日常运维人员观察集群组件(PD, TiDB, TiKV)使用状态以及集群使用状态 。

以下为 Overview Dashboard 监控说明:

说明

  • Services Port Status
    • Services Online:各服务在线节点数量
    • Services Offline:各服务 Down 掉节点数量
  • PD
    • Storage Capacity:TiDB 集群总可用数据库空间大小
    • Current Storage Size:TiDB 集群目前已用数据库空间大小
    • Number of Regions:当前集群的 Region 总量
    • Leader Balance Ratio:Leader 数量最多和最少节点相差的百分比,一般小于 5%,节点重启时会有比较大的波动
    • Region Balance Ratio:Region 数量最多和最少节点相差的百分比,一般小于 5%,新增/下线节点时相差比较大
    • Store Status:集群 TiKV 节点的状态
      • Up Stores:正常运行的 TiKV 节点数量
      • Disconnect Stores:短时间内通信异常的 TiKV 节点数量
      • LowSpace Stores:剩余可用空间小于 80% 的 TiKV 节点数量
      • Down Stores:停止工作的 TiKV 节点数量,如果大于 0,说明有节点不正常
      • Offline Stores:正在下线的 TiKV 节点数量(正在下线的 TiKV 节点还在提供服务)
      • Tombstone Stores:下线成功的 TiKV 节点数量
    • 99% completed_cmds_duration_seconds:单位时间内,99% 的 pd-server 请求执行时间小于监控曲线的值,一般 <= 5ms
    • handle_requests_duration_seconds:PD 发送请求的网络耗时
  • TiDB
    • Statement OPS:SQL 执行数量统计(包含 select、insert、update 等)
    • Duration:SQL 执行的时间
    • QPS By Instance:每个 TiDB 上的 QPS
    • Failed Query OPM:失败 SQL 的统计,例如语法错误、主键冲突等
    • Connection count:每个 TiDB 的连接数
    • Heap Memory Usage:每个 TiDB 使用的堆内存大小
    • Transaction OPS:事务执行数量统计
    • Transaction Duration:事务执行的时间
    • KV Cmd OPS:KV 命令执行数量统计
    • KV Cmd Duration 99:KV 命令执行的时间
    • PD TSO OPS:TiDB 从 PD 获取 TSO 的数量
    • PD TSO Wait Duration:TiDB 从 PD 获取 TS 的时间
    • TiClient Region Error OPS:TiKV 返回 Region 相关错误信息的数量
    • Lock Resolve OPS:事务冲突相关的数量
    • Load Schema Duration:TiDB 从 TiKV 获取 Schema 的时间
    • KV Backoff OPS:TiKV 返回错误信息的数量(事务冲突等)
  • TiKV
    • leader:各个 TiKV 节点上 Leader 的数量分布
    • region:各个 TiKV 节点上 Region 的数量分布
    • CPU:各个 TiKV 节点的 CPU 使用率
    • Memory:各个 TiKV 节点的内存使用量
    • store size:各个 TiKV 节点存储的数据量
    • cf size:集群不同 CF 存储的数据量
    • channel full:正常情况显示 No data,如果有了监控值,说明对应 TiKV 节点的消息处理不过来了
    • server report failures:正常情况显示 No data,如果出现了 Unreachable,说明 TiKV 之间通信有问题
    • scheduler pending commands:写入堆积的数量,偶尔出现峰值属于正常现象
    • coprocessor pending requests:正常情况监控为 0 或者数量很少
    • coprocessor executor count:不同类型的查询操作数量
    • coprocessor request duration:TiKV 中查询消耗的时间
    • raft store CPU:raftstore 线程的 CPU 使用率,目前为单线程,超过 80% 说明使用率很高
    • Coprocessor CPU:TiKV 查询线程的 CPU 使用率,和业务相关,复杂查询会使用大量的 CPU 资源
  • System Info
    • Vcores:CPU 核心数量
    • Memory:内存总大小
    • CPU Usage:CPU 使用率,最大为 100%
    • Load [1m]:1 分钟的负载情况
    • Memory Available:剩余内存大小
    • Network Traffic:网卡流量统计
    • TCP Retrans:网络监控,TCP 相关信息统计
    • IO Util:磁盘使用率,最高为 100%,一般到 80% - 90% 就需要考虑加节点

图例

overview