文章目录
数值类型的常用指标含义 模板变量 grafana 面板编辑器 高级函数聚合单个查询的多条匹配曲线的总量 Combine -> sumSeries 时间线迁移 Transform -> timeShift 去除异常值 Filter -> removeAboveValue 重命名函数 多条曲线数值的聚合 Special -> groupByNode 计算多个 Query 组成的成功率 Calculate -> asPercent 其他报警 statsd 打点的限制 后端查询 grafana 数据 匿名模式 最后 grafana 是一个开源的时序性统计和监控平台，支持例如 elasticsearch、graphite、influxdb 等众多的数据源，并以功能强大的界面编辑器著称。我们在前端监控方面引入 grafana 后取得了一些不错的反馈，但是很多用户由于之前没有接触过 grafana 经常会来询问 grafana 的相关问题，因此希望本文对大家在 grafana 使用方面有所帮助。
grafana 的权限分为三个等级：Viewer、Editor 和 Admin，Viewer 只能查看 grafana 已经存在的面板而不能编辑，Editor 可以编辑面板，Admin 则拥有全部权限例如添加数据源、添加插件、增加 API KEY。
对于普通用户来说，Viewer 权限已经足够，本文接下来的内容主要和 Editor 权限有关。由于篇幅有限，本文作为范例的数据源为 graphite，同时也只介绍最常用的 Graph 图表的配置方法。
数值类型的常用指标含义
count_ps count mean_90 upper_90 总量误区
这里有一个常见的 grafana 误区，因为经常有用数值类型的 count_ps 来顺便获取每秒打点数量的情况，注意在这种情况下，一段时间内的打点总量需要使用 count_ps 的 avg 平均值来乘以这段时间的秒数来计算，而不是通过界面上的 Total 直接读取。
这是因为，在界面上一条曲线能够展示的点的数量是有限的，grafana 会根据你的窗口宽度来决定返回的点数，因为像一天这样的时间段肯定没办法在界面上展示每一秒的点，毕竟总量为86400个点就算带鱼屏也不可能挤得下。对于无法展示的点，grafana 默认是使用 avg 平均值的行为来修正返回点的值，举个栗子，如下图：
上图时间范围是一天，上部分为曲线面板的值，下部分为 面饼图表的值，并且上部分图标的曲线为 count 类型（十秒聚一次），可以看到 avg 平均值为 683，那么总量应该为 682 乘以 6 （如果是count_ps 这里则是60） 乘以 60 （一小时60分钟）再乘以 24 （一天24小时）得到589万，与图片中下部分的582万相近，因此上部分 total 的117万是一个完完全全让人误解的值，可以认为它毫无意义进而直接无视掉。
误差
上文中我们计算出来的589万和界面上的582万其实也有一点误差，不过这是可以接受的，因为 statsd 一般情况下是 UDP 的形式（它其实有 TCP 的形式），所以如果想要完全正确的数据，那么最好把打点相关的数据也入库，从数据库里后置查询出来的才是完全可靠。
模板变量
模板变量能够动态地控制面板中的查询语句，是十分重要的功能。经常可以在面板的左上角发现它们，如下图：
模板变量的写法
模板变量支持 $name 和 [[name]] 的写法，针对 graphite 数据源主要使用前者，例如：stats.timers.fe.test.$key.count_ps
新建模板变量
grafana 界面上齿轮按钮 -> Templating -> 点击 New，即可出现类似如下的界面：
本段主要介绍 Query 类型的写法。
Name Refresh可选Never，On Dashboard Load和On Time Range Change 如果该变量的值经常动态增加的话则选 On Time Range Change，否则 On Dashboard Load 就足够了，Query 类型千万不要选 Never，否则变量只会在你点进来编辑变量时才会更新 Query查询语句，例如 stats.timers.fe.test.* 编写时 grafana 不会触发请求，需要在输入框外面点击一下，查询到的值就会显示在下边了 模板变量中的 Query 其实也支持模板变量，例如stats.timers.fe.test.$key.* 这样的语句，会在 $key 变量变化时自动刷新值，是不是有一点 MVVM 的感觉。这个功能用来联动多个模板变量可以大幅度减少 grafana 一次查询的时间。
模板变量的隐藏玩法
模板变量甚至可以用在 grafana 的跳转中，这是连文档中都没有提及的一个隐藏玩法，在 Link 或者 Dashboard 里 URL 中任意位置填入 $name ，那么在用户点击该链接跳转时 grafana 同样会替换该变量来让你跳到正确的链接去。这和其他系统整合起来能够做到很不错的用户体验，例如跳转到 kibana 那边去查询日志。
kibana 和 grafana 的时间范围格式并不一样，可以使用这篇文章 中的 chrome 插件来解决。
另外，Custom 模板变量可以允许用户在变量下拉框中自行输入值，也是一个经常用到的值，配合模板变量会和当前链接中的 querystring 部分的var-${name} 同步，配合起来可以轻松地从第三方系统中跳转到正确的 grafana 面板中来
grafana 面板编辑器
以 Editor 权限的账号进入到任意面板中，点击某个图表继而点击小弹窗中的 Edit 按钮，即可进入图表的编辑器界面。对于编辑器本文只介绍图表的重要配置，Metrics，Legend 和 Display
Metrcis
编辑模式上图箭头指向的 toggle editor mode 可以控制编辑模式，关闭则需要手动输入查询语句，开启则是如上图的可以在界面上动态增删改的模式。 数据源Panel data source 一定要选对，否则查不到对应的路径，并且很有可能冒出来 Mock 数据让人一脸懵逼。 开启动态编辑模式时可以在点击上图中每个框框，这时 grafana 会自动加载该位置在数据源中的值，并且你也可以在这里选择模板变量来动态控制。
点击尾巴上的加号，会冒出来对应数据源的函数，可以做一些高级的功能，这个也是本文下半部分的重点，稍后再做介绍。graphite 的函数比较多，其他数据源会少一些。
Legend
Legend 主要控制曲线的名称和值的展示，比较简单，这里列出一下他们的含义
As Table To the right Width Min Avg Total面板时间段内的值的总量，如上文所说获取数值类型的总量时这个 Total 是一个很让人误解的参数 Max Current Display
Display 控制图表的点和线的展示，有一些比较重要的参数
Draw Modes -> Lines Draw Modes -> Points Hover info -> Mode悬浮面板上展示的方式，值为 All serires（展示该时间点的所有线段的值）和 single（只展示鼠标指着的那一条线段） Hover info -> Sort Order悬浮面板上线条的排序，一般选择 Decreasing Stacking & Null value -> Null value这个比较重要，需要根据点的密度来动态决定，如果点少很容易让人误解两个点中间也存在点。 点多时，选择 connected 点少时，选择 null 高级函数
以 graphite 为例子，打点路径中的 KEY 只支持大小写字母、数字、中划线和下划线，这会导致前端的路径（经常包含 # 和 :path）存不下来，因此我们只能提前转译，例如将 # 转译为 ANCHOR，将 :path 转译为 PATH ，再将 / 转译为 -，这样在变量模板中展示的就是比较怪异的前端路径，不过好在我们有函数，可以
