如何在12个小时,搞定http监控?

架构师之路

共 4661字,需浏览 10分钟

 ·

2020-12-01 14:16

系统监控,是做系统必须解决的一个问题。创业型公司,微服务以前,如何用半天的时间,搞定一个可扩展,通用http监控框架,是今天要聊的话题。

有哪些常见http监控需求?
常见的http监控需求有两类:
(1)html页面监控;
(2)返回json数据的http接口;

常见的http监控怎么玩?
可以通过access日志,观测参数来实施告警:
(1)http非200状态码;
(2)http请求响应时间;

常见的http非200状态码,以及响应时间监控有什么弊端?
大部分公司,都有自己的404页面。
画外音:当然,不排除有些公司把tomcat异常信息透传到页面的。
这个页面的http状态码是200,且返回速度极快,根本不能代表html页面的真实运行情况,很难起到真正的监控作用。
画外音:不是说http状态码监控没用,相反,http状态码的监控是很有必要的,http状态码404说明系统一定有问题,但http状态码200不能说明系统没有问题。

http状态码不能说明问题,那什么才能代表http没有问题呢?
每个http都有自己的业务特性,必须符合业务特性的页面,才是正常的

特性一:需要返回特定的页面内容。
例如,访问http://daojia.com/,一定要返回一个含“家政”字眼的html页面,才是正确的。

特性二:需要返回特定的接口内容。
例如,RESTful的获取用户信息接口,假设传入uid=123,会传回:
{“RET”:”SUCCESS”, “name”:”shenjian”, “uid”:”123”}
即,http://daojia.com/userinfo/get/?uid=123,一定要返回一个含“shenjian”的字符串,才是正确的。

于是乎,得到了可扩展通用http监控框架的思路:不仅仅要监控http状态码,更重要的是,要监控http返回内容的业务特性

可扩展通用http监控框架的细节如何?
整个http监控平台的架构如上,分为监控平台模块,信息管理模块,基础服务模块

一、监控平台模块
(1)http监控中心:实施监控的主程序;
(2)http监控配置:可扩展的监控项信息管理;

监控项核心信息包含:
(1)被监控的html页面/RESTful接口属于哪个集群;
(2)被监控的URL;
(3)被监控的URL需要传入的数据,包含GET/POST/COOKIE等数据;
(4)被监控的http返回的数据中必须包含什么业务特性字符串;

例如,到家官网html为例,监控项核心信息为:

[http.monitor.item]

cluster.name : daojia_main

url : http://daojia.com/

result : 家政

即,访问http://daojia.com/,返回结果必须包含“家政”。
 
以获取用户信息RESTful接口为例,监控项核心信息为:

[http.monitor.item]

cluster.name : daojia_user

url : http://daojia.com/userinfo/get/

get.data : uid=123

post.data : NULL

cookie.data : NULL

result : shenjian

即,访问http://daojia.com/userinfo/get/?uid=123,返回结果必须包含“shenjian”。

框架初期,可以以配置的形式管理监控项,但如果要做成平台,需要有一个监控项管理后台,来新增/修改/管理监控项。

监控中心,会遍历所有监控项,并发对各个http监控项实施监控。

二、信息管理模块
信息管理模块又分为:集群信息管理模块,员工信息管理模块,告警策略管理模块。

集群信息管理模块,主要提供这个接口:
Info Service::getClusterInfo(String clusterName)
即,通过集群名,获取集群信息

集群信息有很多,和监控相关的主要有这么几个信息:
(1)集群ip列表,每个web-server都应该被监控到;
(2)集群负责人,如果监控异常,要将告警发给谁;

用户信息管理模块,主要提供这个接口:
Info Service::getYuanGongInfo(String name)
即,通过员工名,获取员工信息

员工信息有很多,和监控相关的主要有这么几个信息:
(1)员工手机号,邮箱,微信号,钉钉号等通讯信息;
(2)如果要实现多级告警策略,还需要获取员工部门及leader的相关信息;

告警策略管理模块,主要提供这个接口:

Bool Service::trySendAlarm(

         String clusterName,

         String yuangongName,

         String ip,

         String url,

         …

)

即,一旦发现接口有异常,尝试发送告警

这个尝试发送告警,并不意味着一定会发送短信或者邮件,因为需要实现一系列人性化的告警策略:
  • 集群收敛策略,可以通过clusterName去重
  • 接口收敛策略,可以通过url去重
  • 定时定频策略,可以通过yuangongName去重
  • 白天黑夜策略,可以通过告警发送时间实施

三、基础服务模块
进行完告警策略过滤后,如果真实需要发送告警,调用基础服务模块发出。

发送邮件,发送短信这些基础服务模块,相信每个公司都有,这里就不展开叙述了。

进一步的,可扩展通用http监控框架细节如何?
早期,如果系统没有平台化和服务化,可以通过配置文件,搞定上面的各个可扩展模块:
(1)http监控项信息:通过配置文件搞;
(2)集群信息:通过配置文件搞;
(3)员工信息:通过配置文件搞;
(4)告警策略信息:不搞告警策略了,异常就发短信;
于是乎,http监控框架变成了这个样子,模块都用配置文件代替了:
http监控项配置,monitor-item.config

[http.monitor.item]

cluster.name : daojia_main

url : http://daojia.com/

result : 家政


[http.monitor.item]

cluster.name : daojia_user

url : http://daojia.com/userinfo/get/

get.data : uid=123

post.data : NULL

cookie.data : NULL

result : shenjian


集群信息配置,cluster-info.config:

[daojia_main]

ip.list : ip1, ip2, ip3

port : 80

owner.list: shenjian, zhangsan, lisi


[daojia_user]

ip.list : ip11, ip22, ip33

port : 8080

owner.list: shenjian


员工信息配置,owner-info.config

[shenjian]

email : XX@XX.com

phone :15912345678


[zhangsan]

email : YY@YY.com

phone :18611220099


五、http监控框架伪代码

// 解析配置文件,取出监控项、集群、员工等信息

Array[monitor-item] A1=Parse(monitor-item.config);

Array[cluster-info] A2= Parse(cluster-info.config);

Array[owner-info] A3=Parse(owner-info.config);


// 遍历所有监控项

for(each item in A1){

 // 取出监控项的集群名,URL,http数据,结果等信息

 clusterName= item.clusterName;

 url= item.url;

 getData= item.getData;

 postData= item.postData;

 cookieData= item.cookieData;

 result= item.result


 // 由集群名,获取集群信息

 clusterInfo= A2[clusterName];

 // 由集群信息,获取集群ip列表,集群负责人列表

 Listips = clusterInfo.ip;

 Listowners = clusterinfo.owner;


 // 集群内的每一个ip实例web-server,都需要监控

 for(each ip in ips){

  // 根据ip,url,http数据构造请求

  httpClient client = new httpClient(ip, url, getData, postData, cookieData);

  // 获取http请求执行结果

  httpResponse resp = client.execute();

  // 如果返回为200,并且包含监控项里的业务特性结果

  if(resp.code==200&& resp.contain(result)){

    //正常,继续监控

    continue;

  }


  // 否则,对所有集群负责人发送告警

  for(each owner in owners){

   // 取出负责人邮箱和手机号

   email =A3[owner].email;

   phone =A3[owner].phone;

   // 发送邮件与短信告警

   sendEmail(email, ip,url, owner);

   snedSM(phone, ip, url,owner);

  }

 }

}


如此一来,一个小型的,可扩展的,满足创业型公司需求的http监控框架,就搞定了。
画外音:先不用纠结是用服务,还是cron,还是多线程这些细节,也不用纠结一行能不能parse完整个配置文件,用过xml的都懂,上面的配置文件只是demo示例而已。

这个框架的扩展性非常好,能很好的通过配置文件扩展。

monitor-item.config,监控项扩展性:
(1)新增html页面监控,或者json的RESTful接口监控,只需要在配置中增加一个item;
(2)配置支持url,get,post,cookie等参数拼装任意http监控请求;
(3)配置支持不同业务逻辑返回不同的result的业务特性检查;

cluster-info.config,集群信息扩展性:
(1)新增集群,只需在配置中增加一个item;
(2)集群加了一个实例,只需增加一个ip;
(3)集群加了一个负责人,只需增加一个owner;

owner-info.config,负责人信息扩展性:
(1)新增负责人,只需要在配置中增加一个item;
(2)换了手机号/邮箱,只需修改相应配置;

最后一个问题,为什么要拆分成3个配置文件,而不是只用一个?
呵呵,设计解耦,我们都需要多多修炼。
架构师之路-分享技术思路


思路比结论更重要,希望大家有收获。


调研
贵司的http,是怎么监控的?谢
浏览 34
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报