金祥视频监控有限公司欢迎您!

监控系统饿了么监控系统 EMonitor 与美团点评 CA

作者:金祥棋牌    来源:未知    发布时间:2019-11-14 03:40    浏览量:
:是一款服务于饿了么所有技术部门的一站式监控系统,覆盖了系统监控、容器监控、网络监控、中间件监控、业务监控、接入层监控以及前端监控的数据存储与查询。每日处理总数据量近PB,每日写入指标数据量百T,每日指标查询量几千万,配置图表个数上万,看板个数上千   CAT:是基于Java 开发的实时应用监控平台,为美团点评提供了全面的实时监控告警服务   本文通过对比分析下2者所做的事情为契机讨论监控系统或许该有的面貌,以及浅谈下监控系统发展的各个阶段   首先要强调的是这里我们只能拿到github上开源版CAT的最新版3.0.0,所以是基于此进行对比   针对Transaction和Event都固定了2个维度,type和name,并且针对type和name进行分钟级聚合成报表并展示曲线 采样链路   针对上述Transaction、Event的type和name分别有对应的分钟级的采样链路   比如和Mybatis集成,在客户端开启相关的sql执行统计,并将该统计划分到Transaction统计看板中的type=SQL的一栏下   可以针对上述的Transaction、Event等做一些简单的阈值告警   饿了么EMonitor和CAT的对比饿了么EMonitor借鉴了CAT的相关思想,同时又进行了改进   针对Transaction和Event都固定了2个维度,type和name,不同地方在于聚合用户发过来的数据   对Transaction、Event等消息模型按照type和name进行当前小时的聚合,历史小时的聚合数据写入到mysql中   Real-Time Streaming Compute:对用户发过来的链路中的Transaction、Event等监控模型转变成指标数据并进行10s的预聚合,同时也对用户发过来的Metric数据进行10s预聚合。最后将10s预聚合的数据写入到LinDB时序数据库(已开源,有兴趣的可以关注star下)中,以及kafka中,让告警模块watchdog去消费kafka做实时告警   所以EMonitor和CAT的一个很大不同点就在于对指标的处理上,EMonitor交给专业的时序数据库来做,而CAT自己做聚合就显得功能非常受限,如下所示   CAT只能整小时的查看type和name数据,不能跨小时,即不能查看任意2个时间之间的报表数据,EMonitor没有此限制   CAT没法查看所有type汇总后的响应时间和QPS,EMonitor可以灵活的自由组合type和name进行聚合   CAT的type和name报表是分钟级的,EMonitor是10s级别的   CAT的type和name没能和历史报表曲线直接对比,EMonitor可以对比历史报表曲线,更容易发现问题   CAT的type和name列表首页展示了一堆数字,无法立即获取一些直观信息,比如给出了响应时间TP99 100ms这个到底是好还是坏,EMonitor有当前曲线和历史曲线,相对来说可以直接判断到底ok不ok   CAT的TP99、TP999基于单机内某个小时内的报表是准确的,除此之外多机或者多个小时的聚合TP99、TP999是用加权平均来计算的,准确性有待提高   CAT含有TP999、TP9999线(但是准确性还有些问题),EMonitor只能细到TP99   CAT的type和name可以按照机器维度进行过滤,EMonitor没有做到这么细粒度   Histogram:包含Timer的所有东西,同时支持计算TP99线,以及其他任意TP线)   Payload:可以记录一个数据包的大小,包含数据包个数、包的最大值、最小值、平均值   也就是任意Metric打点都可以流经EMonitor进行处理了并输送到LinDB时序数据库中。至此,EMonitor就可以将任何监控指标统一在一起了,比如机器监控都可以通过EMonitor来保存了,这为一站式监控系统奠定了基础   目前EMonitor已经打通了IaaS层、PaaS层、应用层的所有链路和指标的监控,再也不用在多个监控系统中切换来切换去了,如下所示   可以根据机房、执行状态、表、操作类型(比如Insert、Update、Select等)进行过滤查看   左边一栏列出该应用提供的SOA服务接口,同时给出平均响应时间以及和昨天的对比情况   上一个阶段存在的问题:ELK只是基于一行一行日志进行聚合或者搜索分析,日志之间没有上下文关联。很难知道一次请求耗时较长究竟耗时在哪个阶段   本阶段实现方式:CAT横空出世,通过建模抽象出Transaction、Metric等监控模型,将链路分析和简单的报表带入了大家的视野告警方式:针对报表可以进行阈值监控   排障过程:一旦有告警,可以通过点击报表来详细定位到是哪个type或name有一定问题,顺便找到对应的链路,查看详细的信息   上一阶段存在的问题:CAT对自定义指标支持的比较弱,也无法实现或者展现更加多样的查询聚合需求   本阶段的实现方式:支持丰富的Metric指标,将链路上的一些报表数据也可以划分到指标中,交给专业的时序数据库来做指标的存储和查询,对接或者自研丰富的指标看板如Grafana告警方式:针对指标进行更加丰富的告警策略   排障过程:一旦有告警,可能需要到各个系统上查看指标看板,粗略定位根因,再结合链路总和分析   上一阶段存在的问题:系统监控、中间件和业务监控、部分业务监控、链路监控与指标监控都各搞一套数据收集、预处理、存储、查询、展现、告警流程,各个系统处理数据格式、使用方式不统一   本阶段的实现方式:打通从系统层面、容器层面、中间件层面、业务层面等等的可能的链路和指标监控,统一数据的处理流程,同时整合发布、变更、告警与监控曲线结合,成为一站式监控平台告警方式:可以统一的针对各个层面的监控数据做统一化的告警   目前我们EMonitor已完成这个阶段,将公司之前存在已久的3套独立的监控系统统一整合成现如今的一套监控系统   用户虽然可以在一个系统中看到所有各个层面的监控数据了,但是每次排障时仍然要花很多的时间去查看各个层面是否有问题,一旦漏看一项可能就错过了问题所在的根因   总之:之前的阶段都是去做一个监控平台,用户查询什么指标就展示相应的数据,监控平台并不去关心用户所存储数据的内容。现在呢就需要转变思路,监控平台需要主动去帮用户分析里面所存储的数据内容   本阶段的实现方式:所要做的就是把帮用户分析的过程抽象出来,为用户构建应用大盘和业务大盘,以及为大盘做相关的根因分析   应用大盘:就是为当前应用构建上下游应用依赖的监控、当前应用所关联的机器监控、redis、MQ、database等等监控,可以时刻为应用做体检,来主动暴露出问题,而不是等用户去一个个查指标而后发现问题   根因分析:一个大盘有很多的环节,每个环节绑定有很多的指标,每次某个告警出来有可能需要详细的分析下每个环节的指标,比如消费kafka的延迟上升,有各种各样的原因都可能导致,每次告警排查都需要将分析流程再全部人为分析排查下,非常累,所以需要将定位根因的过程通过建模抽象下,来进行统一解决   趋势报表分析:主动帮用户发现一些逐渐恶化的问题点,比如用户发布之后,接口耗时增加,很可能用户没有发现,虽然当前没有问题,但是很有可能在明天的高峰期就会暴露问题,这些都是已经实实在在发生的事故   要想做主动分析,还深度依赖指标下钻分析,即某个指标调用量下降了,能主动分析出是哪些tag维度组合导致的下降,这是上述很多智能分析的基础,这一块也不简单   排障过程:NOC根据业务指标或者业务大盘快速得知是哪些业务或者应用出先了问题,应用的owner通过应用大盘的体检得知相关的变动信息,比如是redis波动、database波动、上下游应用的某个方法波动等等,来达到快速定位问题目的,或者通过对大盘执行根因分析来定位到根因   三者在监控排障中的所占比例却大不一样:Metrics占据大头,Tracing次之,Logging最后   李刚,网名乒乓狂魔,饿了么监控组研发专家,饿了么内部时序数据库LinDB项目负责人,目前致力于监控的智能分析领域   声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务 金祥棋牌 金祥棋牌app 金祥棋牌手机版官网 金祥棋牌游戏大厅 金祥棋牌官方下载 金祥棋牌安卓免费下载 金祥棋牌手机版 金祥棋牌大全下载安装 金祥棋牌手机免费下载 金祥棋牌官网免费下载 手机版金祥棋牌 金祥棋牌安卓版下载安装 金祥棋牌官方正版下载 金祥棋牌app官网下载 金祥棋牌安卓版 金祥棋牌app最新版 金祥棋牌旧版本 金祥棋牌官网ios 金祥棋牌我下载过的 金祥棋牌官方最新 金祥棋牌安卓 金祥棋牌每个版本 金祥棋牌下载app 金祥棋牌手游官网下载 老版金祥棋牌下载app 金祥棋牌真人下载 金祥棋牌软件大全 金祥棋牌ios下载 金祥棋牌ios苹果版 金祥棋牌官网下载 金祥棋牌下载老版本 最新版金祥棋牌 金祥棋牌二维码 老版金祥棋牌 金祥棋牌推荐 金祥棋牌苹果版官方下载 金祥棋牌苹果手机版下载安装 金祥棋牌手机版 金祥棋牌怎么下载

相关推荐:



相关新闻推荐

在线客服 :

服务热线:4008-668-998

电子邮箱: 329465598@qq.com

公司地址:海南省海口市龙华区

金祥棋牌智能监控设备有限公司是一家专业的监控产品及行业解决方案供应商。成立至今,公司始终秉承着智能交通安全畅通的理念,为广大客户提供专业...

友情链接:
Copyright © 金祥视频监控有限公司 版权所有 Power by DeDe58网站Sitemap| 导航地图