浙江移动微服务监控,秒级响应10亿级用户访问
2018-10-16 15:04:54
  • 0
  • 0
  • 0

《奇点临近》一书对技术进化有这样的描述,“技术正以指数级速度扩充其能力,创新者也在寻求成倍改进的能力。”“创新是乘法而不是加法。技术将继续加速发展,并将在第五纪元完成控制自己的前进步伐。”技术如何控制自己的步伐我们不得而知,现阶段,我们看到越来越多的企业在利用新技术,不断自我进化,并服务于客户。

浙江移动7*24小时“技术流”微服务不打折

作为中国移动的重要分支,浙江移动一直以“追求客户满意”为宗旨。为了更好地服务用户,浙江移动2015年便搭建了微服务运行监控平台,只是随着新技术的发展,该平台在一些方面稍显滞后,如缺乏内部核心指标的监控、异常分类及跟踪能力不足、调用链代码对应用有侵入、缺乏实时调控管理手段等问题,平台的升级改造被提上日程。

亚信科技作为浙江移动多年的合作伙伴,对该平台优缺点有很深的了解,在接到优化需求后,项目组在原有系统基础上,基于容器技术提出了一套完整的升级改造方案,通过修改探针埋点等方式减小了上线过程对业务的影响。而升级后,浙江移动用户最直接的感受是——真正体验到了7*24小时的全天候无间断服务,而不像以前经常因为系统升级而造成业务无法办理。

该项目赢得了浙江移动的高度认可,项目负责人陈航、褚小川表示:“新平台修复了运营中的老问题,将业务影响压到最低,新增了实例运行状态监控,输出的指标数据为运维人员提供了更多监控手段,极大缩短了问题定位的时间,同时优化了调用链数据的处理流程,能在“分钟级”展现用户服务调用情况,详细体现每一笔请求的业务调用关系,降低了故障排查的复杂度。”

微服务监控平台改造:开着飞机修飞机

而此前,浙江移动“微服务运行监控平台”的不足主要体现在:

首先,缺乏内部核心指标的监控:如线程、数据库连接、GC、网络连接、CPU、内存等;

其次,调用链代码侵入: Log4x通过硬编码埋点,对应用有侵入,影响应用以及整个调用链的性能;

第三,异常分类不足:无法对业务异常进行分析、分类,异常实例跟踪能力不足,不能通过异常信息定位问题;

第四,监控支撑处理能力不足:随着接入系统越来越多,原监控系统扩展能力不足。同时,缺少实时调控管理手段,监控指标出现告警时,无法快速介入;

最后,无法展示服务依赖关系:难以理清服务间的相互依赖程度,以及某服务出现异常时造成的影响范围。

浙江移动希望借助平台升级改造来消除以上不足,但前提是不能影响业务的正常运行,其难度比得上“开着飞机修飞机”,任何改动都牵一发动全身。

亚信科技:以最小代价实现最佳改造

于是, “如何以最小代价完成全面而系统的改造”就摆在了浙江移动合作伙伴——亚信科技这一头儿,在结合实践创新的基础上,以下方案浮出水面:

采用无侵入式探针埋点对目标系统进行数据采集,无业务改造量,运行数据通过后期清洗、聚合计算,会形成各类统计指标,并可视化展现在监控首页;

用统计指标说话,通过统计接口、集群、中心的调用情况,作为扩缩容依据;通过成功和失败次数统计,了解系统健康情况,作为系统优化基础;通过耗时统计,了解系统性能,作为系统调优的基础;

优化调用链,可展现请求的整个调用过程,每个调用环节的延时,轻松排查分布式系统下的异常,并定位问题所在;

对异常进行统计、分类,便于快速定位异常,实现高效运维;

展示服务的正反向依赖关系,任何新需求开发上线,都可以清晰地评估其影响范围;

监控能力可无限扩容,在对接配置中心后,可在线扩容升级。

亚信科技薛浩表示,“我们以最小代价,完成了对分布式系统架构的全面监控,收集监控数据的耗时几乎可以忽略不计。我们通过关键节点数据的收集,分析业务健康状态,并通过获取系统日志、系统堆栈信息、GC信息、运行参数等一系列运维手段,实现故障排查和系统保障。能够秒级响应10亿级用户访问量,并能快速无感知的定制化客户需要收集的数据。”

截至目前,全新微服务运行监控平台的调用链可覆盖浙江移动26个业务中心,即全省95%的业务量,所有的远程调用都纳入了监控范围。虽然成绩显而易见,但薛浩认为,“技术的更迭永无止境,正如逆水行舟不进则退,不断迭代、让技术始终保持先进性,是我们的坚定追求。”

 
最新文章
相关阅读