德邦快递微服务之旅:以“轻舟”载大件,单日收入破亿元

big boss2019-10-26 19:59

微服务化对于德邦快递的战略意义,在于构建中台加速数字化转型升级。借助网易轻舟微服务,德邦快递获得了完整、易用、智能的微服务解决方案,完成了自动化研发流水线的建设,初步实现了数据共享利用,有力支撑了大件快递业务的发展。2018年双11的最后时刻,德邦大件快递单一产品单日收入突破1亿元,这不但凸显了德邦快递在大件快递领域的优势,更加证明了德邦快递的数字化转型在市场上所获得的高度认同。

在数字技术推动经济快速发展的今天,物流行业扮演越来越重要的角色,同时物流行业对信息技术的利用也一直相对落后,然而,刚刚宣布发力大件快递的德邦快递,却引入了一般人认为互联网企业才需要的微服务架构。包括管理层在内每一位员工都要经过送快递历练的德邦快递,其每一个决策自然都是务实之举,但微服务化对德邦快递究竟有什么作用?

微服务加速数字化升级

物流行业推进数字化,应用云计算、大数据、物联网、移动互联网等新一代信息技术,既是政策的指引,也是行业发展的必然。对于德邦快递而言,一方面要顺应物流行业降低成本、提升效率和服务质量的趋势,另一方面公司作为快递领域的新军,重点发力大件快递的定位虽说差异化明显,但传统快递公司也不会放过电商大件带来的新机遇,保持竞争优势同样需要通过数字化苦练内功。

德邦快递希望数字化创新不仅可以更好地支撑业务发展,更要引领业务创新,成为业务价值的创造者,这需要团队具有更高效的研发能力,以快速响应市场变化。德邦快递此前基于传统的烟囱式架构和瀑布式开发模式,编译、部署、上线耗时太长,一个新的系统上线从资源申请、环境准备到上线至少需要2周时间,需要大量人力介入,浪费大量人力成本,影响业务整体响应效率,这是业务部门难以接受的。为推进数字化升级,德邦快递建设了规模超过1000人的数字化团队,每年数字化投入超过5亿元。

德邦快递对数字化升级有自己的理解,团队认为,架构升级是基础,让业务变得灵活,数据价值释放是核心,让业务变得智慧,而满足大规模数据存储、实时计算以及应用架构革新之类的挑战,就需要分布式数据库、微服务架构等诞生于互联网行业的解决方案。

在德邦快递IT总架构师罗刚强看来,高效的IT架构需要通盘考量产品特性、运营特性、制造工艺、组织架构和人员能力等各种因素,对于德邦快递来说,逐步完成微服务化改造,实现DevOps,构建稳定强大的中台,快速适应业务变化,支持高并发访问和海量数据处理,更适合加速公司的数字化转型升级。

微服务改造的挑战

微服务改造并不是一帆风顺的事情。服务化之后也会衍生各种新的问题,譬如链路依赖路径如何、依赖不可用怎么办、服务调用场景和数据是否合理、能否提前预警服务问题、是否可以快速自动扩容……从产品特性、运营特性和制造工艺的角度思考,德邦快递对于架构升级着眼于服务化、分布式、轻量化、数字化、自动化、可视化、工具化等方面。

罗刚强提“服务化”而不强调“微服务”,他清楚微服务不是一天就能实现的,需要逐步拆分,逐步完善。即便如此,服务化的推进,也仍然需要自动化以快速环境配置、降低运维成本,需要实时监控、量化管理以预警侦测、比用户更早发现问题,需要快速支持水平伸缩能力以消除系统瓶颈。

德邦快递最初选择了Dubbo支持服务调用。其一,Dubbo是开源框架,德邦快递可以借助开源技术节省开发时间,降低开发门槛和解决问题的难度;其二,Dubbo在中国互联网领域应用已经有些年头,技术成熟度可以相信。然而德邦快递后来发现,其微服务改造的复杂度对于Dubbo而言显得有些超纲,一方面是Dubbo不支持熔断、限流、降级等服务治理功能,而这些是德邦快递微服务应用必备的能力,另一方面,基于Dubbo的平台还需要另外集成其他技术,构建包括容器管理、CI/CD、APM、自动化测试等能力,才完全合乎德邦快递产品特性、运营特性与制造工艺并重的架构哲学。

借力轻舟微服务

面对困扰,德邦快递从互联网领域寻求解决方案。多方调研之后,网易云提供的全栈的、经过网易内部实践验证的轻舟微服务,引起了德邦快递数字化团队的兴趣。经过双方团队沟通,网易云为德邦快递定制了完整的微服务解决方案。

微服务:从GIS地理信息系统开始,辅助德邦快递研发团队对系统进行微服务化改造,并提供微服务框架及工具链,规范服务标准、服务治理以及服务问题追踪,最大化降低改造风险。

容器平台:提供了集群管理、镜像仓库、存储管理、网络管理等功能,支持德邦快递对应用进行容器化改造,配合DevOps提高开发效率,降低运维成本,缩短应用发布周期。

APM:提供集链路追踪、应用性能和业务数据于一体立体化监控平台,通过数据自动化收集、数据可视化展示,使德邦快递能够及时、全面地掌控各个产品的应用性能情况,定位性能瓶颈,从而保证应用及平台运行的稳定性。

德邦快递和网易云团队共同制定了先试点再推广的实施策略。虽说是试点,但德邦快递一期项目一口气对地理信息系统GIS、智能转运、用户体验UAP、进项发票管理平台FIMS和智慧末端等多个重要系统进行微服务改造,服务于德邦快递内部14万员工和全部客户。

轻舟微服务应用效果

轻舟微服务的引入,为德邦快递微服务平台的建设节约了大量的时间和精力,为德邦快递实现了服务化开发框架及容器化部署平台,以支撑更大的业务量,更快满足能业务灵活变动需要,并通过实时监控和调度,有效提升资源利用率,节约大量成本。具体而言,该项目为德邦快递的业务带来了敏捷迭代、质量提升、智能运维随需扩容的优势,提升了公司应对变化的能力。

首先,德邦快递建立了可持续迭代、持续构建、持续集成、持续部署的研发流水线,并通过流程驱动降低沟通成本,项目从需求到交付周期最高可缩短40%。其次,由于业务边界明确,局部的变更、故障不再影响到整个系统,系统可用率得到提升。当然这也得益于测试能力的完善,罗刚强透露,目前自动化测试已覆盖核心系统主流程98%,发现缺陷率达到49.8%。再次,实现了可视化监控、智能化运维提高故障点、性能瓶颈、依赖问题的诊断能力以及业务支撑能力,并节约运维成本。最后,基于轻量化的容器技术和DevOps工具链实现快速按需扩容,上线部署时间节省80%,资源利用率同时得到提升。

不过,德邦快递更为重视的却是支撑数据价值的释放。基于微服务架构,通过服务间的调用,对于基础数据通过服务进行封装,德邦快递完成了不同信息系统之间数据灵活流动和共享加速数据挖掘的目标。例如,把用户中心抽象成一种服务,那么在CRM系统、生产系统、运营系统等多个系统可以共同使用该服务完成用户基础数据的编辑、存储、获取。再把支付中心以服务的方式对外开发,就可以结合用户和支付记录等信息,完成用户消费行为的数据分析,从而为精准营销提供了技术可行的基础能力。

未来剑指Service Mesh

2018年双11的最后时刻,德邦大件快递单一产品单日收入突破1亿元,这不但凸显了德邦快递在大件快递领域的优势,更加证明了德邦快递的数字化转型在市场上所获得的高度认同。

德邦快递并不满足于当前的成效,罗刚强看上了最新的微服务技术Service Mesh。他认为,当前的微服务框架都是在应用层做服务治理,需要应用做一定的适配,而且没办法跨语言,但Service Mesh支持服务治理下沉到平台层来做,业务无需任何改动即可实现治理,这更符合德邦快递的业务需求。

遗憾的是,Service Mesh目前虽有Istio、Envoy等开源项目,但在企业落地还面临很多挑战。幸运的是,Service Mesh也是轻舟微服务产品演进方向。罗刚强希望双方共同努力,可以让Service Mesh早日在德邦快递业务系统中落地。