网易数帆小助手

个人签名

280篇博客

云原生风起于双11快递时

网易数帆小助手2020-11-11 15:00

来自:雷锋网 原链接:https://www.leiphone.com/category/CorporateServices/mvh8sibCFuk66o40.html





作者 | 杨丽

出品 | 雷锋网产业组


过去的一年多,一场有关云原生技术相关的实践开始在这家中国企业内部持续上演:快递巨头之一的德邦快递,采用了网易数帆旗下的轻舟云原生技术平台,在核心业务系统之一的转运作业融合系统上线后,效果显著。


如今,通过与网易轻舟的合作,德邦快递已经实现核心业务容器化,并走到微服务1.5的阶段,目前正在探索微服务2.0 Service Mesh如何落地。


德邦快递是一个足够有远见的客户——其以大件快递为核心业务,涉及快运、整车、仓储与供应链。作为中国企业500强之一,其营收在2020年前三季度已突破189亿元。而每年,德邦快递在IT上的投入就已超过5亿元。目前,德邦快递已经从过去精细化管理重点的信息化建设,过渡到了推动行业发展的数字化建设中。


网易轻舟之所以能够达成与德邦快递的合作,与当下面向微服务架构、以容器为基础的云原生技术不无关系。


不只是德邦快递。2020年疫情复工后,网易数帆轻舟事业部总经理陈谔注意到,越来越多的企业开始关注并着手云原生技术的相关立项工作,目前正处于一些非核心业务试水的阶段。


“疫情一定程度上促使企业进一步感受到了数字化的紧迫性,同时,叠加国际形势带来的不确定性风险,企业求‘变’的动力愈演愈烈。例如,软硬件的国产化促使企业必须要考虑演进过程中怎样应对企业变化带来的风险,而帮助企业应对变化正是云原生技术所擅长的领域。”


不过,这个看似已成数字化企业转型的共同技术路径选择,也往往面临着实例选型、设计架构、场景应用,甚至企业团队建设等多方面的考验。


雷锋网对话了德邦快递平台系统研发部总监何志伟,网易数帆轻舟事业部总经理陈谔,以及德邦快递项目主要负责人、网易轻舟云计算资深架构师朱剑峰,以德邦快递为例,探究云原生可能的最佳实践。


云原生,并非新名词


作为近来云计算领域最火的名词之一——云原生虽是一个新需求、新趋势,但不是新名词。


尽管业内对云原生相关技术的实践可能更早,但在定义方面,云原生(cloud native)最早起源于2014年的PaaS公司Pivotal,随后,2015年的云原生计算基金会CNCF(Cloud Native Computing Foundation)的成立,快速迭代演进的云原生技术其定义逐渐明晰起来。


根据CNCF的定义,“云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中,构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式 API。这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段,云原生技术使工程师能够轻松地对系统作出频繁和可预测的重大变更。”


据雷锋网观察,云原生能够如此快速发展起来,得益于“Docker容器引擎+Kubernetes容器编排技术”两项开源技术组合的成熟应用。


  • 首先是Docker容器引擎,它源自PaaS提供商dotCloud开源的一个基于LXC的高级容器引擎。2013年Docker公司技术标准的出现,打破了当时IT公司对OpenStack标准的依赖,容器技术正式进入快速发展期。相比之下,尽管国内稍显滞后,但在近3、4年时间里,越来越多的企业也注意到用Docker部署云工作负载的优越性。
  • 关于Kubernetes容器编排技术,2014年由Google公布了该项目的开源代码,发展到2017年,几乎所有的主流IT供应商都支持该平台,如Google的GKE引擎,亚马逊的弹性容器服务EKS,以及微软Azure的AKS。


从这个过程能发现,Docker与Kubernetes从一个开源的工具,逐渐吸引到更多大IT公司的参与,实际上带动了整个云生态的发展。如今,基于云计算场景的原生实现,甚至被誉为云计算2.0。


正是在这样的背景下,近些年云市场所陆续出现了各类工具、解决方案,从产品类型来看,大致包括云原生服务器、云原生存储、云原生网络、Serverless容器技术、编排及管理技术、调度系统、云原生数据库、AIOps等等。


创业公司作为国内容器、微服务发展的先头兵,早在2013年前后就已经开始提供容器相关的服务,如雷锋网此前报道过的时速云,不久前获腾讯融资的灵雀云,被字节跳动收购的才云等。


除了创业公司之外,互联网公司是另一股不可忽视的力量,它们基于自身在基础层面的优势提供生态型服务,如阿里云、腾讯云、华为云等IaaS供应商,已经快速推出了多款云原生实例。网易数帆的前身网易云也很早尝试云原生技术。2016年,网易云基于Kubernetes和Docker的Serverless容器的技术已经成熟,并在实际大规模生产中应用。


正如上述所列举的,国内外能够提供云原生服务能力的供应商候选名单,可选择性并不算少,这也让德邦快递对选择一个能满足其个性化诉求的服务商更为谨慎。


近日CNCF的市场调研结果还显示,当前云原生技术的采用与否与供应商有关,且用户早期对采用云原生技术的满意度参差不齐。


那么,德邦快递为何最终选择与网易轻舟牵手?


“适度服务”


德邦快递本身拥有十分庞大的IT团队,在分布式云服务方面也有过很多实践经验,但难免会遇到技术瓶颈。


从业务层面来讲,德邦快递从2018年起战略层面就开始聚焦于大件快递市场,相较于小件快递,大件快递商品价值高、破损率高、操作难、服务链条长,对各环节的操作要求更高。


德邦快递本身是一家物流企业,但明显带有很强的互联网电商属性。伴随所服务人群的逐年增长,每年双11带来的高并发流量已成新常态,中间所涉及的揽收、中转、仓配、分拣、运输、派送每一个环节都存在巨大的技术挑战。


如果采用云原生架构,利用弹性扩缩容及资源池,将有效提升效率与资源利用率。


“例如,电商大促带来的业务高峰具有明显的错峰特征:集中转运环节比集中开单环节滞后;转运作业融合系统主要负责快递核心业务环节中的转运部分,业务高峰为晚上19:00到22:00,凌晨2:00-6:00,这两个错峰特征可以进一步提升资源使用效率”,德邦快递平台系统研发部总监何志伟指出。


可以看到,德邦快递对采用云原生有着非常强的内驱力。


至于为何选择轻舟,网易轻舟云计算资深架构师朱剑峰分析了此次项目接触中的一点关键因素:适度服务。


“在沟通过程中,我们发现,德邦快递本身技术能力比较强,倾向于自研或采用第三方服务并有能力进行自主改造。相比之下,过度一体化的云原生解决方案,不仅让客户难以进行二次开发,最终成本也会非常高。”


为此,为保证德邦快递未来也可以基于网易轻舟平台顺利进行自主研发,轻舟团队为其提供了相应的技术指导,力求讲清楚针对某些特定场景下技术的实现逻辑。



图:德邦快递云原生应用架构改造一览


在具体实践中,网易轻舟为德邦快递制定了业务系统的架构演进路线:对于历史遗留系统、边缘服务,采用接入API服务网关的方式进行API接口级封装;对于核心业务、新孵化的业务,统一制定规范,接入微服务框架。


目前,从转运作业融合系统,到电子渠道、订单系统、GIS地理信息服务及末端系统等,德邦快递正根据实际情况将不同系统纳入云原生体系之中。


其中,转运作业融合系统作为改造的最佳案例之一,已经取得了诸多成效:


在资源利用方面,通过合理容器云平台租户资源池及合理配置容器资源分配标准,从资源分配角度容器内存资源利用率提升12.5%;在2019年双十一期间,监控数据对比CPU利用率提升20%-25%。


在敏捷迭代方面,基于云平台重新调整运维和测试个环节资源分配及发布流程,运维环节和开发测试环节操作效率提升53%;单次部署时间从平均20分钟缩短为平均2分钟提升90%;基于微服务架构和容器云构建平台的转运融合系统在研发阶段单日版本构建达到500+。


这也让何志伟如此评价:

“网易轻舟过去在云原生技术领域有一定的实践经验,能够协助德邦快递制定完善的步骤详实的落地规划。而且,网易轻舟基于主流开源技术栈,符合我们自身架构长期演进的需要。”


产品本身的功能、非功能层面的完善度、先进性,技术栈贴近开源社区标准,以及供应商本身具备的实践和咨询能力,都指向云原生实践的价值合理性。


小心避坑



既然云原生这么香,是不是就可以直接拿来用了?


不是。


一般来讲,任何企业的信息系统或对外提供的数字化的服务都有敏态与稳态的区分,稳态的系统不经常产生变化,这类系统做云原生架构的演进收益相对会较小,对云原生的需求往往都是在变化的诉求中产生的。


朱剑峰举了个例子,在企业内部像协同OA系统就是更偏向于稳态架构,OA系统中的用户数量(也就是公司员工)是稳定的,同时它本身也不属于业务系统无法带来直接利益。这时,尽管稳态架构也可以进行改造,但改造后无法展示出云原生、微服务应有的价值。


像上文提到的转运作业融合系统,直接支撑快递核心业务环节中的转运部分,涉及装车、卸车、分拣等环节,存在能够快速迭代,支持高并发、高可用的诉求,则属于敏态架构。


“在云原生的实践中,我们会尽量选择属于敏态架构的业务场景,这也是双方推动与沟通达成一致的重要前提。”


除了技术实践本身外,朱剑峰还看到更多源自企业自身的挑战:

  • 首先是企业IT投入模式的改变:转变信息化建设的思维方式,从封闭走向开放,避免什么事情都自己动手造轮子,否则会增加不少时间、金钱、人力成本。
  • 其次是IT人员思维的改变:在选择技术时,需要选择适合企业自身情况的发展目标。“鞋子合不合适只有脚知道”,让业务发展的轮子和技术发展的轮子速度匹配,才能获得最大的收益。
  • 三是业务需求管理模式的变化:为了应对高速多变的外部业务环境,需要建立一个敏捷的IT架构,同时逐步实现敏捷的IT架构过程中识别出相对稳定的IT架构,形成双态架构。做好成本、资源、效率之间的平衡。一味地追求极致成本、极致体验或一味地追求极致效率都不可取,需要结合自身业务特性综合考虑成本、资源、效率,寻找到一个平衡点。
  • 最后是IT团队职能的变化:从被动理解业务需求到主动推动业务需求,引导业务能力共享,这使得IT技术架构部门的职能需要逐渐从技术需求的实施者转变为引导者。


比如,在推动与德邦快递合作的进程中,轻舟团队曾对客户本身组织架构进行过了解,关键一点就在于,找到核心项目决策人,以推动项目在企业中真正进行跨部门落地。在后期执行层面,为了让员工们真正接受并认可云原生平台带来的好处,同样也会为之构建试点+标杆项目进行双向推动,而非单纯自上而下的“压迫式”推广。


现在看来,企业云原生转型仍是一个持续演进的过程,需要一定的时间来解决和推进。


是共生,而非竞争


与云计算1.0时代形成的市场格局类似,2.0时代提供云原生技术的也存在云服务商、软件开发商、传统集成商等。其中,软件厂商又分为互联网背景的软件厂商、传统软件厂商、创业公司。


陈谔告诉雷锋网:

“不同类型的厂商在供应端可以说各有所长,云厂商可凭借云的基础与宽广的产品线为上云企业提供云原生软件服务;而软件厂商则可提供无云厂商锁定,更加中立的软件服务且实施方案更加灵活,能更加贴近部分客户的实际IT环境和IT策略;集成商能够在为客户提供业务解决方案时同时提供一些基本的云原生能力优势在于成本较低。但由于云原生技术平台本身存在一定的复杂性以及需要真实应用的打磨,云厂商与互联网厂商提供的往往是已经过高强度的业务打磨的平台,从而具备一定的产品优势。”


在今年7月B端业务品牌升级后,网易轻舟所面向的核心业务线也有了明确定位,分别是微服务、中间件、低代码、混合云四个领域。


对此,陈谔解释道,网易云原生技术平台是构建在云的基础之上的一个抽象层,将其看成云的OS,通过微服务、中间件、混合云三条产品线可完整支持云上业务,并将IaaS置于抽象层之下。这三条产品线即被定义为网易云原生OS的形态,能够支持微服务化架构的业务在云上运行,并提供云原生的运维能力支持。


“不过,我们认为仅提供OS不足以帮助更多企业实现业务的数字化,而是需要覆盖软件开发的环节,低代码开发平台是能够切实解决应用开发推进企业数字化,且使应用架构云原生化的最佳技术平台,是云原生技术栈支持企业数字化的最后一公里。”

 

图:网易软件定义基础设施全景图


对于未来,网易轻舟一方面将进一步完善云原生OS,使更多与业务逻辑无关的能力从企业的业务架构中剥离出下沉到OS中,使企业IT人员更专注于自身业务;另一方面从低代码入手,帮助企业客户建立高效、低成本、稳定易运维的软件生产集成的体系,解决IT交付能力无法满足数字化需求的矛盾。


值得一提的是,网易轻舟的产品体系仍在不断迭代,作为客户也是一同成长的合作伙伴,德邦快递也给出了他们的期待:


“轻舟产品的快速迭代中,如何保障好用户的平滑升级,这是个挺大的挑战,需要网易考虑并保障好客户的体验,并且让客户随着技术演进收获技术红利。”


眼下,云原生仍是一个较早期的市场,价值共生远大于一切。


新闻爆料或寻求报道,欢迎添加作者微信交流:15135116989


雷峰网原创文章,未经授权禁止转载。详情见转载须知