网易数帆小助手

个人签名

225篇博客

网易云创峰会:一场“真”中台实践落地的饕餮盛宴!

网易数帆小助手2019-08-02 16:00

原链接:https://mp.weixin.qq.com/s/afKngvjHbWlKAPKAal-MrQ


2019年7月,以"连接·洞察·进化"为主题的网易云创峰会如期举行。正如所料,“中台“成为了整场技术大咖、行业领袖和客户代表探讨与分享的核心。但当全世界都开始中台化时,你知道网易云倡导的“中台”到底是怎样的吗?


全球数字经济崛起,中国更是首当其冲。据调查,2018年数字经济占比GDP达 34.8%,规模如此之大已跻身为全球第二位。正如专家所言,数字经济已成为我国经济增长的核心动力,这话一点不假,因为产业数字化规模已接近25万亿,并且数字经济以20.9%的增速高速发展。


作为一家纯粹的数字企业,网易在成立的22年里不遗余力的开创了众多数字化业务,如耳熟能详的中文邮箱系统,优质资讯的新闻门户,锐意创新的网络游戏,以及近年来备受关注的网易严选。网易副总裁、网易杭州研究院执行院长汪源认为,网易在不断突破自身能力边界的同时,也为中国数字经济的发展探索出一条新的道路。如何将互联网与传统行业尤其是制造业更好的衔接与融合是他们关于数字经济的思考,如何能实现数字经济的第一步“连接”是网易杭州研究院创造在线价值最好的诠释。


“在消费互联网中,连接人与人的社交网络,人与商品的电子商务以及人与信息的搜索引擎让它的繁荣度居全球之首。而在产业互联网中,通过IoT将万物互联,以此实现产业协同和数据智能。为此,网易研发了工业智能平台——网易‘疾风’。”汪源说。


据了解,网易“疾风”工业智能平台是基于网易云、网易大数据、网易人工智能、网易物联网等技术的工业互联网解决方案。它将网易优势技术和经验通过产业平台标准化模式赋能到装备制造、环境工程、新能源、供应链等行业,以独特微笑曲线模式拉通企业的设计、智造、销售等环节,帮助企业解决管理黑洞,融入精益生产理念,实现协同制造,降低运维成本,提高产能,从而优化企业质量管理。


破除中台乱象


如果说“疾风”创造了数字化基础,帮助企业实现在线连接,那么前端业务捕捉到的敏锐洞察则可以帮助他们快速实现进化和迭代,进而通过数据分析沉淀核心竞争力。而从连接到创造隐藏了一个最为关键的核心要素,那就是“中台”。
提及中台,当阿里巴巴创造它的时候,顺便就预言了它日后的神话。纵观整个ICT产业,无人不提中台,无企业不建设中台。它的出现的确给企业带来了不可估量的价值,如可以清晰业务架构,提供需求响应;提升软件复用,降低定制成本;优化系统架构,实现稳定弹性;清晰处理数据,提升运营成本等。对此,汪源深信不疑。
他说,中台的价值毋庸置疑。企业在线业务需求变化快,建设中台可以大幅缩短需求响应时间。同时当下的软件服务商在服务客户时,往往出现类似的项目由不同团队实施交付的情况,导致无法复用。通过中台的构建,用微服务的方式将复用的部分沉淀下来,不但可以提升研发效率,还可以标准化产品和服务,何乐而不为呢?
众所周知,网易杭州研究院是中台长期的践行者。他们承担着集团新业务发展和孵化,并建设一系列能够支撑大规模互联网应用基础平台的任务,因此在多年的摸索中他们不但研发了在线业务中台、数据中台、用户中台,还创造了质量中台、移动研发中台、BI中台、用户体验设计中台等。这些能力的沉淀支撑了网易无数的创新业务,如网易考拉、网易云音乐等。
然而,中台正肆意发展,市场一片混淆,不同领域的厂商随意将各种产品称为“中台”。汪源坚信,网易不但有能力建设中台,更有责任破除“中台乱象”。


中台建设三大要素


与平台相同,中台具备支持多个前台业务的共性能力。而与之不同的是,中台具备业务属性,平台则不然。可以说 所有的中台都是业务中台,这不仅包括在线业务中台,还包括数据中台、推荐中台、零售中台等。 尽管如此,如何建设中台才是当下的重中之重。 在网易看来,建设中台需要三大要素,中台化组织、技术支撑和方法论。三者缺一不可,相辅相成。
不难理解,中台化组织是企业中台建设能够顺利交付的保障。 作为专职的组织架构,他们既需要懂业务,还承担着相关业务职责。 建立中台组织往往涉及到人员、组织架构和部门职责的调整,这使得他们的目标设置与业务息息相关。 中台组织可多层级建设,且中台组织的层级和中台层级是一一对应的。
“网易出品的中台组织方法论具有一定代表性,但在企业实践的过程中会发现,往往依照标准建设的中台组织,在实际执行的过程中还存在着与前端业务脱节的问题。所以 在标准中台组织之外,企业还可以构建‘胖中台组织’,把一些定向支持业务的定向组暂时融入到中台组织中。 待胖中台组织把前台与中台的边界划分清晰后,企业则可以再恢复到标准的中台组织。”汪源说。

对于在线业务中台来说,其核心支撑技术包含微服务、DevOps、分布式事务和云原生。 而由于中台组织首先要划清业务领域,所以最适合它的方法论是领域驱动设计(DDD)。同时与之配套的还包含六边形架构、微服务、网关等技术方法论,以及DevOps、敏捷项目管理等流程方法论。网易在线业务的最佳中台实践,非网易考拉和网易云音乐莫属了。通过中台的部署,两个项目的需求响应时间各降低一倍。
对于数据中台来说,其核心支撑技术的指标建设是首要任务,因为这是其和上层业务沟通的主要媒介。 此外还包括数据网关、元数据管理、数据质量管理、数据安全管理和数据资产管理等。 而在数据中台方法论上,最核心的建设是数据仓库的理论模型选择。这个领域有两套完全不同的方法。一种强调顶层设计,由数据仓库之父Bill Inmon提出;一种强调自下而上,由数据仓库大师级人物Kimball提出。在今天的中台环境下,网易推荐自下而上的方法,因为它可以更好地支持前台业务对灵活的需求。
“我们刚刚完成考拉的数据中台建设,实现了数据产品指标100%覆盖,数据可用率(即数据在规定时间正确产出)99.8%,100%的数据自助取数,并降低了20%的数据成本。”汪源说。
正是如此!因为连接,所以产生大量数据;因为连接,所以成就大量在线业务。借助中台,基于数据企业可以实现分析和洞察,进而催生新的业务,并实现不断地更新和迭代。这样周而复始,通过连接与中台这样一个正向的循环,最终为企业创造巨大价值。网易将它称之为中台引领数字技术的核聚变,从而产生最大的能量!


猛犸再次升级


不只有中台方法论。2017年,网易猛犸因大数据服务业务的发展正式对外开放。如今,更因数据中台的落地而再次升级。网易大数据总经理余利华指出,由于指标口径不一致、数据重复建设、取数效率低和数据故障频发等问题导致企业内80%的数据工作与数据分析无关,而这些则需要数据中台去解决。那么,仅仅拥有Hadoop就能支持数据中台吗?

答案一定是NO。Hadoop只是解决了大数据能与不能的问题,但是并没有解决效率、适用和规范等问题。在数据处理的链路上,往往缺少底层Hadoop与顶层数据应用外的中间那层。虽然网易也曾尝试为企业提供离线开发或实时开发的能力,帮助他们以可视化的方式进行大数据开发,但是这些远远不够。为此,在云创峰会上余利华带来了猛犸V6.0,一个可支撑数据中台建设的全链路大数据产品。
据了解, 猛犸6.0在此前Hadoop、数据集成、任务运维、实时开发、离线开发产品的基础上增加了指标系统、资产管理中心、数据质量中心、数据地图和数据服务,实现了数据中台的全链路数据直连监控、全链路资产分析和全链路数据发现。
余利华告诉记者,基于猛犸6.0,网易考拉构建的数据中台实现了不错的效果。“基于猛犸6.0,数据团队可将80%的精力投入到业务分析,并直接产生商业价值,而只需要20%的精力用于数据开发和数据治理。”他说。

一样的微服务,不一样的轻舟


时至今日,中台受到越来越多传统企业的关注,原因无外乎它不仅仅是架构和技术层面的变革,更是数字化转型的核心能力与刚需。中大型企业由于其自身业务的复杂度,更是中台的紧密追随者。那么,现阶段什么样的技术架构能够支撑中台?网易云基础服务总经理陈谔给出了答案,那就是微服务架构。
“由于它是一种去中心化的技术,所以能够很好的解决服务颗粒度拆分的问题,并能够支撑高速迭代,因此微服务架构足可以支撑中台。但企业若采用这种架构,就需要应对这个架构带来的庞大复杂性。因为往往一个复杂的业务中台是由数十个、数百个甚至上千个微服务组成的。”他说。
众所周知, 网易云轻舟微服务是围绕应用和微服务打造的一站式 PaaS 平台,目的在于提供用户快速实现易接入、易运维的微服务解决方案,从而让业务系统开发者无需关注和学习治理相关技术,无需修改业务系统代码就可以快速引入服务治理能力。 提及它的优势,可以四个方面来诠释: 易用低成本、开箱即用、全链路诊断和高性能。
陈谔坦言,之所以将轻舟定义为一站式的微服务平台,是因为整个平台从底层基于Kubernetes的容器平台,到上层各个支撑微服务架构的组件是一个解决微服务架构复杂性问题的完整技术解决方案。在轻舟上层,他们设计了六大中间件和平台组件,包括微服务框架NSF、全链路监控的平台、CI/CD的平台、分布式事务的中间件、API网关和API测试平台。
从设计诞生到实践应用,多年的更新迭代让轻舟更容易在企业内落地。在过去的一年里,网易杭州研究院仍不辞辛苦的对轻舟微服务产品进行打磨,并在会议现场重磅发布。
首先是轻舟Service Mesh。这是新一代微服务通信基础设施层,解决了多语言、多框架异构系统中服务通信、注册发现、治理等问题。据陈谔介绍,落地Service Mesh将秉承几个理念。第一是跟随社区,不重复造轮子;第二是确保技术方案在生产实践中得到验证;第三是开箱即用。
其次是轻舟分布式事务框架GTXS。它确保了微服务被拆分后,多个微服务如订单、优惠券、积分、支付在交易流程中的数据一致性。在保证性能的基础上,用户只需要为服务接口增加一行注释就可以完成分布式事务的接入,这相比传统的采用TCC这样的模式效率提升85%。此外,它全面兼容所有主流数据库,支持TCC、事务消息等多事务模式。在监控运维方面,它支持对异常事务进行回查、自动重试、手动重试等操作,支持异常事务监控报警,可以快速的帮助企业诊断问题。
除此之外,全新的容器网络、存储和API网关也成为轻舟微服务此次亮相的新产品,同时轻舟在功能上也进行了不小的改进。此外,在会议现场,陈谔还发布了成功落地微服务的全流程服务。它包括咨询、技术支持和运维服务。通过全流程服务的保障,网易云可以能帮助客户从零开始构建自己的微服务架构,从而推进中台的建设。

总而言之,网易云创峰会,有汪源高屋建瓴的观点,有余利华与陈谔的产品发布,但作为一场集产学研用于一体的全方位会议,怎少得了校企联盟的参与,少得了合作伙伴的鼎力支持。在仪式环节,网易云与浙江工业大学签署了“校企共建大数据专业”的战略合作,与华南农业大学成立了大数据联合实验室,并在会议现场成立了“疾风”智造IoT联盟。而ThoughtWorks和华为的参与也赋予了“云创”更为深层次的含义,并合力为来宾呈现了一场关于中台架构与实践的饕餮盛宴。

正如汪源所言,与阿里巴巴所创建的超大型中台不同,网易云提供了企业中等规模、支持多元化业务的中台,这些中台都具备一个共同属性,都是来自于内部产品实践。作为一家产品型的公司,网易势必将产品与客户场景融合进行到底,并保证每条产品线的健康,在同类产品中做到前三是他们必须达成的目标。而能够积极参与企业的数字化转型,是他们义不容辞的责任和使命。

为了这个使命,网易云全速前进。