TOP100峰会，网易数帆分享云原生与数据生产力实践

数字时代，软件能力学习交流关乎竞争力的塑造。在近日举办的第十届TOP100全球软件案例研究峰会上，网易数帆云原生专家冯常健和大数据专家郭忆分别受邀分享了云原生技术多集群化架构以及数据生产力的实践，为与会者带来了先进技术落地应用的成熟案例。

多集群化架构如何应对容量、弹性和容灾挑战

云原生分布式架构是当前企业建设数字化转型技术平台普遍选择的方向，但云原生在企业落地仍有许多必须解决的问题。例如，稳步发展的企业，在整体架构云原生化转型之后往往面临容量、弹性和容灾等挑战，网易数帆云原生首席架构师冯常健分享了网易如何通过多集群化架构演进解决这些问题的深度实践。 

总体而言，网易数帆多集群化架构升级需要在业务全程无感的前提下实现多场景覆盖，架构水平扩展，高可用低延时等三大目标——这里的多场景，指无状态应用、服务治理、有状态中间件应用、多元技术栈、异构基础设施等云原生应用现状。为此，团队在应用交付能力多集群化，服务治理能力多集群统一，以及有状态中间件多集群化这三方面进行了实践：

1）应用交付能力多集群化：完成多集群部署、多集群渐进式交付、弹性伸缩等方面的设计与实现。
2）服务治理能力多集群统一：实现了应用视图统一、注册发现统一、治理体系统一。
3）有状态中间件多集群化：通过多集群负载调度、多集群间状态调谐实现了中间件集群组建。

在优先满足业务需求之后，网易数帆对架构中存在的可复用部分进行组件和能力沉淀，在多集群化组件和流量接入组件两方面进行了架构统一，以降低了架构复杂性和运维成本。其中统一多集群化组件Pythia负责资源跨集群分发和应用跨集群发现，结合业务情况，借鉴社区方案做一个更轻量化的实现，采用声明式传播策略，兼容原生Kubernetes 资源，使单集群架构平滑升级多集群架构，并提供域名注册机制作为多集群服务发现兜底机制。统一流量代理组件则基于Envoy实现了南北向流量的接入和治理，和多应用场景流量统一代理，包括了Ingress、LB等多模式和Kafka、Redis、Dubbo等多协议支持的扩展，这方面的核心工作已经通过Hango（函谷）网关项目开源。

Hango项目地址：https://github.com/hango-io/hango-gateway/

对于上述实践的收益，冯常健表示，除了在整体架构上达到了多集群水平扩展、多机房高可用等预期，还带来了团队职责清晰、系统复杂性降低以及系统稳定性、团队积极性等方面的提升。

数据生产力助力行业数智化转型

数据中台作为当下大数据圈最热的概念，已经从互联网渗透到传统企业，其建设及价值挖掘成为企业数字化转型的重要组成部分。网易是一家多元化集团型业务公司，在构建数据中台之初，就确立了“按需规划、逐步迭代、效益为先”的数据中台构建原则，在事业部和集团层面构建了两级数据中台。事业部的数据中台，支撑业务的日常运营，集团级别的数据中台，支撑集团管控的要求和不同事业部之间数据互补的需求。在实践过程中，网易逐步沉淀出有网易特色的数据中台建设实践，并将数据中台与数据产品相结合，发展出 “网易数据生产力”方法论。

网易数帆大数据产品负责人郭忆介绍，网易数据生产力方法论包括DataOps、DataFusion和DataProduct三个核心，在解决大数据使用效率、质量、成本和安全的基础上，构建场景化的数据产品矩阵，最终实现“人人用数据，时时用数据”的目标。

 

其中，DataOps构建从需求、集成、设计、开发、测试、发布、运维一体化的数据生产流水线，实现可视数据研发可持续集成和可持续发布，追求敏捷和质量；DataFusion（数据融合）包括构建统一指标体系、设计高复用规范化模型、基于ROI的数据资产沉淀、数据服务化等；DataProduct（数据产品化）则通过无代码构建场景化数据产品矩阵，实现人人用数据、时时用数据。

网易有数全链路大数据生产力平台为这一方法论的落地提供了完整的技术体系支撑。例如，在DataOps层面，网易数帆构建了面向大数据数据研发场景的CI/CD DevOps pipeline，包括数据沙箱、数据测试、任务影响分析等技术，解决了业界现存的缺乏设计和评审，缺少数据测试，缺少CodeReview，生产、测试未隔离，线上变更缺少审核，缺少影响分析等一系列问题。

这一技术体系除了应用于网易公司业务，也在助力行业客户实现数智化转型。以德邦快递为例，公司面临CDH升级成本高、服务响应慢等问题，人人用数据更是难以做到。通过从CDH集群到有数集群的迁移，以及在迁移过程中完成了指标统一和公共模型抽象，德邦快递实现了资源下降 34.7%，并可提供了实时、准实时（分钟级别）、离线（T+1）三种级别数据服务。

而在数据生产力体系的全面加持之下，德邦快递还在数据中台之上建设了16款数据产品，包括数据播报机器人、智慧车队、智慧场站、门店助手等，真正实现数据到组织生产力的转化。例如，数据播报机器人这款数据产品，结合企业微信，为公司内部的各个事业部员工实时播报数据，做到了基于数据驱动业务的发展。