网易数帆小助手

个人签名

280篇博客

最新博客

最新资源下载

编辑推荐

网易数帆开源API网关与容器云项目，让云原生生产落地“多快好网易汪源：统一负载与多云环境的“开放姿态”，才是云原生网易数帆如何用 Kubernetes“原语”搞定云原生中间件快手打新挤爆券商系统，网易数帆推出券商稳定性保障方案探索智慧校园新模式，网易有数在教育行业的实践分享金融行业大数据治理之路——数据模型篇

年终盘点第2弹：慎思笃行——网易数帆开源这一年

网易数帆小助手2022-01-04 20:10

对于中国开源界而言，2021年因明确的政策指引就值得说道陈义。对网易数帆而言，2021年开源之路同样值得回顾：一年之内，网易数帆先后推出四个自主开源项目，也将 Kyuubi 项目送入 Apache 基金会孵化。种种行动，让业界更深刻地感受到了网易数帆开源“架构开放，内核开源”的态度。

 

践行 Apache Way，推动大数据平民化


从早期的 LAMP 架构，到今天的 Hadoop 生态，Apache 软件基金会（ASF）在开源领域影响深远，其形成的 “The Apache Way” ，已经成为引领全球社区开发者进步的开源哲学。2021年，网易数帆遵循这一哲学的努力，也缔造了数帆与 ASF 愈发深厚的缘分。


其一，在 Apache Spark 社区，网易数帆大数据专家燕青成为了项目 Committer（点击了解）。从 Databricks 380 亿美元的估值不难看出 Spark 的分量，这得益于社区自诞生之日就大神云集，但也反过来说明在这个顶级项目成熟期成为新晋 Committer 何其困难。事实上，加上燕青，就职中国互联网公司的 Apache Spark Committer 目前也仅 5 位。对此燕青的秘诀是 8 个字：保持活跃，持续贡献。


其二，网易数帆发起的 Kyuubi 项目，在 Champion 和 Mentors 的指导及社区成员的支持下进入了 ASF 孵化器（点击了解

），这代表了顶级基金会对数帆开源工作的肯定。Kyuubi 的研发始于高度封装大数据算力的朴素想法，通过提供企业级数据湖探索提供标准化的接口，使得用户能够像处理普通数据一样处理大数据，推动大数据平民化。


进入 Apache 孵化器之后，Apache Kyuubi 社区遵循 “The Apache Way” 运作，围绕“Community Over Code”的理念构建良性的用户和开发者生态逐渐成为工作重心。截至目前，社区开发者数量增长了 10 倍，新晋了 2 位 Committer（点击了解），并在 RELEASE POLICY 下完成了 3 个正式版本的发布，实现包括对最新的 Spark 3.x 版本的支持与增强，在数据湖平台 Delta Lake、Iceberg 和 Hudi 之上进行充分的测试，赋予用户调动整个数据湖生态的数据的能力，使得项目成为一个面向 Serverless SQL on Lakehouse 的服务。





社区驱动也使得 Apache Kyuubi 的用户生态更为丰富，不仅有 T3 出行（点击了解）、知乎、bilibili、eBay 这样的互联网公司，也有中国移动、海康威视这样的传统企业，还有腾讯云、新华三、亚信科技这样的服务商。


冲击云原生，强化生产落地能力


云原生是当前业界核心技术路线，与公有云服务商偏向自家基础设施的优化不同，网易数帆对云原生的追求近乎偏执：网易副总裁、网易杭州研究院执行院长、网易数帆总经理汪源提出了一个统一云原生操作系统的设计——以一套Kubernetes 平台统一管理任意基础设施，支撑任意负载。这与国产软硬件技术推广的趋势暗合，但反过来也对云原生的可落地性提出了更高要求。


网易数帆云原生技术栈以 Kubernetes、Istio 和 Envoy 为核心，以解决社区技术在生产应用所面临的易用性、可用率保障、性能和成本优化等现实问题为重点工作。2021 年开源的 KubeCube、KubeDiag、Slime 和 Hango（函谷）等 4 个项目（点击了解），就是这些方面的阶段性成果。

 


实现轻量化的 Kubernetes

KubeCube 以轻量化的设计理念，补足统一的多集群多租户管理，提供 Kubernetes 资源可视化管理和丰富的可观测性，满足了企业对容器云平台的期待。一位用户分享了自己在 UK8S 集群上做简单的部署对接测试的笔记，前后 6 步即可完成安装部署，其中包括了一些必要的配置。


破解 Kubernetes 运维之痛

KubeDiag 作为云原生诊断运维编排框架，创新性地实现了“经验即代码”，即诊断经验全部通过代码实现并通过标准化的方式集成到框架中，可运行于任意 Kubernetes 环境。通过 Kubernetes 提供的标准化能力，KubeDiag 将问题诊断和故障运维工作中的专业经验进行沉淀，助力用户实现 DevOps 流程中监控、运维、诊断的全自动化管理以及场景化的交互式根因定位。


突破 Istio 管理缺陷

Slime 项目的推出，完善了 Istio 在本地限流、黑白名单、降级等微服务治理的高阶特性的缺陷，以及配置全量下发的负担，提升了易用性和性能。而作为 Istio 的 CRD 管理器，Slime 支持无缝对接 Istio，无需任何的定制化改造。


扩展 Istio 的云原生网关

采用 Envoy 作为网络代理组件，Hango 提供了适用微服务网关、七层负载均衡、Kubernetes Ingress、Serverless网关等各种云原生场景的 API 网关能力和可观测性，当然还有 C++ 加持的高性能，单实例性能可达10w TPS以上，领先业界竞品 50%+。


推动开源管理，探索开源供应链治理


可以看到，包括 2020 年开源的云原生软件定义存储系统 Curve，网易数帆的每一个项目都很有特色，各有使用场景。但项目数量增多，也意味着开源管理的问题。借鉴业界实践，数帆初步形成了一套开源管理规范，在每个项目开源之前，借助网易杭州研究院技术委员会对其价值、社区、应用、影响力、技术创新与先进性及团队能力等进行严格的评估。公司高层对开源的支持也更为明确，汪源撰文指明了开源模式对企业级基础软件的重要性和网易数帆的开源思路（点击了解）。


在开源之后，网易数帆持续投入社区建设，并通过参与一些权威机构测评来检验项目的发展，Curve 就是一个典型。这一年，Curve 获评中国信通院 OSCAR 尖峰开源项目及开源社区，通过可信开源项目评估，并成为可信开源共同体正式成员（点击了解）。


技术层面，Curve 社区基于用户反馈，发布了 CurveFS 增强统一存储管理（点击了解），在保持性能优势的基础上实现全场景支持，并推出新的运维工具降低部署管理的门槛。

 


作为一家坚持开源开放的企业服务提供商，开源供应链治理也是网易数帆的必答题，这涉及管理机构、管理制度、开源引入溯源、交付物管理等多个方面。凭借一套涵盖管理机构、管理制度、过程卡点和结果导向的开源供应链治理策略和相应的工具集，网易数帆轻舟微服务平台通过了信通院首批可信开源供应链风险管理能力评估——也是首个通过该项评估的微服务/服务网格类产品。


持续布道，融入社区分享开源经验


为构建良好的社区生态，降低开发者和用户理解项目的门槛，开源团队也联合社区用户积极开展或参与社区布道，并生产了一系列高质量的技术解读文章，包括架构设计的思考、技术实现的要点、业务应用的成效等。2021 年，网易数帆贡献了 12 场线上/线下开源分享，生产了 20 篇优质文章，据不完全统计覆盖受众 50000+。 



凭借这些分享，网易数帆也被头部社区开源中国的评选为 2021 年度 OSCHINA 优秀技术团队（https://my.oschina.net/oscpyaqxylk/blog/5350757）。


写在最后


2021 年是网易数帆自主开源开始发力的一年，当然我们还有更多开源故事，例如在其他社区项目的贡献和分享，受邀加入开放原子基金会下的 openEuler 社区加强国内开源生态的建设，在此不再赘述。


深耕企业级基础软件，坚持“架构开放，内核开源”的战略，网易数帆得到了社区的良性反馈。未来，网易数帆还会开源更多的能力。例如，云原生日志项目 Loggie、实时数据湖引擎 Arctic 都已经在筹备开源之中，不久之后大家会看到我们的新消息。


对于数字化转型浪潮下企业级基础软件的革新，网易数帆目前的开源成果只是前进了一小步，我们的项目还很年轻，我们在开源领域还只是一个懵懂的中学生，因为热爱而肆意挥洒才华。不过，也正因为如此，网易数帆开源的“大学”将会有更大的想象空间。在此，我们呼唤志同道合的伙伴加入我们的社区建设，共同创造开源数字化基础软件的美好未来！


 附：网易数帆自主开源技术文章



推荐博客