网易数帆发起开源项目Apache Kyuubi和Curve双双获得“2022年中国开源创新大赛”二等奖

2023-11-28 09:00

        5月31日,由中央网信办信息化发展局指导,中国互联网发展基金会、中国网络空间研究院、中国互联网投资基金联合主办的“2022年中国开源创新大赛”在北京落下帷幕,大会向获奖项目颁发了奖杯和证书。由网易数帆发起开源的大数据项目Apache Kyuubi和云原生存储系统Curve赢得了国家部委级专家及学术界、产业界头部专家评审团的一致认可,在本次大赛中双双夺得二等奖。

        此次获奖,再次证明了网易数帆坚持开源开放技术路线的决心,以及在大数据、云原生前沿技术领域的技术积累和创新能力。未来,网易数帆将联合社区合作伙伴,持续加强开源技术创新,推动国产科技创新和产业数字化升级。

        Apache Kyuubi是一个企业级的大数据分布式和多租户网关,致力于在Lakehouse之上提供Serverless SQL,降低大数据使用门槛,最终实现数据平民化。Kyuubi项目由网易数帆于2018年开源,2021年捐赠至Apache基金会孵化,2022年成为Apache顶级项目。


        在本次大赛中,Apache Kyuubi在技术架构、生态兼容、弹性资源伸缩、计算性能优化和企业级安全等领域的技术创新性,为企业用数效率和用数成本带来了极大的改进,给专家评审团留下了深刻的印象。例如,在某用户画像场景,企业使用Kyuubi的Z-Order优化后,查询提速 3倍,存储降低 20%;而在某日志归集场景,这一技术则实现了查询提速 2 倍,存储降低 70%的效果。 

        截至目前,Apache Kyuubi已经被广泛应用于国内外互联网、金融、制造、通信、云服务、数据服务提供商等领域,促进企业推进数据消费,获得数据价值。包括阿里云、腾讯云、移动云在内的诸多公有云,都提供基于Kyuubi的SQL网关服务。某移动终端制造业头部公司采用Kyuubi on K8s作为统一数据服务接入网关,日均承接超过100W次查询,服务可用性达到99.9%以上。 

        在社区建设方面,Apache Kyuubi社区已经云集了海内外130+代码贡献者,核心贡献者(PMC成员和Committer)来自网易、字节跳动、百度、中国移动、eBay、B站、丁香园、T3出行、广发证券等多家公司。

        Curve是国内公司主导开源的唯一功能媲美国外Ceph项目、性能超Ceph的分布式存储系统,除使用了RocksDB、FUSE、brpc等少量第三方开源组件外,其他模块100%自研,当前自研代码量超35万行。 

        Curve研发始于Ceph块存储在私有云环境中支持数万台云主机存在稳定性、均衡性、性能和可控性等多方面的问题,并且改进非常困难。目前,Curve已经发展为兼具块存储和文件存储、高性能、高稳定、易运维的统一存储系统,广泛应用于OpenStack、云原生数据库、Elasticsearch冷数据、AI训练等场景,可统计社区企业用户数已有25家。 

        在信创生态方面,Curve基于对x86、ARM架构的普适性,支持鲲鹏、海光、麒麟等国产软硬件基础设施平台,与相关合作伙伴共建信创基础设施生态,帮助企业推进国产信创替代。在数据库方面,Curve为PolarDB 、StoneDB提供数据存储。在云原生平台层面,除了原生的Kubernetes之外,Curve还与KubeSphere、RainBound等实现了良好的兼容。 

        为推动Curve社区发展更规范,技术路线更符合云原生技术趋势,网易数帆已于2022年月将该项目捐赠给CNCF,目前社区代码贡献者71人,来自网易、腾讯、商汤科技、ZStack、中国银联、工商银行、中科院、清华、浙大、西电等团队。未来,网易数帆将驱动Curve社区持续完善云原生特性的支持和优化,性能的持续优化,以及面向AI场景的解决方案。