网易数帆小助手

个人签名

280篇博客

Arctic开源!网易数帆×华泰证券,推动湖仓一体落地

网易数帆小助手2022-08-11 10:00

数字化转型趋势下,各行业对数据生产力的探索与追求逐步进入深水区。现实的问题是,企业数据仓库存储、数据湖多种技术并存的局面将长期存在,如何才能摆脱技术协同的内耗,让大数据直通生产力的彼岸?


8月11日下午,网易数帆与华泰证券携手于线上举办 企业级流式湖仓服务Arctic开源发布会,宣布以开源的Arctic完善现有数据湖底座,拓展数据平台的边界,改善产品、数据孤岛和流程规范割裂带来的低效和成本浪费,推动湖仓一体、流批融合落地,实现数据生产力,驱动业务价值。


Arctic开源:不魔改,不封闭,推动数据生产力落地


面对网易的多元化业务、多元化技术,网易数帆在推动数据生产力时遇到了文章开头提到的问题,但网易数帆从基础设施、数据研发、数据中台到数据产品,建设了一套完善的大数据技术体系,并推广应用到金融、零售、流通、制造等行业三百余家客户。



网易数帆大数据产品线总经理余利华 表示,这成果得益于网易数帆构建大数据体系时的两大技术原则: 开放式架构和开源 。开放式架构采用模块化设计和大量开源组件实现,这使得该体系能力全面、生命力强,同时建设成本低。当然这也带来了使用复杂、维护复杂的问题,而网易数帆通过融入开源社区解决这个问题,典型的如通过开源Apache Kyuubi构建统一SQL网关,为数据湖提供统一的入口。


网易数帆大数据产品线总经理余利华


参与到金融行业数字化转型,让网易数帆发现了新的挑战:金融企业希望融合实时数据湖与数据仓库,打造实时数据中台支撑其数字化业务创新。这本质上正是湖仓一体的思路,但目前的主流数据湖技术等只解决了更新、大表访问性能、流式消费等问题,仍然遗留小文件导致性能损耗、兼容性和流失更新等性能和易用性相关问题,而开源社区尚未出现对应的解决方案。这就是网易数帆研发并开源流式湖仓服务Arctic项目的直接原因。


Arctic是搭建在 Apache Iceberg之上的流式湖仓服务(Streaming LakeHouse Service)。通过 Arctic,用户可以在 Flink、Spark、Trino 等引擎上实现更加优化的 CDC、流式更新、OLAP 等功能, 结合数据湖高效的离线处理能力,Arctic 能够服务于更多流批混用的场景;同时,Arctic 的结构自优化、并发冲突解决以及标准化的湖仓管理功能,可以有效减少用户在数据湖管理和优化上的负担。


余利华表示,秉承开放式架构原则,Arctic立足开源数据湖,拒绝魔改,不绑定计算引擎,注重与传统数仓Hive的兼容。这是继SQL统一入口之后,网易数帆大数据体系再次在存储层面实现统一,这使得数据中台体系可以无缝扩展到实时场景,企业数据生产力的发挥将不再被孤岛所困扰。金融行业的应用实践,也验证了这一思路的价值。


Arctic设计:重塑成本、性能和数据新鲜度的平衡


网易数帆大数据实时计算技术专家、湖仓一体项目负责人马进 进一步介绍了Arctic项目的目标、特性、规划以及给开源用户带来的价值。

马进表示,Arctic的定位是流式湖仓服务,流式强调向实时能力的拓展,服务则强调管理、标准化度量,以及其他可以抽象到基础软件中的湖仓一体能力。



网易数帆大数据实时计算技术专家、湖仓一体项目负责人马进


当前数据湖技术虽多,提供的都是各种数据湖格式,而非真正的湖仓一体平台。这些格式已经存在于企业环境,Arctic作为服务可以去适配不同的数据湖格式,使得企业无需担心数据湖技术的选型问题,持续优化数据分析能力,也让数据流管理变得简单。


在能力上,Arctic不仅提供了基于主键高效地流式更新,数据自动分桶、结构自优化的特性,还支持将数据湖和消息队列封装成统一的表,实现比传统方案更低延迟的流批一体,从根本上优雅地解决性能问题。另一方面,Arctic还提供流式数仓标准化的度量,dashboard 和相关管理工具,并为流批并发写入提供事务性保障。


在架构上,Arctic设计简洁,只有AMS、optimizer和 dashboard三个组件,在数据湖和计算引擎之间提供湖仓一体落地所需的能力,但却支持 Spark 和 Flink 读写及Trino查询,百分百兼容 Iceberg / Hive 的表格式和语法,这使得它的使用成本很低。


马进还强调了Arctic定位的深层意义:“当我们将数据湖的能力拓展到实时场景,成本、性能和数据新鲜度三者的关系将呈现更为复杂和微妙的状态,Arctic 的服务和管理功能,将为用户和上层平台理清这个三角关系。”


华泰证券:Arctic助力金融数智中台实时湖仓完善


华泰证券大数据流计算技术专家陈丰 介绍了Arctic在华泰数智中台实时湖仓建设中发挥的作用。实时湖仓在华泰证券日内数据离线加工、实时关联大量历史数据、金融数据频繁修正、统一埋点加工链路等方面具有极大的价值,然而当前数仓建设面临流批链路分开建设、纯实时业务逻辑复杂、数据存储不统一、数据更新复杂以及演进难等 五大问题

华泰证券大数据流计算技术专家陈丰


“业界给出了Iceberg、Hudi等解决方案,但我们业务、平台需要的不仅仅是单一的开源数据湖组件。”陈丰说,华泰证券对实时数据湖建设设定了流批一体、高性能低延迟、兼容现有Hive/Impala等多重目标。


华泰证券与网易数帆合作,引入Arctic实现实时湖仓,并在融资融券、埋点日志运营等场景实现了良好的应用和出色的性能。例如融资融券场景包括了大量历史数据联合计算,使用流式计算实现逻辑复杂。从离线架构到实时架构,再到实时湖仓架构的升级后,整体实现逻辑明了,且端到端延迟时间从T+1天缩短到了T+20分钟。


社区规划:欢迎所有成员贡献、分享、协作


马进还介绍了Arctic开源社区的规划,将为开发者、用户等成员建立一个公开、自由的全球数据湖技术交流社区,所有成员可通过贡献、分享、协作的方式参与社区。


共建企业参与计划同步启动,华泰证券作为 Arctic 开源社区的首家共建单位,在 Arctic 项目开源之初率先了加入社区参与建设,不仅作为用户结合业务场景提供真实的使用反馈,也作为开发力量共同持续探索流式湖仓技术领域创新性功能。


未来,华泰证券将进一步繁荣 Arctic 社区生态,与Arctic 社区小伙伴一起,共同打造一款全球领先的流式湖仓服务创新产品,构建繁荣的数据湖仓生态圈。


在此,网易数帆也欢迎更多的个人和企业参与到Arctic社区。


• Arctic 文档地址:https://arctic.netease.com/ch/

• Git 地址:https://github.com/NetEase/arctic