活动主持人

个人签名

169篇博客

率先实现批流一体,网易易数入选浙江省软件产业高质量发展重点项目

活动主持人2020-11-30 14:30

近日,浙江省经信厅公布2020年浙江省软件产业高质量发展重点项目公示名单,经过企业自主申报、地方推荐、专家评审等多个环节,凭借在技术创新性、先进性等方面的突出表现,网易数帆旗下网易易数批流一体实时数据中台(以下简称"易数数据中台")成功入选。  


易数数据中台是基于网易杭州研究院十几年实践经验研发的下一代大数据一站式应用开发和管理平台。传统大数据计算有两类主要对象,批计算操作的对象是离线表,而流计算操作的对象是动态的数据流。两类计算的处理逐渐形成了两套不同的体系,这样不仅浪费更多的存储空间,也使得大数据的开发成本倍增。易数数据中台首次将批计算和流计算的编程模型进行了统一,提高了大数据应用开发的简捷性,极大降低了开发成本和运营成本。同时,数据中台基于批流异构数据统一管理,并研发了大规模作业调度保障技术,可以有效兼顾数据预测和基线运维能力,保障大规模复杂任务。

  目前,易数数据中台已经形成了完整的大数据解决方案,包括数据传输、离线开发、自助分析、任务运维中心、实时开发、数据质量中心、指标系统、数据资产中心、模型设计中心、数据地图、数据服务、流程协作与通知中心、问答中心等多个功能模块,可以集中管理异构大数据源并提供实时计算分析能力,将从海量数据中发掘的结果以动态可视化的形式展示,为有大数据积累的中大型企业提供数据集成、存储、计算、分析和挖掘能力。


易数数据中台实现支持1000个以上计算节点,单日处理数据能力达到PB级别;实时计算能力支持计算100亿条数据/天的能力,可处理超过15万条/秒的日志数据;批流统一存储和管理,数据存储空间降低50%,提供分钟级数据延迟;90%的作业预测误差在10分钟内,作业按期完成率95%以上。网易云音乐在实际应用中,实现代码量减少35%,物理结点节约30%,同时开发人员减少了1/2。

  应用方面,网易易数与国产鲲鹏生态紧密结合,已经完成大数据兼容性测试,成为华为ISV伙伴并获得华为鲲鹏认证。在智能制造、零售、金融、能源、医药、互联网等行业领域中,易数数据中台已得到广泛应用,有效助力传统企业数字化转型升级,推动大数据产业发展。