最新博客
最新资源下载
QCon 回顾 | Data Fabric：逻辑统一、物理分散
在近日举办的全球软件开发大会 QCon 广州站上， 网易数帆大数据产品技术负责人郭忆做了题为《基于 Data Fabric 的逻辑数据湖架构实践》的分享，介绍了 Data Fabric 的最新实践。
Data Fabric：好处与误区
Data Fabric，Gartner 将其定义为一种设计理念——构建一个数据和连接过程的集成层（Fabric），以支持数据系统跨平台的设计、部署和使用，实现灵活的数据交付。网易数帆在Data Fabric方向上，进行了落地实践，我们将其称之为逻辑数据湖，网易数帆认为，这个集成层就是跨平台的逻辑模型，我们认为通过逻辑模型，可以帮助业务人员屏蔽底层复杂的数据架构，业务人员在逻辑模型层之上，只需要选择数据集合，即可达到开箱即用的目的。从结果来看，无论数据存储在何处，这种架构模式都可以帮助企业低成本、及时地获得正确的数据，并且实现数据端到端的治理。郭忆总结了 Data Fabric 的两大关键词：逻辑统一、物理分散——这也是网易数帆逻辑数据湖实践的指导思想。
Data Fabric 的好处显而易见。郭忆介绍道，首先，它可以帮助我们节省 70% 的工作量，包括在数据发现、数据分析以及数据开发工作；其次，可以帮助我们的业务人员更快速的使用数据进行商业分析，不需要所有的数据只有入湖才能进行分析；再次，它在业务人员和数据团队之间构建了一个统一的界面，也就是逻辑模型层，让数据团队和业务团队之间的协作更加高效；此外，它支持业务人员可以自助完成数据的消费，使得数据使用的范围大幅度扩大。
实现这些效果，Data Fabric 自然需要一系列完善的核心能力，贯穿数据源到数据消费。
有了真香的 Data Fabric，是否意味着企业之前耗费大量精力与资源建设的数据湖、数据仓库就没用了？并非如此！
结合网易数帆的实践经验，郭忆给出了4点提醒：首先，Data Fabric 并不是真的要去湖或者去仓，而是构建一个去中心化的数据访问层，湖或者仓可以作为其中的一个数据源存在。其次，在数据量大的情况下，Data Fabric 会有性能问题，我们可以按需将数据固化到湖或者仓中，Data Fabric 并不是一定要直接去访问数据源。再次，Data Fabric 只是提供了一种更丰富的数据访问界面，既可以直接去访问数据源，也可以通过固化的方式，提供更加高效的访问。还有很重要的一点，Data Fabric 并不是要去除 ETL，恰恰相反，DataOps 和数据治理是 Data Fabric 基础。
网易数帆逻辑数据湖：元数据管理是关键
逻辑数据湖是网易数帆落地 Data Fabric 的技术方案。驱动网易数帆研发逻辑数据湖的因素，是支撑网易业务时面临的复杂数据架构、数据分析效率问题、数据部门成为瓶颈以及资源利旧的问题。郭忆分享了网易数帆的逻辑数据湖架构，包括数据源管理、数据目录、元数据管理、DataOps 全生命周期开发、数据模型层、物化视图等重要模块，覆盖数据的管、算、用。
其中元数据管理是连接不同数据源实现 Data Fabric 的关键。网易数帆逻辑数据湖通过流程引擎、指标系统、安全中心、数据地图、数据标准、模型设计中心和数据质量中心等七大组件来支撑元数据管理，并严格定义了湖外和湖内元数据发布的核心流程，以前述组件确保这些流程得以执行。
客户实践证明了网易数帆逻辑数据湖架构的价值。以一家大型企业客户为例，客户引入逻辑数据湖构建一站式开发运营模式，以中台集约数据开发推动数据作业五统一：统一逻辑入湖、统一开发、统一调度、统一治理、统一服务，提升数据交付效率和共享能力，从而获得多方面的收益。从平台能力来看，客户成功引入了成熟的数据中台产品，以及配套相关的管理规范。从数据工作模式来看，逻辑数据湖让业务人员由需求者成为生产者
，让数据开发人员没有难找的数据。
运营目标的实现，首先是开发效率提升，报表开发效率提升 50%，可视化数据应用页面开发效率提升 1倍；其次是数据自助分析能力，自助模式占各部门所有取数分析工作的比例到 30%，并培养 200 个自助分析的业务人员；而长期运营目标方面，客户通过数据中台能力提升，割接本地网部署的数据集市和数据平台，改变省内当前 1+N 的模式，进一步提升作业效率和数据安全。
小结
企业数字化转型的核心目标是降本增效，数据价值的发挥是至关重要，Data Fabric 提供了一种低成本的方式支持企业平滑、快速地落实这一目标，逻辑数据湖则是一种验证行之有效的落地方案。逻辑数据湖也使得网易数帆数据技术栈能够灵活地与不同行业不同企业的数据架构水乳交融，帮助客户实现数据存储到生产力的转换，满足数据驱动业务创新的需求。
