借助数据虚拟化，实现数据网格架构
•
0 gefällt mir•120 views
Watch full webinar here: https://bit.ly/3QIpFv6 最近，数据网格（Data Mesh）备受关注，它为企业提供了一种新型的数据管理和交付的方式，并灵活组织数据所有权和数据治理。但什么是数据网格？它与其他现代数据架构，如数据编织（Data Fabric）和数据湖有何不同？最重要的是，实现数据网格的最佳实践又是什么？ 观看Denodo网络研讨会，我们将为您消除关于数据网格的误解，并分享： - 什么是数据网格，它为什么重要？ - 它与其他现代数据架构有何不同？存在哪些优势？ - 企业将如何开始数据网格计划并避免遇到障碍？ - 其他企业如何成功实施数据网格？
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Ähnlich wie 借助数据虚拟化，实现数据网格架构
Ähnlich wie 借助数据虚拟化，实现数据网格架构 (20)
Mehr von Denodo
Mehr von Denodo (20)
借助数据虚拟化，实现数据网格架构
- 2. 2 自 1999 年以来，长期专注于数据集成、管理、交付 Denodo：数据管理领域的领先者 DENODO 办事处与员工 遍布全球 – 在 20 个国家/地区开设了 25 个办 事处。 2021 年新开设的办事处 – 荷兰、比利时、瑞 典、韩国。 客户和合作伙伴 1000 多名客户，包括各主要行业的多家“财 富 500 强”和“全球 2000 强”公司。 遍布全球的 300 多名积极主动的合作伙伴。 财务状况 年增长率 50% 净留存率 108%； 客户流失率 4% 领先者：Gartner 2021 年数据集成工 具魔力象限 领先者：Forrester 2020 年 Wave 报 告 – 2022 年第 2 季度企业数据编织 领先者：Forrester 2017 年 Wave 报 告 – 2017 年第 4 季度数据虚拟化 领先地位 2022 年 Gartner Peer Insights 数据 集成工具客户之选：（连续第 2 年）
- 4. 4 传统的单一方法 Illustration: Zhamak Dehghani, Data Mesh Principles and Logical Architecture, December 2020
- 5. 5 传统的单一方法
- 6. 6 单一方法面临的挑战 了解域数据的域专家 了解域流程的域专家 了解如何开发数据管道的工具专家 Illustration: Zhamak Dehghani, How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh, May 2019
- 7. 7 什么是数据网格？ ▪ 数据网格是一种新的数据管理组织范式 ▪ 它实现了从单个团队管理的集中式数据架构向分布式 组织范式的迁移 ▪ 多个自治单位（域）负责管理自己的“数据产品”， 并向组织的其余部分提供这些产品 ▪ 组织的其余部分应能轻松发现、理解和访问这些数据 产品
- 8. 数据网格 – 1.基于域的组织 • 组织单位（域）负责管理和公开自己的数据 • 各个域更深刻地理解应该如何处理和使用他们拥有的数据 • 可为他们提供使用最佳工具处理数据及在需要时发展升级 的自主权 • 可以缩短和减少迭代，直到满足业务需求为止
- 9. 数据网格 – 2.数据即产品 ▪ 为了确保各个域不会成为相互隔离的数据孤岛，不同域 公开的数据必须符合以下条件： 易于发现 可以理解 有安全保障 可供其他域使用 ▪ 生成产品（例如清理和重复数据删除）的流程和管道属于 内部实施细节，因而要对使用者隐藏
- 10. 数据网格 – 3.自助式数据平台 ▪ 自助式：虽然由一支数据基础架构全球团队运营，但它也允 许各域自行创建和管理数据产品 ▪ 该平台应能自动执行或简化各种任务，如： 数据集成和转换 安全策略和身份管理 公开数据 API 在全局目录中发布和记录
- 11. 11 ▪ 不同域创建的数据产品相互之间需要能够交互，并结 合起来以满足新的需求 例如联合、聚合、关联等 ▪ 这就需要就常见实体（例如客户、产品）的语义、字段 类型（例如 SIN、实体标识符等）的格式、数据 API 的 可寻址性等达成协议 ▪ 可进行全局管理，并在可能时自动执行 ▪ 必须根据适用法规和政策在全球落实安全防护措施 数据网格 – 4.联合运算治理
- 13. 13 传统 属性 数据网格 中心化 组织 去中心化 – 域所有权 单一和物理 架构 分布式和逻辑 自上而下的设计 操作 联合运算治理 通过物理方式收集数据 思维方式 数据产品 – 连接和共享 分析与操作分离 基础架构 集成式 它与现有数据交付模型有何不同？
- 16. 16 ▪ Denodo 允许访问任何底层数据系统， 并提供高级数据建模功能 这使域可以通过任何数据源或组合多 个数据源来快速创建数据产品 无需编码即可定义并发展数据产品 ▪ 可以通过多种技术自动访问数据产品 SQL、REST、OData、GraphQL 和 MDX 易于创建数据产品
- 17. 17 ▪ 可发现性和文档 包括一个数据目录，它使业务用户和其他 数据使用者能够快速发现、了解和访问数 据产品 使用 Open API 等标准格式为数据产品 自动生成文档 包括适用于所有数据产品的数据沿袭和 变更影响分析功能 提供自助服务功能
- 18. 18 ▪ 虚拟层中构建的语义层可以强制执行标准化数据 模型来表示联合实体（联合实体需要跨客户、产品 等域保持一致） ▪ 集中强制执行统一的安全策略，包括数据脱敏/编 写 例如，针对人力资源角色用户之外的所有角色， 使用 *** 对所有数据产品中的 SIN 自动进行脱 敏处理（最后 4 位除外）。 支持联合运算治理
- 19. 19 1. 可重用性：数据虚拟化平台具有强大的功能，可创建和管理丰富的分层语义层，这些语义层可以促进重 用，并以最适合的形式向每种类型使用者提供数据 2. 多语言使用：数据虚拟化允许数据使用者使用任何技术访问数据，而不仅仅是 SQL。例如，只需一次单 击即可创建自描述 REST、GraphQL 和 OData API。还可进行基于 MDX 的多维访问 3. 自上而下的建模：您可以创建“接口数据视图”，该视图将设置数据产品开发人员需要遵守的“模式合约” 1. 这有助于实现联合运算治理的概念 4. 数据市场：即用型数据目录，它可作为不同域创建的数据产品的数据市场 数据虚拟化方法的其他优势
- 20. 20 McCormick Spice – 公司概况
- 21. 21 McCormick Spice – 公司概况
- 22. 22 数据网格的层和所有权 物理层 - 代表物理数据模型。 包含身份验证详细信息 ，具备访问源中的信息的能力 逻辑层 - 代表逻辑数据模型。 特定实体/对象的信息的同 化。 数据资产层 - 控制数据限制，并允许安全部门审核对特定 角色的访问 域层 - 代表域业务实体。由域数据主题专家 (SME) 创建 和拥有。以自描述数据产品的形式提供。 应用程序/报告 - 能够满足特定应用程序/报告要求的视 图 报告 应用程序 逻辑 数据资产 物理 企业数据目录 域 域 域 域 常用基础架构服务 IT 部门负责管理基础架构、定义全局安 全策略，并管理与数据源的连接 特定于域的数据产品 域主题专家 (SME) 负责交付和管理 域数据产品
- 23. 23 • 混合型卫生机构 • 既是提供商又是付款方 • 总部位于宾夕法尼亚州匹兹堡 • 业务遍及 50 个州和哥伦比亚特区 • 拥有超过 2900 万名会员 • 2021 年营收为 220 亿美元 Highmark Health – 公司概况
- 24. 24 Highmark Health – 数据网格分层架构
- 25. 25 Highmark Health – 责任：卓越中心 (CoE) 与域开发人员
- 26. 26 Intel 企业级 DaaS 架构 • 全球 26 个业务部门中有 23 个使用 Denodo 数据服务 • 生产中 1700 种数据服务使用 300 多个 数据源 • 在全球部署 500 多个核心充当逻辑系统 • 向用户交付数据的速度提高 90% • 9 年生产中零停机 Secondary 2 Primary 1 Exception 3 数据使用者 数据源 数据虚拟化 API 管理 3 分析型 操作型 Denodo SQL、NoSQL、TD、HANA、大数据、SaaS 等 EARA/F5 迁移到 Apigee 数据交付 AI、DS、Kafka、AMQ 等 iPaaS MuleSoft 1 3 1 1 1 1 2 2 2 推荐 可选 例外
- 27. 27 Intel – 小规模起步，逐步扩增 • 2013 – 人力资源项目初次采购 • 2016 – 3 年企业许可协议 (ELA) – 另 外延长 3 年；涉及许多项目 • 2013 – 不到 10 个数据源，一台服务器 • 2019 – 324 个数据源，跨多个数据中心共 有 128 个核心处于生产环境中 • 2013 – 单个项目团队 • 2019 – Intel 数据虚拟化 CoE 在 数据虚拟化项目使用方面为 26 个业务部门中的 23 个提供指导 • 2013 – 10 名经过数据虚拟化培训的员工 • 2019 – 800 多名经过数据虚拟化培训的员工
- 28. 28 Intel 首个此类项目 – 通过迁移整合人力资源系统 数据虚拟化作为人力资源服务层 • 人力资源数据使用单一入口点 • 可扩展到本地和云端数据源 • 无缝支持数据源迁移 人力资源 IT 团队员工能力迁移： • Intel 人力资源 IT 团队近期迁移并整合了其人力资源应用 层，成功迁移到整合后的数据仓库环境。 • 作为数据虚拟化的早期采用者，Intel 人力资源 IT 团队能 够轻松将其业务视图/界面重定向到新的集成视图，保留 其逻辑层并防止因迁移而导致服务中断。 • 数据虚拟化还支持人力资源 IT 团队轻松集成云应用程序 ，以填补其服务组合中的差距。
- 29. 29 Intel – 数据平台的优势 价值驱动因素 指标 目标 实际 开发时间 开发数据服务的时间（单位：天） 50% 90% 部署时间 部署数据服务的时间（单位：天） 50% 90% 上市时间 (TTM) 数据服务可供使用所需的总时间 60% 90% 合作时间 业务部门与 IT 部门合作的时间 75% 75% 性能 数据服务的性能 50% 60% 影响分析 我们能以多快的速度执行影响分析 50% 90% 企业架构一致性 整合来自不同数据源的数据的容易程度 安全性、数据分类 高
- 32. 32 摩根大通财富与资产管理 – 数据市场 数据虚拟化平台 数据市场 客户与账户 活跃客户 客户账户 相关方汇总 头寸和持股 证券与定价 市场数据中心 指数与基准 记录系统 数据湖 数据仓库 具有业务语义层的虚拟数据湖
- 33. 33 摩根大通财富管理 – 数据市场 DENODO 数据目录 → 分类 → 标记 → 模型 → 描述 → 数据沿袭 → 元数据搜索 → 查询生成器
- 34. 34 结束语和总结 • 数据网格是数据管理和分析的新范式 它将责任转移到域及其数据产品 专注于数据架构的分布式方法 努力减少瓶颈、提高速度和保证质量 • Denodo 平台等数据虚拟化工具可为实现这种新范式提供 坚实基础 便于业务域角色使用 可以利用域基础架构，或将它们引导到集中式存储库 简单而先进的图形建模工具可定义新产品 全面的治理和安全控制措施
- 36. 36 Denodo 联系方式 ✔ Denodo官网：denodo.com.cn ✔ Denodo社区：community.denodo.com ✔ Denodo博客：www.datavirtualizationblog.com ✔ 产品试用：https://www.denodo.com/en/denodo-platform/test-drives ✔ 联系我们： ✔ 添加微信 ✔ 电话至 +86.18518356610 ✔ 邮件至 cli@denodo.com
- 37. Thanks! www.denodo.com info@denodo.com © Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies.