1.
1
逻辑数据编织如何完善IT架构
，盘活数据资产
Stanley Zhang
Denodo
解决方案架构师

2.
AGENDA
1. 历史和发展
2. 逻辑数据编织
3. Denodo 平台
4. 关键功能
I. 逻辑数据访问
II. 高级语义/数据目录
III. 统一的安全和治理
IV. 实时数据集成
V. AI/ML 建议和自动化
VI. 性能/查询加速
5. 客户应用场景
6. 关键要点

3.
3
数字化转型
数据驱动型经济
数据即服务
数据是一种业务资产
数据市场
*https://www.denodo.com.cn/document/analyst-report/logical-data-fabric-rescue-integrating-data-warehouses-data-lakes-and-data

4.
历史和发展

5.
5
对数据进行集中化与分散化之间的冲突
停止收集，开始连接

6.
6
数据编织是一种架构模式，可以提供关于数据对象的设计、集成
和部署的信息并使上述操作自动化，不受部署平台和架构方法的
限制。
它利用对所有元数据资产的持续分析和 AI/ML（人工智能/机器学
习），提供有关数据管理以及集成设计和部署模式的可行见解和
建议。
这将使数据访问和共享更快、更明智，甚至完全自动化（在某些情
况下）。

7.
7
数据编织 – Gartner
通俗地说
• “集成来自不同数据来源
的数据”
• 安全地提供不同数据对
象的“集成视图”
• 将“集成数据”用于分析和
操作目的
• 使用 AI/ML（人工智能/机
器学习）使整个流程自动
化

8.
8
数据编织 – Gartner
通俗地说
• “集成来自不同数据来源
的数据”
• 安全地提供不同数据对
象的“集成视图”
• 将“集成数据”用于分析和
操作目的
• 使用 AI/ML（人工智能/机
器学习）使整个流程自动
化
数据编织网络
混合内容 客户 产品 应用
RDBMS/OLTP 传统分析/BI 数据湖 云数据存储 应用程序和文档存储库
平面文件
第三方
传统
集市
数据仓库
集市
ETL ETL
XML • JSON • PDF
DOC • WEB

9.
逻辑数据编织

10.
10
分布式数据环境
点对点式数据集成方法面临困境：
▪ 提取和移动数据会增加延迟、提高成本，并
降低质量
▪ 每个项目都以不同方式解决数据访问和集成
问题
▪ 解决方案与数据来源联系紧密，影响灵活性
和敏捷性
▪ 没有集中治理和控制
数据
来源
数据
使用者
数据
治理
工具
DB、DW 和
数据湖
文件
BI 控制面板
报告和工具
数据科学和
机器学习
应用程序
移动和
企业应用程序
微服务
应用程序
云 DB
和 SaaS
流式
数据和 IoT
多维数据集

11.
11
逻辑数据编织
▪ “集成来自不同数据来源的数据”
▪ 安全地提供不同数据对象的“集成视图”
▪ 将“集成数据”用于分析和操作目的
▪ 使用 AI/ML（人工智能/机器学习）使整个流程自动化
企业架构师必须修改他们的数据架构，以满足快速访问数据的需求。”
–“为实时敏捷型自助数据平台创建路线图”，Forrester Research

12.
Denodo 平台

13.
13
Denodo 平台：一个适用于您的所有数据的逻辑平台
以逻辑方式集成、管理和交付分布式数据
任何数据
来源
任何数据
使用者
任何平台环境
本地 | 云 | 多云 | 容器化
数据
治理
工具
BI 控制面板
报告和工具
数据科学和
机器学习
应用程序
移动和
企业应用程序
微服务
应用程序
DB、DW 和
数据湖
文件
云 DB
和 SaaS
流式
数据和 IoT
多维数据集
智能查询
加速
AI/ML 建议
和自动化
高级语义
和可用数据
目录
统一的安全防护和
治理
逻辑数据
抽象化
实时数据
集成

14.
14
BI 工具 数据科学工具
Denodo 平台架构
数据目录
发现 - 探索 - 记录
数据即服务
RESTful/OData
GraphQL/GeoJSON
SQL
使用者
自助服务
混合/
多云
查询
优化
AI//ML
建议
安全
数据集成、管理和交付平台
数据源
150+
数据
适配器
应用程序 流式数据
数据
治理
SaaS
文件
OLAP
Hadoop
和 NoSQL
云
存储
传统
DB 和 DW
集成
任意位置、格式或有任意延迟的不同数据
管理
相关数据，使其形成具有通用语义模型的视图
交付
利用 BI 和数据科学工具、数据目录及 API 进行交付

15.
关键功能

16.
16
数据虚拟化：逻辑和分布式架构的基础
“数据虚拟化功能提供的访问和交付层可以用作逻辑数据编织的基础，带来在数据管理领域非常重要的自动化功能。这些包括数据推荐、数据质量、
数据治理和策略的自动化，以及数据虚拟化的核心集成功能。”
– Gartner：评估现代数据架构中数据虚拟化的相关性，2021 年 6 月
逻辑和分布式数据架构中的 6 个关键功能 应用场景 角色
混合/多云数据
集成
自助服务 BI
数据湖库/
分析查询加速器
3600
全方位
实体视图
数据复制
数据科学
企业数据服务
数据编织/
数据网格
数据/BI 分析师
数据科学家
架构师
数据工程师/
开发人员
数据运维管理
实时
数据集成
逻辑数据
抽象化
智能查询
加速
高级语义
自动化和建议
统一的安全
和治理
数据目录
AI/ML

17.
逻辑数据抽象化

18.
18
逻辑数据访问和抽象化
▪ 简化对不同数据源的访问。
▪ 充当单一虚拟存储库。
▪ 抽离数据复杂性，例如位置、格式、协议
▪ 便于访问所有内部和外部数据
▪ 创建反映业务分类的通用语义模型
▪ 连接数据孤岛，以提供最佳可用信息，进而驱动业务决策
…隐藏数据复杂性，以方便业务部门访问数据
企业架构师必须修改他们的数据架构，以满足快速访问数据的需求。”
–“为实时敏捷型自助数据平台创建路线图”，Forrester Research
数据准备工作量
减少 65%

19.
高级语义/
数据目录

20.
20
弥合 IT 与业务之间的鸿沟
数据目录
▪ 企业级数据集目录可供使用
▪ 发现与特定需求相关的数据集，并了解它们提供的数据
▪ 业务元数据；描述、标签、自定义属性等
▪ 协作和治理功能：背书、警告、弃用
▪ 集成使用情况统计、数据沿袭、关系图谱
▪ 与交付层完全集成
▪ 专为业务用户设计的 UI 支持高级搜索和查询功能
▪ 集成安全
▪ 与多种报告工具集成：“Open with”（打开方式）和“Export to”（导出到）
选项

21.
21
发现和了解数据
• 了解数据是否满足需求，即查询数据或
对数据进行采样
• 了解相关数据
• 了解数据沿袭
• 通过剖析数据了解数据包含的内容
• 了解数据的使用情况
…支持信息发现和自助服务

22.
22
数据沿袭
…了解数据集的生成方式及其采用的路径

23.
实时数据集成

24.
24
与位置无关的架构，适用于多云、混合加速
• 通过将数据、应用程序和分析工作负载迁移到云端来优化
成本，而不会对业务造成影响
• 允许创建中心化架构，以支持跨混合工作负载的数据集
成。
• 对迁移/升级和持续交付流程进行端到端管理。
…促成采用云计算
平台可在极短的周转时间内快速‘解锁’来自其他孤岛和旧有系统的数据。无论是
提供数据（北向）还是从数据源访问数据（南向），Denodo 对 Restful/Odata 标
准的支持都罕有供应商（如果有）能与之比肩。”
– 瑞士再保险业务分析师

25.
25
实时信息
▪ 向使用者实时提供数据
▪ 跨多个数据源创建数据的实时逻辑视图
▪ 支持转换和质量功能，不像传统方法那样存在延迟、冗
余及僵化等问题
…助力及时作出决策
Denodo 的数据结构设计基于数据虚拟化技术，能够快速为业务用户提供所需的集成数据，加快成效实现速度。”
– Gartner 数据集成工具魔力象限，2020 年 8 月 18 日

26.
自动化和推荐

27.
27
基于 AI 的自动化可提供更好的数据服务
Denodo 在数据架构中作为唯一数据通道，可以收集有关数据访问和数据交付
的关键信息
▪ 何人在何时通过何种方式使用哪些数据
▪ 数据源被访问的方式及其响应
▪ 数据集如何组合，以及如何
▪ 何人使用哪些使用工具
使用情况统计信息（元数据）作为 AI 算法的输入项，驱动推荐引擎

28.
28
自动推荐以获得更出色的性能
• Denodo 使用人工智能自动推荐数据集来选择性物
化数据集（摘要）以提升性能。
• 使用的 AI 算法可以结合使用历史信息和成本估算信
息来生成推荐。

29.
智能查询加速

30.
30
性能
▪ Denodo 是逻辑层，它只存储元数据
▪ PK、数据类型、统计等
▪ 因此，所有数据都是外部的
▪ 外部源通常具有处理计算能力
▪ Denodo 的工作是以最佳方式仔细协调源系统的执行
▪ 最大限度将处理下推到数据源
▪ 最大限度地减少通过网络传输的数据
▪ 此外，选择性物化技术（如缓存和摘要）可用于加速实时执行
概述

31.
31
智能查询加速
▪ 如果实时关联不够快，还可使用 Denodo 提供的其他加速技术，如智能查
询加速
▪ 它基于大型事实表和常见维度的部分聚合理念，这些聚合提前物化并用作
加速查询的起点
▪ 与某些 BI 工具和 OLAP 数据库使用的聚合感知概念类似
▪ Denodo 调用这些部分聚合：摘要
▪ 摘要远小于原始表格，因此查询速度更快
▪ Denodo 的查询优化器会分析每个查询，并在符合其要求的可用摘要中进
行选择
▪ 此过程对最终用户完全透明

32.
32
嵌入式 MPP 执行引擎
▪ Denodo 提供了一个基于 Presto 的 MPP 引擎，用于：
▪ 轻松、高效地访问数据湖内容（S3/ADLS/等中的
Parquet 文件）
▪ 无需其他引擎
▪ 集成安全和管理
▪ 缓存和加速功能的开箱即用 MPP 选项
▪ 高效集成式存储大量可用元数据/查询历史记录，以支
持即将推出的 AI 功能
▪ 不会取代 Denodo 执行引擎，而是扩展功能，以便在某
些场景中提高性能。
逻辑层
DB 和 DW 云 Excel
湖文件系统
(S3/ADLS)
湖引擎
MPP 引擎

33.
统一的安全和治理

34.
34
集中化元数据、安全和治理
• 抽象化数据源安全模型，并支持单点安全和治理。
• 跨云和本地架构扩展单点控制
• 提供多种形式的元数据（技术、业务、运营）以促进对数据的
理解。
…简化数据安全、隐私和审计
“Denodo 的部署是我见过最简单也最成功的一种关键企业软件部
署。平台立竿见影地处理了我们初始安全应用场景的问题，此后亦展
示出涵盖其他应用场景的强大能力，特别是还可以通过其 Web 服务
功能充当数据抽象层。”
– Asurion 企业架构师

35.
35
集中管理数据访问

36.
客户应用场景

37.
37
BHP（必和必拓）– 数据和用户分布于全球
休斯顿数据中心
圣地亚哥数据中心
珀斯数据中心 布里斯班数据中心
AWS 美国
东部
AWS
亚太地区
埃斯康迪达
杨森
(Jansen，加拿
大萨斯喀彻温
省)
伦敦
新加坡
吉隆坡
上海

38.
38
BHP（必和必拓）– 混合多区域集成
休斯顿数据中心
圣地亚哥数据中心
珀斯数据中心 布里斯班数据中心
AWS 美国
东部
AWS
亚太地区
埃斯康迪达
杨森 (Jansen，
加拿大萨斯喀
彻温省)
伦敦
新加坡
吉隆坡
上海
每个数据虚拟化群集均连接至本地数据源，并且是本地
使用者应用程序（如商业智能和分析工具）的访问点；对
于所有其他群集提供的数据集，每个数据虚拟化群集均
拥有可见性，并可根据最终用户的要求，请求其对等群
集提供这些数据

39.
39
BHP（必和必拓）– 混合多区域集成

40.
关键要点

41.
41
Denodo 平台：一个适用于您的所有数据的逻辑平台
混合/
多云
安全和
治理
Al/ML
推荐
查询
优化和加速
高级语义
数据目录发现/探索/
记录
BI 工具
SQL/MDX
数据科学
工具
数据即服务
RESTful/Odata
GraphQL/GeoJSON
文件
多维数据集
数据湖和
NoSQL
云
存储
传统
DB 和 DW
文件
易于使用 查询响应
速度快
集成、
主动数据目录
通用连接性
现代数据
服务 API 层
动态数据脱敏
自动化
云管理
关键差异化优势
集成
管理
交付
任意位置、
格式或有任意延迟的
不同数据
使用通用语义模型
和 AI/ML 功能来
管理数据，支持
重要数据治理
利用 BI 和数据科学工具、
数据目录及 API，交付数据
并实现数据民主化
实现收入所需时间
缩短 83%
数据准备工作量
减少 67%
与 ETL 相比，
交付时间缩短 65%
来源：Forrester 2021 年报告：数据虚拟化的总体经济
影响 (Total Economic ImpactTM
)

42.
42
Denodo 平台：一个适用于您的所有数据的逻辑平台
《你的数据中台，可能建错了》

43.
43
Denodo 联系方式
✔ Denodo官网：denodo.com.cn
✔ Denodo社区：community.denodo.com
✔ Denodo博客：www.datavirtualizationblog.com
✔ 产品试用：https://www.denodo.com/en/denodo-platform/test-drives
✔ 联系我们：
✔ 添加微信
✔ 电话至 +86.18518356610
✔ 邮件至 cli@denodo.com

44.
Q&A

45.
45
立即开始使用
欢迎在云应用商店开启 Denodo 30 天
免费试用之旅
选择
在您的云账户进行选择
支持
通过社区论坛和远程销售工程师获取
支持
机会
享受 Denodo 云专家提供的 30 分钟
免费咨询
denodo.com/free-trials

46.
Thanks!
www.denodo.com info@denodo.com
© Copyright Denodo Technologies. All rights reserved
Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm,
without prior the written authorization from Denodo Technologies.