现代数据集成解决方案及应用案例介绍（上）
•
1 gefällt mir•248 views
Watch full webinar here: 企业正面临着不断增长的数据量以及日益多样化的数据类型的挑战。随着大数据时代的崛起和信息渠道的泛滥，企业必须存储、发现、访问和共享大量传统的和新的数据源。正确地应用虚拟化技术，促进大量且多样化数据的实时集成，提高数据安全性和可信度，增强企业内外部协作，才能助力企业在数字化转型中突围。 注册参加3月16日网络研讨会，了解： - 企业面临的数据挑战 - 数据虚拟化与ETL，ESB有何不同，如何打破传统技术的局限性 - 数据虚拟化技术在各行各业的应用案例，如何通过更快、成本更低的方案获取可信数据
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie 现代数据集成解决方案及应用案例介绍（上）
Ähnlich wie 现代数据集成解决方案及应用案例介绍（上） (20)
Mehr von Denodo
Mehr von Denodo (20)
现代数据集成解决方案及应用案例介绍（上）
- 1. 现代数据集成解决方 案及应用案例介绍 Sam Wu 吴明宪 大中华区副总经理 mwu@denodo.com 13661880097
- 2. Denodo公司介绍
- 3. 3 Denodo 数据虚拟化的领导者 DENODO 办公室、客户、合作伙伴 遍布北美、欧洲、中东和非洲、亚太地区和拉丁美洲 的全球业务。 客户 客户超过800+，包括所有主要行业的财富500和 全球2000强公司，利用数据虚拟化显著提高了业务 灵活性和投资回报率。 财务状况 有超过40亿美元的私有公司支持。 年增长 60% 以上;可盈利。 领导者 ▪ 自1999年以来，对数据虚拟化的持续关注时间最长 ▪ 2020 Forrester Wave 的领导者 - 大数据结构 ▪ 2020 Gartner数据集成工具魔力象限领导者 ▪ Forrester 2018 Wave 的领导者 - 数据虚拟化 ▪ 增长最快 — 前十大数据集成供应商 ▪ 多次获奖
- 4. 30+行业 & 800+ 客户 部分行业的客户 公共服务 金融服务 电信 医疗健康 科技 制造 保险 零售 制药/生物技术 能源
- 5. Denodo 资源 ✓ Denodo官网：www.denodotech.cn ✓ Denodo社区：https://community.denodo.com/ ✓ Denodo博客：http://www.datavirtualizationblog.com/ ✓ 产品试用：https://www.denodo.com/en/denodo-platform/test-drives ✓ 联系我们： ✓ 添加微信 ✓ 电话至 +86.18518356610 ✓ 邮件至 azhao@denodo.com
- 7. 数据管理面临的挑战
- 8. 9 当前数据管理面临的挑战 1. 需要做出更快、更复杂的决策 ▪ 提供有助于组织各个层面做出决策的实用信息 ▪ 具有高级分析技能和需求的新用户：比如数据科学家 ▪ 解决方案？由企业用户及其他用户主导的自助服务计划：要么太过复杂（直接访问）， 要么成本太过高昂（特定数据集市）；存在治理和一致性问题 2. 法规、全企业治理和数据安全 ▪ 全世界范围新法规层出不穷：税务、金融、隐私、人力资源、环境法规等等。 ▪ 确保所交付数据的语义和数据质量的一致性 ▪ 实施安全策略 ▪ 解决方案？数据治理工具。独立、静态的文档系统：难以同步处理，不实施策略，也不 向用户交付数据 3. DM 基础架构的复杂性：降低 IT 成本 ▪ 巨大的数据增长量、高昂的运营成本：IT 团队正在着力寻找更实惠、更灵活的解决方案 ▪ 解决方案？云、数据湖：短期内增加数据集成的复杂性。例如，Gartner 称“83% 的数 据湖项目都以失败告终”
- 9. 10 “点对点集成是最简单的集成方式，但是会形成难以管理和更改 的复杂意面式架构，带来技术债。” Gartner 2018 年，点对点集成在您的集成策略中处于何地？ Gartner 将企业采用的这种方法的最终结果描述为： “…无序、混乱的意面式集成。” Gartner 2017 年，加速保险行业的数字化转型
- 10. 11 IT 架构之所以难于管理且安全性不佳是因为： 企业 - IT 团队困境 IT 团队的应对 方法是将不同 数据源松散地 拼接在一起 任何变更都会 中断数据流并 影响业务连续 性 企业希望可以立即获得所有数据 – IT 团队不得不创建成百上千的安全性欠佳的直接连接并复 制大量的数据 库存系统 (MS SQL Server) 产品目录 （Web 服务 - SOAP） 商业智能 (BI)/报告 JDBC、ODBC、 ADO.NET Web/移动端 WS - REST JSON、 XML、HTML、RSS 日志文件 （.txt/.log 文件） CRM (MySQL) 计费系统 （Web 服务 - Rest） ETL 门户 JSR168/286、 Ms Web 部件 SOA、中间件、 企业应用程序 WS - SOAP Java API 客户心声 （互联网、非结 构化数据）
- 12. 13 数据集成 - “我们过去的方式…” 操作型 数据存储 暂存区域 数据仓库 数据集市 分析和 报告 ETL ETL ETL
- 14. 15 现代数据驱动型业务的目标 1. 以单一入口点探索和查询所有数据 • 用户不想浪费时间跨不同的数据源进行搜索 • IT 团队不想让他们的用户访问所有生产系统 2. 为数据使用者打造自助服务文化 • 用户不想学习编码（SQL、Python、Java 等） • 他们想要使用自己最熟悉的工具 3. 跨多个系统实施安全性和治理 • 管理层想要减少跨整个组织复制的数据量 • 最大限度降低数据泄露风险，并避免创建多版本真实数据
- 15. 16 什么是数据虚拟化？ 使用 适用于商业应用使用 合并 将相关数据合并到视 图中 连接 与不同数据源连接 2 3 1 数据使用者 不同数据源 企业应用程序、报告、BI、门户、ESB、移动端、Web、用户 数据库与仓库、云/Saas 应用程序、大数据、NoSQL、Web、XML、Excel、PDF、Word... 分析型 操作型 结构化程度更低 结构化程度更高 连接 合并 发布 多种协议、 多种格式 查询、搜索、 浏览 请求/答复、 事件驱动 安全 交付 SQL、 MDX Web 服务 大数据 API Web 自动化 和索引 连接 合并 使用 共享、交付、发布、 治理、协作 发现、转换、准备、 提高质量、集成 不同数据的标准化 视图
- 16. 17 数据虚拟化：统一数据集成和交付 • 数据抽象化：将应用程序/数据使 用与数据源分离 • 数据集成：无需复制或重定位物 理数据 • 轻松访问任何数据：高性能且实 时/适时 • 数据目录：支持自助数据服务， 可轻松发现数据 • 统一元数据、安全性和治理：跨 所有数据资产实施 • 数据交付：可以任何格式交付， 其中智能查询优化可充分利用新 的或现有的物理数据平台 一种逻辑数据层（“逻辑数据结构”），可以提供对整个企业中不同数据的集成业务视图的高 性能、实时且安全的访问
- 18. 关于何时使用数据虚拟化 (DV) 而不是其他方法来交付数据的指导原则取决于非功能性需求（应 用场景、总体拥有成本 (TCO)、上市时间） 数据虚拟化、ETL、ESB 比较 物理移动和整合 逻辑抽象化和虚拟集 成 同步 和传播 ETL CDC 数据库 数据库 数据库 数据库 预定 事件驱动 ▪ 构建数据仓库和主数据管理中 心 ▪ 复杂的工作流程和数据质量 ▪ 历史数据和多维数据集 数据虚拟化 数据库 应用程序 按需 ▪ 分布式访问和交付 ▪ 敏捷且及时 ▪ 逻辑数据仓库 EAI/ESB 应用程序 应用程序 事件驱动 ▪ 业务流程自动化 ▪ 事务传播 ▪ 有效负载较小的消息传送 中间件 目标 模型 优势
- 19. 20 应用场景摘要 应用场景 数据虚拟化 (DV) ETL ESB 将数据移入 EDW 或 ODS ✔ 迁移 EDW（至云端） ✔ ✔ 数据统一 ✔ 客户 720º全景视图 ✔ 实时洞察 ✔ ✔ 敏捷数据集市 ✔ 物理数据集市 ✔ 敏捷报告（自 EDW + 其他来源） ✔ 逻辑数据仓库 ✔ 数据仓库卸载 ✔ ✔ 应用程序同步 ✔ ✔ 元数据发现和扩充 ✔ 自助服务分析 ✔ ETL“散播”(seeding)（将 ETL 与来源分 离） ✔ 事件驱动的工作流 ✔ DV 和 ETL 混合解决方案
- 20. 21 数据虚拟化、联合、ETL、ESB 比较 虚拟化 联合 ETL ESB 数据抽象化 完全 部分 部分 完全 强大的性能 完全 限于一些数据源 主要是批处理模式 限于少数数据源 零复制 完全 部分 无 部分 实时信息 完全 限于一些数据源 主要是批处理 限于少数数据源 自助数据服务 完全 无 无 部分 集中化元数据、安全性 和治理 完全 无 部分 无 解决方案 Denodo、Tibco、 Data Virtuality Tableau、QueryGrid、 SAP SDA Informatica PowerCenter、IBM DataStage、Talend Data Fabric TIBCO ESB、 Mulesoft
- 22. 23 数据虚拟化推动 FESTO 数据变革 挑战： 寻找一种可以从现有孤岛集成数据（包括数据仓库、机器数据以及其他数据）的敏捷 解决方案，降低业务用户对 IT 团队的依赖，并加快周转速度，提高灵活性。 • 成立于 1925 年 • 年收入（2018 财 年）32 亿欧元 • 员工人数超 过 21,000 • 总部位于德国 • 世界领先的自动化 技术供应商 业务需求 • 优化运营效率，实现制造流程自动化，并向业务客户提供按需服务 • 寻找更智能的数据聚合和分析方法 • 敏捷解决方案，能够将面向客户的数据产品货币化 • 让业务用户无需依赖 IT 团队便能自行开展报告和分析
- 23. 24 基于 Denodo 平台的 Festo 解决方案架构 解决方案： • Festo 开发了大数据分析框 架，以便打造数据市场，从 而更好地为业务提供支持 • 使用 Denodo 平台实时集成 来自众多本地系统和云系统 的数据 • 统一层确保跨不同数据孤 岛实现一致的数据访问和 治理
- 24. 25 Festo 获得的数据虚拟化优势 Denodo 平台从以下几个方面支持 Festo 的大数据分析框架： • 在整个业务环境中提供更出色的洞察，而无需以物理方式移动数据 • 简化数据使用，因为数据虚拟化与数据源无关，并且可以提供单一端点来访问所有数据 • 快速集成新数据源，并实时将这些数据源提供给用户社区 • 通过额外的信息扩充功能，帮助做出更明智的决策 • 提高业务和 IT 团队的效率和敏捷性，大幅提升客户满意度，因为业务用户现在可以自行操作和维护仪 表板
- 25. 32 Denodo 助力 Logitech 成功实现云现代化 业务挑战 多年来，Logitech 始终致力于开发和提供数据服务，通过本地部署 系统进行分析。但这种为业务用户预配数据服务的方式被动、耗时 且效率低下。该公司的产品线包括复杂的设备和系统，涵盖智能家 居自动化、VR 游戏以及视频协作等诸多领域。系统安全视频分析也 在逐步升级，所涉及的日趋繁复的应用场景对企业的数据服务提出 了更高的要求，如预测分析、实时数据分析和认知科学等。与此同 时，Logitech 想要将其云数据仓库从 Amazon Redshift 迁移至 Snowflake。因此，Logitech 一直在寻找能够帮助公司实现这些功能 的平台，而此平台还需要保障公司在不牺牲性能的条件下，继续在 正确的时间为业务用户提供其所需的服务。 • Logitech 成立于瑞士，是一家全球性 的个人计算机和平板电脑配件提供商。 公司开发并销售各类个人电脑周边设 备，如键盘、鼠标、轨迹球、麦克风、 游戏控制器以及网络摄像头等。 • 公司在欧洲、亚洲和美洲均设有办事 处，其销售业务和营销活动遍及美国、 欧洲、中东、非洲和亚太地区。
- 26. 33 基于 Denodo 平台的 Logitech 解决方案架构
- 27. 34 Logitech 获得的数据虚拟化优势 Denodo 平台帮助 Logitech 实现了可行的动态云迁移，该迁移过程对业务运营产生的影响很小。 • Logitech 成功从 Amazon Redshift 迁移至 Snowflake，业务连续性没有受到任何影响。在部署 Denodo 平台之前，每周需求预测计划（在 R 和 Oracle Exadata 上共同运行）需要运行三天， 而如今仅需运行几小时即可。 • 借助于 Denodo 平台，Logitech 创建了一项使用者主数据管理 (MDM) 解决方案，从而得以在 整个企业范围内集中管理其所有营销活动的使用者选择加入/退出的情况。 • Logitech 还利用 Denodo 平台创建了由自然语言处理 (NLP) 和模糊逻辑支持的更复杂的数据服 务。有了该服务，非技术用户可以使用英文向聊天机器人提出关于统计的问题，并得到人性化 的英文回复。
- 28. 35 SMTB能夠以更低的成本和敏捷性提供更及時，準確的報告 挑战： 寻找一种可以滿足 遵守法規：巴塞爾協議III解決方案–風險系統集成 • 成立于 1925 年 • 年收入（2019 财 年）124 美元 • 员工人数超 过 13,659 • 总部位于日本 • 日本最大信託銀行 业务需求 • 更加及時，準確，全面地提供風險數據的內部報告 • 流程適應性強且靈活，可滿足臨時請求。 • 由於數據源不斷變化，維護集成工作流程的成本很高 • 現有技術（例如ETL和文件傳輸）的維護成本很高
- 29. 36 基于 Denodo 平台SMTB以更低的成本和敏捷性提供更 及時，準確的報告 解决方案： • 用於提供20多種不同數據源 的統一虛擬視圖 • 合併的數據將饋送到自定義 應用程序，該應用程序將饋 送給最終由Excel或MS Access訪問的數據倉庫 • Denodo中的調度程序執行 以饋送合併數據以進行進一 步處理
- 30. 37 SMTB 获得的数据虚拟化优势 Denodo 平台从以下几个方面支持 SMTB 的数据分析框架： • 每天300-400个用户，不受影响 • Denodo虚拟视图易于创建和维护，从而降低了IT成本 • 提高灵活性，以适应不断变化的源数据并确保及时将数据馈入报告流程 • 由于减少了复制，因此报告数据的准确性更高
- 31. 38 演示 不同国家/地区的各种行销活 动的销售情况？ • 历史销售收入相关数据存至大数据 平台(Redshift)，以节省存储成本。 • 营销活动数据存储在云服务(REST API)。 • 国家/地区等客户详细信息，存储在 基于Oracle数据库的数据仓库 (DW) 中。 Sources Combine, Transform & Integrate Consume Base View Source Abstraction join group by state join Sales Campaign Customer
- 32. 39 小结：数据虚拟化的主要功能 • 逻辑抽象化和分离 • 数据联邦的一种极致运用 • 针对结构化数据和非结构化数据的语义集成 • 敏捷的数据服务预配 • 统一数据治理和细粒度安全性，并确保完全可审计性 • 消除不必要的数据移动 • 完整的数据沿袭和敏捷的业务规则 • 保障静态数据和动态数据的安全 • 推动“通过设计保护隐私”(privacy by design)
- 33. 活动预告 2021年3月23日 14:00 – 15:00 现代数据集成解决方案及应用案例 介绍（下） 2021年3月30日 14:00 – 17:00 Denodo线上动手实践课程
- 34. www.denodo.com info@denodo.com © Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies.