数据虚拟化助力高级分析和机器学习
•
1 gefällt mir•81 views
Watch full webinar here: https://bit.ly/2SGCs8S 事实证明，先进的数据科学技术（例如机器学习）对于从数据中获取有价值的见解非常有用。数据科学平台变得更加平易近人且用户友好，随着技术领域的所有进步，数据科学家仍将大部分时间花费在处理数据使其成为可用数据资产上。如何赋予数据科学家权力？如何使数据更易于访问，并促进数据共享文化？ 注册参加Denodo网络研讨会，我们将为您展示数据虚拟化如何通过敏捷的AI / ML数据管理平台做到这一点，了解： - 数据虚拟化如何克服数据访问和操作障碍，简化数据科学家的工作 - 集成的Denodo Data Science笔记本如何提供统一的环境 - Denodo如何在内部使用AI / ML来驱动数据的价值并提供见解 - 客户如何在其数据科学计划中使用数据虚拟化
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie 数据虚拟化助力高级分析和机器学习
Ähnlich wie 数据虚拟化助力高级分析和机器学习 (20)
Mehr von Denodo
Mehr von Denodo (20)
数据虚拟化助力高级分析和机器学习
- 1. 借助数据虚拟化实现 高级分析和机器学习 Andy Yang 杨文涛 大中华区销售总监 ayang@denodo.com 18518356610
- 2. Denodo公司介绍
- 3. 3 Denodo 数据虚拟化的领导者 DENODO 办公室、客户、合作伙伴 遍布北美、欧洲、中东和非洲、亚太地区和拉丁美洲 的全球业务。 客户 客户超过800+，包括所有主要行业的财富500和 全球2000强公司，利用数据虚拟化显著提高了业务 灵活性和投资回报率。 财务状况 有超过40亿美元的私有公司支持。 年增长 60% 以上;可盈利。 领导者 ▪ 自1999年以来，对数据虚拟化的持续关注时间最长 ▪ 2020 Forrester Wave 的领导者 - 大数据结构 ▪ 2020 Gartner数据集成工具魔力象限领导者 ▪ Forrester 2018 Wave 的领导者 - 数据虚拟化 ▪ 增长最快 — 前十大数据集成供应商 ▪ 多次获奖
- 4. 30+行业 & 800+ 客户 部分行业的客户 公共服务 金融服务 电信 医疗健康 科技 制造 保险 零售 制药/生物技术 能源
- 5. 5 Denodo 资源 ✓ Denodo官网：www.denodotech.cn ✓ Denodo社区：https://community.denodo.com/ ✓ Denodo博客：http://www.datavirtualizationblog.com/ ✓ 产品试用：https://www.denodo.com/en/denodo-platform/test-drives ✓ 联系我们： ✓ 添加微信 ✓ 电话至 +86.18518356610 ✓ 邮件至 ayang@denodo.com
- 8. 8 数据组织和清洁 认为就人工智能而言，他们所在的州组织利用数 据的方式并不成功。 数据评估 尚未完成对数据的评估，无法确保数据拥有充 分的可用性、可访问性以及清洁度，因而不能 有效利用人工智能。 风险框架 57%没有构建风险评估框架，用以迎接人工智能 等新兴技术。 策略 72%未制定相关策略来确保 人工智能的使用符合履责要求和道德规范。 42% 51% 应用 AI 遇到的最大挑战或障碍是什么？ 旧有 IT 基础架构 组织内部的文化因素 缺少 AI 所需的员工技能 组织数据孤岛 缺少高层支持 45% 33% 27% 24% 2% AI 和机器学习需要可信数据
- 9. 9 组织中必须要处理… 可用数据以众多格式存储在大量系统中。数据科学 项目需要使用、信任和了解数据。 ▪ 文件（CSV、日志和 Parquet） ▪ 关系数据库（企业数据仓库和运营系统） ▪ NoSQL 系统（键值对、文档存储、时序等） ▪ SaaS API（Salesforce、Marketo、 ServiceNow、Facebook、Twitter 等） ▪ 另外还有更多… 数据存储在哪里？数据是什么格式？
- 10. 10 提起数据科学，大多数人会想到语言（比如 Python）和 Ror 工具（比如 Spark 和 TensorFlow）。 当前有无数项目都是为满足数据科学家的需求而 服务。 数据科学运用众多工具并且需要广泛的专业知识 和数据知识。 艰难复杂而又激动人心的数据之旅。 数据，数据，数据…数据科学家总是有各种数据需求
- 12. 12 数据科学家的日常工作 1. 收集有关解决业务问题的需求 2. 识别并找出有用数据 3. 转换和清洗数据 4. 分析和挖掘数据 5. 准备算法所需数据 6. 执行数据科学算法（ML、AI 等） 1. 重复步骤 2-6，直到获得有价值的见解 7. 可视化和共享 数据科学工作流程
- 13. 13 数据科学家的典型工作流： 1. 收集有关解决业务问题的需求 2. 识别有用数据 ▪ 摄取数据 3. 将数据清洗为有用格式 4. 分析数据 5. 准备算法所需输入 6. 执行数据科学算法（ML、AI 等） ▪ 重复步骤 2-6，直到获得有价值的见解 7. 可视化和共享 来源： http://sudeep.co/data-science/Understanding-the-Data-Science-Lifecycle/ 数据科学家工作流程
- 17. 17 逻辑数据架构
- 18. 18 将 IT 与客户分离 IT：灵活的源架构 企业：灵活的工具选 择 随着通过任何工 具都能访问所有 数据，企业现在 可以更快地作出 还要复杂的决策 现在可以从容 有序地开展 IT 工作，同时又 不会影响企业
- 19. 19 工作原理是什么？ 开发生命周 期管理 监控与审核 治理 安全性 开发工具和 SDK 计划的任务 数据缓存 查询优化器 U 客户 360 度 视图 虚拟数据 集市视图 J 应用程序层 业务层 统一视图 统一视图 统一视图 统一视图 A J J 派生视图 派生视图 J J S 转换与清洗 数据源层 基本视图 基本视图 基本视图 基本视图 基本视图 基本视图 基本视图 抽象化 SOURCES Traditional DB & DW 150+ data adapters Cloud Stores Hadoop & NoSQL OLAP Files Apps Streaming SaaS DATA CATALOG Discover - Explore - Document { API ACCESS } RESTful / OData GraphQL / GeoJSON SQL CONSUMERS LOGICAL DATA FABRIC
- 20. 20 数据科学家的典型工作流： 1. 收集有关解决业务问题的需求 2. 识别有用数据 ▪ 摄取数据 3. 将数据清洗为有用格式 4. 分析数据 5. 准备算法所需输入 6. 执行数据科学算法（ML、AI 等） ▪ 重复步骤 2-6，直到获得有价值的见解 7. 可视化和共享 来源： http://sudeep.co/data-science/Understanding-the-Data-Science-Lifecycle/ 数据科学家工作流
- 22. 22 AI 驱动 - 推荐 与最常用数据集的快捷方式。 数据目录 – 各种数据
- 23. 23 导航： • 智能搜索 • 内容搜索 • 上下文搜索 • 基于筛选条件的选择 数据目录 - 导航
- 24. 24 数据目录 -数据沿袭 数据沿袭： • 图形视图 • 详细资料 • 友好的用户界面
- 25. 25 查询向导： • 拖放 • 查询自定义 • 智能自动补全 数据目录 - 查询向导
- 26. 26 Denodo 将预配置的数据科学 笔记本整合到统一环境中 •基于 Apache Zeppelin •支持 SQL 查询、图表以 及 Python、R、Spark 等 语言编写的代码 •升级的多用户支持 •与 Denodo 安全系统和 SSO 功能完全集成 •从目录进行访问 Denodo 笔记本
- 27. 27 Prologis 推出数据分析计划以实现成本优化 背景 • 构建一个受治理的单一数据访问层，打造一致且可重复利用的分 析资产，让其他业务团队能够使用这些资产运行自己的分析。 • 创建可按需更新的数据模型，节省数据科学家查找、转换和分析 数据集的时间，无需学习新的技能。 • 高效维护公司的全新数据架构，最大限度减少停机时间并简化配 置管理。 Prologis 是全球最大的工业不动产公司，业务覆 盖 20 多个国家/地区，服务客户达 5000 家，旗下 管理资产规模达 870 亿美元。
- 28. 28 Prologis 架构图 wc_monthly_occupancy_rpt_f wc_lease_amendment_d w_day_d wc_property_d MARKET_AVAILABILITY_CURRENT MARKET_AVAILABILITY_FUTURE Prologis SnowFlake API 访问 Informatica Cloud ShareHouse ODBC JDBC peoplesoft_gl_actuals yardi_unit_leasing p360_propert y WAF AWS Lambda API
- 29. 29 Prologis 获得的数据虚拟化优势 • 分析团队能够创建以业务为中心的主题区，其中一致性数据集的分析速度提升 30%。 • 借助 Denodo，Prologis 得以快速启动高级分析项目。 • 轻松一键部署 Denodo 平台，实现集中式配置管理。这简化了 Prologis 的数据架构并降 低总维护成本。
- 30. 30 关键信息 ✓ Denodo 可在数据科学生态系统方面发挥关键作用， 减少数据挖掘和分析所需的时间 ✓ 实现功能扩展并与笔记本、Python、R 等功能集成， 改进数据科学家的工具集 ✓ 提供现代化的“SQL-on-Anything”引擎 ✓ 可利用 Spark 等大数据技术（作为数据源、摄取工 具以及用于外部处理），有效处理大量数据 ✓ 帮助实现数据科学量产化
- 31. 31 Denodo 资源 ✓ Denodo官网：www.denodotech.cn ✓ Denodo社区：https://community.denodo.com/ ✓ Denodo博客：http://www.datavirtualizationblog.com/ ✓ 产品试用：https://www.denodo.com/en/denodo-platform/test-drives ✓ 联系我们： ✓ 添加微信 ✓ 电话至 +86.18518356610 ✓ 邮件至 ayang@denodo.com
- 32. Thanks! www.denodo.com info@denodo.com © Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies.