Kyligence Leverages Alluxio to Accelerate OLAP in the Cloud

使⽤用 Alluxio 加速云上 OLAP 分析
史少锋
Kyligence 资深架构师
shaofeng.shi@kyligence.io

Confidential, all rights reserved ©Kyligence Inc.
http://kyligence.io
议程
• Apache Kylin and Kyligence Inc.
• Kyligence Analytics Platform
• KAP in the Cloud
• Alluxio + KAP
• Summary

http://kyligence.io
Apache Kylin：全球领先的大数据分析技术（OLAP-on-Hadoop）
全球最大的开源软件基金会
• 顶级项目
Ø Apache Kylin, 中国第一个
Apache顶级开源项目，核心
开发者及贡献者都在中国
• 行业认可
Ø 连续两年荣获InfoWorld“最佳
开源大数据工具奖”，与
Spark，TensorFlow一起获奖
• 用户认可
Ø 全球超过500家领先企业使用
Kylin大数据分析平台解决方案
与Apache Kylin团队一起合作使
Kylin通过孵化成为顶级项目对我而言
非常激动人心，Kylin在技术方面当然
是振奋人心的，但同样令人兴奋的是
Kylin代表了亚洲国家，特别是中国，
在开源社区中越来越高的参与度。
—Ted Dunning, Apache 孵化项目副总裁
• 生态社区
Ø 活跃的社区，众多用户及开发者，
广泛的开源、商业合作伙伴体系
• 技术优势
Ø 基于预计算+并行计算+列式存储
等优化技术，实现海量数据+高
并发+亚秒级响应的实时数据分
析平台
44
0.32
0
10
20
30
40
50
SparkSQL Kylin
某金融机构，6.9亿数据，15年数据，查询Top用户
SQL查询延迟

http://kyligence.io
Kyligence = Kylin + Intelligence
构建领先的
全球开源社区
企业级
产品
专业服务
管理
与
自动化
云计算
行业
解决方案
Apache Kylin原创团队组建
ü 拥有50% Apache Kylin PMC
ü 贡献90%+的Kylin源代码
以Kylin为核心的企业级产品
ü KAP：企业级OLAP平台
ü Kyligence Cloud: 云计算+大数据+智能运维
全方位的原厂专业服务
ü 产品支持 & 认证培训
ü 平台实施 & 架构咨询
ü 硅谷上海 & 全球服务

http://kyligence.io
关于我们
2014.11
加入Apache孵化器，Apache
Kylin正式开源
2015.11
毕业成为Apache
顶级项目
2016.3
Kyligence 公司建立，
获得红点创投数百万天使投资
2017.4
完成A轮融资（800
万美金），由宽带资
本、顺为资本领投，
红点中国跟投
2016.8
发布企业级智能大
数据解决方案
Kyligence
Analytics Platform
2017.5
Kyligence美
国分公司成立
2016.9
二次获得InfoWorld
最佳开源大数据工具
奖
2017.8
Kyligence成为
AWS Technical
Partner
2017.9
Kyligence Robot
发布，支持
Apache Kylin在
线智能优化
2017.12
Kyligence Cloud
发布

http://kyligence.io
Kyligence Analytics Platform: 搭建⽤用户和⼤大数据之间的桥梁梁
• 高性能：亚秒级查询延迟，
满足交互式分析的时效性要
求，为mission-critical场景高
度优化
• 高并发：线性扩展，满足大
数据时代爆发的数据分析需
求，支持internet scale在线服
务
• 易使用：标准SQL访问，降
低技术门槛，屏蔽复杂的技术
接口

http://kyligence.io
Kyligence Analytics Platform (KAP) 架构
Kyligence
RoBot
在线自助服务平台
为DevOps提供
系统监控
Cube优化
SQL调优
Kyligence Analytics Platform
Kylin/Open Source KAP/Commercial Online Service
Apache Kylin
Open Source
OLAP On Hadoop
KyAnalyzer
Agile BI
KyStudio
Data Model Designer
KyManager
Administrator Tool
KyStorage
Columnar Storage
Security
Cell Level ACL
On Demand
Deployment On-Premises On-Hybrid On-Cloud

http://kyligence.io
Apache Kylin to KAP
新兴Hadoop技术
分布式计算框架
Scale-Out架构
SQL查询性能差
传统DW产品
经典OLAP理论
Scale-Up架构
Cube容量、性能、并发受限
Apache
Kylin
OLAP
预计算
+
Hadoop
计算框架
KAP
Kylin
+灵活查询
+明细查询
+智能优化
+企业级安全

http://kyligence.io
空间换时间：Cube基础原理简介
数据立方体：是一种多维分析的技术，通过预计算，
将计算结果存储在某多个维度值所映射的空间中，在
查询时通过对Cube的再处理而快速获取结果。
维度模型：数据仓库建设中的一种数据建模
方式，按照事实表、维度表的方式来进行数
据建模，星型模型是应用最广泛的方法
预先进行
汇总、分类、排序

http://kyligence.io
Cube预计算是KAP核心技术理念

http://kyligence.io
利用Hadoop强大的并行计算能力
Kyligence
Analytics Platform
KyAnalyzer，BI Tools, Web App…
ANSI SQL
KyStorage
Map Reduce/Spark/Streaming…

http://kyligence.io
预计算能够充分保证查询性能的稳定

http://kyligence.io
KAP: 超高性能、超高并发
在标准性能测试数据集上，提供亚秒级查询响应，相对Hive有百倍以上加速比

http://kyligence.io
Kylin／KAP 全球典型用户
互联网
• eBay
• Yahoo！
Japan
• Baidu 地图
• 美团点评
• 网易
• Expedia
• 京东
• 唯品会
• 360
• 今日头条
大金融
• 太平洋保险
• 花旗银行
• 银联
• 华泰证券
• 国泰证券
• 陆金所
• JPMorgan
电信
• 中国移动
• 中国电信
• 中国联通
• AT&T
制造业
• 上汽集团
• 华为
• 联想
• OPPO
• 小米
• VIVO
其他
• MachineZone
• Inovex
• Glispa
• Adobe
• 科大讯飞
统计数据来与公开渠道及Kylin社区

http://kyligence.io
Kyligence in the Cloud

http://kyligence.io
Kyligence is the partner of Azure and AWS

http://kyligence.io
KAP has landed Azure
KAP has on boarded Azure global and Mooncake

http://kyligence.io
Kyligence Cloud: 一键式部署PaaS服务，支持多朵云

http://kyligence.io
Kyligence Cloud：解决云上⼤大数据困难的问题
• 一键部署：在几分钟内完成KAP及
Hadoop部署
• 动态伸缩：基于实际使用情况动态伸缩
计算资源，实现高扩展性。
• Cloud Native: S3 as storage, Auto
scaling, Cloud Formation模版部署
• 节省成本：读写分离、按需启停可有效
节省运营成本
• 无缝集成BI：从Hadoop到KAP到BI
工具，在AWS云上获得端到端的解决方案
• 轻松运维：全托管站点令运维更轻松，
使您将注意力集中到业务中
Cloud

http://kyligence.io
Hadoop & KAP 在云上的挑战
• Local Disk 变的易失；HDFS不再是云上适合 Hadoop／Spark 的可靠存储
• VM 删除时，数据一并擦除，导致HDFS产生丢失块
• Local Disk 价格昂贵
• 计算与存储分离的架构
• AWS S3, Azure Blob Store 等是更可靠，成本更低的存储服务，适合大数据场景
• 将计算与存储分离，使得架构变成真正可扩展；AWS EMR, Azure HDInsight 支持 S3, WASB 做 Hadoop
文件存储

http://kyligence.io
Hadoop & KAP 在云上的挑战
• S3，Blob Store 与 HDFS 区别大
• 性能受网络带宽影响大
• 最终一致性
• Meta Data 操作耗时
• KAP 云上方案
• 临时方案：HDFS 用作计算，S3 做备份；
• 更好方案：需要一种透明的，在 S3 之上的快速缓存层

http://kyligence.io
KAP + Alluxio

http://kyligence.io
Alluxio

http://kyligence.io
Highlights of Alluxio
• Memory speed virtual distributed
storage system
• Spark/MapReduce can run over Alluxio
just like other FS
• Support most cloud storage services
like S3, GCS, WASB

http://kyligence.io
KAP + Alluxio 架构
• Alluxio 挂载 S3 bucket 做为底层文件系统
• KAP 使用 Alluxio 作为文件系统，替代 S3
• 对应用程序透明，几乎没有代码改动

http://kyligence.io
Alluxio 与 EMR 的集成部署
• EMR的master节点部署alluxio master；Core节点启动alluxio worker; 通过bootstrap
action安装
• https://github.com/shaofengshi/emr-bootstrap-alluxio

http://kyligence.io
KAP 配置使用 Alluxio
• 配置 Alluxio
• 拷贝 alluxio-core-client-runtime-<version>.jar 到KAP的spark目录
• 拷贝 alluxio-site.properties 到 spark/conf
• 使用 S3 做写操作的文件系统
• kylin.env.hdfs-working-dir=s3://mybucket/kylin
• 使用 Alluxio 做读操作的文件系统
• kylin.storage.columnar.file-system=alluxio://<master-node>:19998/
• 不需要开启读写分离开关

http://kyligence.io
KAP 使用 Alluxio 曾遇到的问题
• 性能不升反降
• Alluxio 部署在独立的集群上，查询性能反而更慢
• 解决办法：部署在与 Spark 相同集群
• 新文件在 Alluxio 中找不到
• 新文件写入 S3 后，从 Alluxio 查询不到
• 解决办法：递归 ls 上级目录，触发 Alluxio 与 S3 同
步meta data

http://kyligence.io
KAP 使用 Alluxio 曾遇到的问题 (cont.)
• Azure 相关文档少
• 较多配置、jar冲突等问题；
• 解决办法：使用新版本Azure Storage Java lib，
使用HDInsight script action自动安装和卸载
• 自动化安装脚本：
https://github.com/shaofengshi/hdinsight-
scriptaction-alluxio

http://kyligence.io
SSB Benchmark – S3 vs Alluxio
• https://github.com/Kyligence/ssb-kylin
• Raw data: 91 millions; Cube size: 20 GB

http://kyligence.io
SSB Benchmark – S3 vs Alluxio
• In average, KAP query latency is reduced to ¼ on Alluxio than on S3

http://kyligence.io
User profile – WASB vs local HDFS vs Alluxio
• User behavior data, 200 millions rows
• Cube size 15 GB

http://kyligence.io
User profile – WASB vs local HDFS vs Alluxio
• Alluxio provides close to local HDFS performance, which is 3 to 4X faster than
WASB

http://kyligence.io
Summary

http://kyligence.io
Summary
• 结论
• Alluxio 能帮助 KAP 透明加速云上的 OLAP 查询，获得与本地数据接近的性能
• 后续
• Alluxio 提供统一的数据命名空间，帮助 KAP 接入和管理不同数据层
• 利用分层存储，支持缓存更大数据量
• 通过分析 Alluxio 数据使用情况，统计和优化 KAP 的存储使用

http://kyligence.io
免费90天试用Kyligence Cloud
• Kyligence Cloud is a managed Apache
Kylin service that offers elastic
enterprise OLAP on Hadoop in the
cloud.
• Support Azure / AWS in Global + China
regions.
• Console： https://cloud.kyligence.io

THANK YOU
网站：http://kyligence.io
邮箱：info@kyligence.io
Twitter：@Kyligence

Kyligence Leverages Alluxio to Accelerate OLAP in the Cloud

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Kyligence Leverages Alluxio to Accelerate OLAP in the Cloud

Similar to Kyligence Leverages Alluxio to Accelerate OLAP in the Cloud (20)

More from Alluxio, Inc.

More from Alluxio, Inc. (20)

Kyligence Leverages Alluxio to Accelerate OLAP in the Cloud