Empfohlen
Weitere ähnliche Inhalte
Ähnlich wie Alluxio's Use and Practice in Didi
Ähnlich wie Alluxio's Use and Practice in Didi (20)
Mehr von Alluxio, Inc.
Mehr von Alluxio, Inc. (20)
Alluxio's Use and Practice in Didi
- 5. Presto架构和特点-功能和特点 • Ad-hoc，期望查询时间秒级或几分钟 • 比Hive快10倍 • 支持多数据源，如Hive、Kafka、MySQL、MongoDB、Redis、JMX等， 也可自己实现Connector • Client Protocol: HTTP+JSON, support various languages(Python, Ruby, PHP, Node.js,Go,Java) • 支持JDBC/ODBC连接 • ANSI SQL
- 10. 常见问题和解决办法-精度 Query: select round(cross_city_order_cnt/all_type_order_cnt,4) cross_city_order_rate from table; Result: cross_city_order_rate ----------------------- 0 修改为： select round(payed_order_cnt/cast(complete_order_cnt as double),4) cross_city_order_rate from table; Result: cross_city_order_rate ----------------------- 0.8174
- 11. 常见问题和解决办法-变长参数 Query: select product_id from table where city_id=1 and product_id in (1,2,3,4) and concat_ws('-',year,month,day)='2017-12-01' and channel<>1 and channel<>1010000001 limit 100; 修改为： select product_id from table where city_id=1 and product_id in (1,2,3,4) and array_join(ARRAY[year,month,day],‘-’,‘’)=‘2017-12-01’ and channel<>1 and channel<>1010000001 limit 100;
- 12. 常见问题和解决办法-消费问题 问题： Query XXX has not been accessed since 原因： 数据分页输出，5分钟不消费抛弃查询
- 15. 常见问题和解决办法-高并发 问题： Encountered too many errors talking to a worker node. The node may have crashed or be under too much load. This is probably a transient issue, so please retry your query in a few minutes. 原因： task.max-worker-threads=cores*4; 解决办法： config.properties配置合适的值
- 16. 常见问题和解决办法-监控 • Web UI • basic query status check • JMX HTTP API • GET /v1/jmx/mbean[/{objectName}] • com.facebook.presto.execution:name=TaskManager • com.facebook.presto.execution:name=QueryManager • com.facebook.presto.execution:name=NodeScheduler
- 19. Alluxio架构原理（一）
- 20. Alluxio架构原理（二）
- 23. Presto On Alluxio（一） • Ad-hoc查询利用Alluxio加速 • 跨机房访问数据 • Alluxio对Presto的友好支持 • 对查询性能要求较高（速度/稳定性）
- 24. Presto On Alluxio（二） DataNode DataNode DataNode Alluxio Worker Presto Worker Alluxio Worker Presto Worker Alluxio Worker Presto Worker DataNode Presto CLI Presto JDBC HDFS
- 25. Presto On Alluxio（三） 测试数据集 表A 表B 行数 15 millions 15 millions 大小 17 GB 17 GB Alluxio v1.6.1，5台worker，每台worker10g 24c Presto v0.187，5台worker，每台worker48g 24c Query select count(a.pag_id) from a inner join b on a.pag_id = b.pag_id group by a.pt limit 100;
- 26. Presto On Alluxio（四） 执行时间(s) 序号 Presto On Alluxio Presto On HDFS 1 15.72 41.79 2 15.24 29.37 3 14.00 31.15 4 15.72 29.72 5 14.91 26.13 6 14.11 26.93 7 15.14 24.23 8 15.05 42.43 9 15.73 26.27 10 15.44 29.75
- 28. Presto On Alluxio（六） • alluxio.master.hostname • alluxio.worker.hostname • alluxio.user.hostname • alluxio.user.short.circuit.enabled • alluxio.user.file.passive.cache.enabled • hive.max-split-size • hive.force-local-scheduling
- 30. Alluxio未来规划 分位数 SQL 编 辑执行 时长 （秒） 模板执行 时长（秒） 5 35 54 10 49 78 15 61 102 20 72 128 25 85 161 30 99 206 35 113 264 40 130 332 45 152 412 50 181 499 55 221 590 60 275 691 65 350 809 70 453 955 75 584 1129 80 768 1328 85 1058 1593 90 1347 1993 95 2044 2753