SlideShare ist ein Scribd-Unternehmen logo
1 von 15
Downloaden Sie, um offline zu lesen
大数据知识及技术简介 
作者:李烨
内容提纲 
•背景介绍 
•基础概念 
•大数据 
•大数据分析 
•相关技术 
•相关职位 
•社会影响
信息过载 
•1880 美国人口普查 
•1941 “信息爆炸” 
•1944 Fremont Rider 发现:美 国大学图书馆藏书每16年倍增 
•1961 DerekPrice推进Rider的发 现
大数据时代
基本概念 
•数据 
•数据可视化 
•数据分析 
•数据挖掘 
•Machine Learning 
•预测和建模 
•“数据科学”
大数据 
•Volume:大量 
•Velocity:高速 
•Variety:多样 
•Value:价值
大数据分析
大数据分析 
•与传统数据分析的区别 
•运算追逐数据 
•生成同步处理 
•全体取代抽样 
•当前难点 
•数据处理——处理大量、高速、多样的数据 
•数据分析——现有算法的并行化
数据及数据分析相关职位 
传统职位 
•统计 
•Business Intelligence 
•数据分析师(data analyst) 
大数据相关职位 
•算法研究(researcher) 
•数据科学家(data scientist) 
•数据工程师(data engineer) 
•数据保障(data quality)
大数据技术 
•分布式存储+ 并行计算 
•云计算
Hadoop 
•HDFS + MapReduce 
•Hadoop
Hadoop Alternatives & Related 
•Storm 
•Spark 
•Mahout 
•SAS on Hadoop
NoSQL Database 
•NOT ONLY SQL 
•MongoDB 
•Redis 
•Cassandra 
•Hbase 
•Run SQL on KeyValuePair 
•Hive 
•Pig
大数据的影响 
•定量分析 
•从必然到相关 
•信息安全
谢谢! ye.julia.li@gmail.com

Weitere ähnliche Inhalte

Andere mochten auch

Hadoop-分布式数据平台
Hadoop-分布式数据平台Hadoop-分布式数据平台
Hadoop-分布式数据平台Jacky Chi
 
Qcon2013 罗李 - hadoop在阿里
Qcon2013 罗李 - hadoop在阿里Qcon2013 罗李 - hadoop在阿里
Qcon2013 罗李 - hadoop在阿里li luo
 
大數據導讀
大數據導讀大數據導讀
大數據導讀良政 張
 
超基本網站分析,數據會說話(網路版)
超基本網站分析,數據會說話(網路版)超基本網站分析,數據會說話(網路版)
超基本網站分析,數據會說話(網路版)Wanju Wang
 
行動廣告與大數據資料分析策略與執行
行動廣告與大數據資料分析策略與執行行動廣告與大數據資料分析策略與執行
行動廣告與大數據資料分析策略與執行Craig Chao
 
Impact of big data on analytics
Impact of big data on analyticsImpact of big data on analytics
Impact of big data on analyticsCapgemini
 

Andere mochten auch (6)

Hadoop-分布式数据平台
Hadoop-分布式数据平台Hadoop-分布式数据平台
Hadoop-分布式数据平台
 
Qcon2013 罗李 - hadoop在阿里
Qcon2013 罗李 - hadoop在阿里Qcon2013 罗李 - hadoop在阿里
Qcon2013 罗李 - hadoop在阿里
 
大數據導讀
大數據導讀大數據導讀
大數據導讀
 
超基本網站分析,數據會說話(網路版)
超基本網站分析,數據會說話(網路版)超基本網站分析,數據會說話(網路版)
超基本網站分析,數據會說話(網路版)
 
行動廣告與大數據資料分析策略與執行
行動廣告與大數據資料分析策略與執行行動廣告與大數據資料分析策略與執行
行動廣告與大數據資料分析策略與執行
 
Impact of big data on analytics
Impact of big data on analyticsImpact of big data on analytics
Impact of big data on analytics
 

大数据知识及技术简介(Introduction to basic concepts and techiques of big data in Chinese)