SlideShare ist ein Scribd-Unternehmen logo
1 von 12
Downloaden Sie, um offline zu lesen
Big Data Engineering
Team Meeting
Feb.23, 2012
Big Data Engineering Team
Schubert Zhang
Agenda
• 目前和下阶段工作的讨论
– A (内部资料,不公开)
– B (内部资料,不公开)
– C (内部资料,不公开)
– D (内部资料,不公开)
– E (内部资料,不公开)
– F (内部资料,不公开)
– G (内部资料,不公开)
– H (内部资料,不公开)
• 团队建设,职业成长和要求
2
目前和下阶段工作的讨论
工作和技术讨论:
3
(内部资料,不公开)
• 此处省略10页
4
团队建设,职业成长和要求
我们必须成长和进步:
5
工作和职业纪律
• 团队和公司内部
– 合作、谦逊、讨论、分享,共同成长、进步
– 降低噪音,以工作为中心
– 做开放、上进的团队
• 对外
– 代表公司和团队,而不仅仅是个人
– 形象、精神面貌
– Professional! 做事有板有眼,一切以取得好的结果为中心
• 责任
• 我们在一个公司和团队里,如果决定干下去就必须知道
– 公司成功,我们才能成功
– Growing with the company!
– 个人履历里面的Value:
• 成功的公司
• 好的产品和服务
• 有价值的贡献:写的文章/博客,公开的代码/Github,都是自己简历
6
Professionally做具体事
• 日常文档和沟通
– 分析需求
– 研究报告
– High Level Design
– Detailed Design
– 测试方案和用例
– 任何形式的把问题写清楚和写深入的文档
• 不分巨细,不分贵贱,不分高低
– 有的时候只有写下来,跟人讨论才能把细枝末
节考虑全面和清楚
• 理论上明白并不代表能做
• 开发工作的30%是解决关键问题,70%在做细枝
末节
• “如果你讲不清楚,说明你没有真理解或想清楚”
• 产品级的文档(我们要逐渐形成)
– 产品/系统说明
– 产品/系统使用说明/API说明
– 产品/系统安装配置手册
– 产品/系统测试评估报告
• 测试
– 测试也要好好设计
– 单元和局部测试要方法、公正、全面
– 系统测试要知道测试的目的是什么,哪些点是
要测试评估的
• 有针对性地去设计测试用例和编写测试程序
– 开发Benchmark程序也是很有技术含量的
• 可交付
– 任何时候要尽量做到可以快速交付,做好个人
开发的Features和阶段管理
– 做事要有条理,有里程碑
– 不能说“这事很简单,好做,但做出来的总是效
果不好,或者总要返工”,宁愿开始的时候多讨
论,多修改思路和设计。
7
成长和进步的态度
• 学习
– 特别是老人更要学习,没有进步就会被甩在后面
• 贡献和分享
– 无论代码、文章、话题讨论、看到有价值的资料…. 分享
给Team,无论你觉得对他人是否有用,只要你觉得有用
• 最关键的
– 要Enjoy在做的事情。
8
Know our Company and Product
• 有人问你我们的公司和产品是干什么的?
– 除了笼统的”Cloud Computing”, “Big Data”外呢?
• 我们做的事情和产品
– Big Storage: 我们能存储和管理PB甚至100PB数据。我们有oHive/HB-
CSS(oHive是产品核心,HB-CSS是解决方案)
– Big Data Analysis: 我们能管理和快速分析大规模的数据,包括普通的统计
分析还有深入BI分析,OLAP,Data Mining。我们有HugeTable和HB-CDW产
品(HugeTable是产品核心,HB-CDW是解决方案)
– Big Cluster Management:我们能管理几千上万台服务器的集群,管理IDC,
提供运维服务。我们有ClusterMaster产品。
– 总结一句话:大数据存储、大数据分析、大集群管理
– 我们还有Open Source …. 见Github
9
总结
• Enjoy Your Work!
• 与公司共同成长!公司团队成功,自己成功!
• 做事专业,事无巨细贵贱,做细做深入很重要,每件
事情都要有Output和结果。
• 学习、分享、贡献。
10
Our Philosophy
• Relentlessly Drive for Results and Engagement!
• Deeply know our Products, Services and Solutions, not just only for buzz
words! Cloud computing, Big Data? Forget all of them!
• Sense of OUR business!
• Mindset for both the short-term and the mid-term benefit
• Sense of Feasibility and Valuation
• Mutual Benefit / Partnership …
11
Thank You!
12

Weitere ähnliche Inhalte

Andere mochten auch

HBase Coprocessor Introduction
HBase Coprocessor IntroductionHBase Coprocessor Introduction
HBase Coprocessor IntroductionSchubert Zhang
 
DaStor/Cassandra report for CDR solution
DaStor/Cassandra report for CDR solutionDaStor/Cassandra report for CDR solution
DaStor/Cassandra report for CDR solutionSchubert Zhang
 
Hadoop大数据实践经验
Hadoop大数据实践经验Hadoop大数据实践经验
Hadoop大数据实践经验Schubert Zhang
 
Introduction To HBase
Introduction To HBaseIntroduction To HBase
Introduction To HBaseAnil Gupta
 
HBase Vs Cassandra Vs MongoDB - Choosing the right NoSQL database
HBase Vs Cassandra Vs MongoDB - Choosing the right NoSQL databaseHBase Vs Cassandra Vs MongoDB - Choosing the right NoSQL database
HBase Vs Cassandra Vs MongoDB - Choosing the right NoSQL databaseEdureka!
 
Engineering practices in big data storage and processing
Engineering practices in big data storage and processingEngineering practices in big data storage and processing
Engineering practices in big data storage and processingSchubert Zhang
 

Andere mochten auch (7)

HBase Coprocessor Introduction
HBase Coprocessor IntroductionHBase Coprocessor Introduction
HBase Coprocessor Introduction
 
DaStor/Cassandra report for CDR solution
DaStor/Cassandra report for CDR solutionDaStor/Cassandra report for CDR solution
DaStor/Cassandra report for CDR solution
 
Hadoop大数据实践经验
Hadoop大数据实践经验Hadoop大数据实践经验
Hadoop大数据实践经验
 
HiveServer2
HiveServer2HiveServer2
HiveServer2
 
Introduction To HBase
Introduction To HBaseIntroduction To HBase
Introduction To HBase
 
HBase Vs Cassandra Vs MongoDB - Choosing the right NoSQL database
HBase Vs Cassandra Vs MongoDB - Choosing the right NoSQL databaseHBase Vs Cassandra Vs MongoDB - Choosing the right NoSQL database
HBase Vs Cassandra Vs MongoDB - Choosing the right NoSQL database
 
Engineering practices in big data storage and processing
Engineering practices in big data storage and processingEngineering practices in big data storage and processing
Engineering practices in big data storage and processing
 

Mehr von Schubert Zhang

Engineering Culture and Infrastructure
Engineering Culture and InfrastructureEngineering Culture and Infrastructure
Engineering Culture and InfrastructureSchubert Zhang
 
Simple practices in performance monitoring and evaluation
Simple practices in performance monitoring and evaluationSimple practices in performance monitoring and evaluation
Simple practices in performance monitoring and evaluationSchubert Zhang
 
Ganglia轻度使用指南
Ganglia轻度使用指南Ganglia轻度使用指南
Ganglia轻度使用指南Schubert Zhang
 
Learning from google megastore (Part-1)
Learning from google megastore (Part-1)Learning from google megastore (Part-1)
Learning from google megastore (Part-1)Schubert Zhang
 
Hanborq optimizations on hadoop map reduce 20120221a
Hanborq optimizations on hadoop map reduce 20120221aHanborq optimizations on hadoop map reduce 20120221a
Hanborq optimizations on hadoop map reduce 20120221aSchubert Zhang
 
Cassandra Compression and Performance Evaluation
Cassandra Compression and Performance EvaluationCassandra Compression and Performance Evaluation
Cassandra Compression and Performance EvaluationSchubert Zhang
 
The World of Structured Storage System
The World of Structured Storage SystemThe World of Structured Storage System
The World of Structured Storage SystemSchubert Zhang
 
Distributed Filesystems Review
Distributed Filesystems ReviewDistributed Filesystems Review
Distributed Filesystems ReviewSchubert Zhang
 
Red Hat Global File System (GFS)
Red Hat Global File System (GFS)Red Hat Global File System (GFS)
Red Hat Global File System (GFS)Schubert Zhang
 
无线信息传媒的技术分析和商业模式
无线信息传媒的技术分析和商业模式无线信息传媒的技术分析和商业模式
无线信息传媒的技术分析和商业模式Schubert Zhang
 
Case Study - How Rackspace Query Terabytes Of Data
Case Study - How Rackspace Query Terabytes Of DataCase Study - How Rackspace Query Terabytes Of Data
Case Study - How Rackspace Query Terabytes Of DataSchubert Zhang
 
HFile: A Block-Indexed File Format to Store Sorted Key-Value Pairs
HFile: A Block-Indexed File Format to Store Sorted Key-Value PairsHFile: A Block-Indexed File Format to Store Sorted Key-Value Pairs
HFile: A Block-Indexed File Format to Store Sorted Key-Value PairsSchubert Zhang
 
HBase 0.20.0 Performance Evaluation
HBase 0.20.0 Performance EvaluationHBase 0.20.0 Performance Evaluation
HBase 0.20.0 Performance EvaluationSchubert Zhang
 

Mehr von Schubert Zhang (17)

Blockchain in Action
Blockchain in ActionBlockchain in Action
Blockchain in Action
 
科普区块链
科普区块链科普区块链
科普区块链
 
Engineering Culture and Infrastructure
Engineering Culture and InfrastructureEngineering Culture and Infrastructure
Engineering Culture and Infrastructure
 
Simple practices in performance monitoring and evaluation
Simple practices in performance monitoring and evaluationSimple practices in performance monitoring and evaluation
Simple practices in performance monitoring and evaluation
 
Ganglia轻度使用指南
Ganglia轻度使用指南Ganglia轻度使用指南
Ganglia轻度使用指南
 
Big data and cloud
Big data and cloudBig data and cloud
Big data and cloud
 
Learning from google megastore (Part-1)
Learning from google megastore (Part-1)Learning from google megastore (Part-1)
Learning from google megastore (Part-1)
 
Hanborq optimizations on hadoop map reduce 20120221a
Hanborq optimizations on hadoop map reduce 20120221aHanborq optimizations on hadoop map reduce 20120221a
Hanborq optimizations on hadoop map reduce 20120221a
 
Cassandra Compression and Performance Evaluation
Cassandra Compression and Performance EvaluationCassandra Compression and Performance Evaluation
Cassandra Compression and Performance Evaluation
 
The World of Structured Storage System
The World of Structured Storage SystemThe World of Structured Storage System
The World of Structured Storage System
 
Distributed Filesystems Review
Distributed Filesystems ReviewDistributed Filesystems Review
Distributed Filesystems Review
 
Red Hat Global File System (GFS)
Red Hat Global File System (GFS)Red Hat Global File System (GFS)
Red Hat Global File System (GFS)
 
pNFS Introduction
pNFS IntroductionpNFS Introduction
pNFS Introduction
 
无线信息传媒的技术分析和商业模式
无线信息传媒的技术分析和商业模式无线信息传媒的技术分析和商业模式
无线信息传媒的技术分析和商业模式
 
Case Study - How Rackspace Query Terabytes Of Data
Case Study - How Rackspace Query Terabytes Of DataCase Study - How Rackspace Query Terabytes Of Data
Case Study - How Rackspace Query Terabytes Of Data
 
HFile: A Block-Indexed File Format to Store Sorted Key-Value Pairs
HFile: A Block-Indexed File Format to Store Sorted Key-Value PairsHFile: A Block-Indexed File Format to Store Sorted Key-Value Pairs
HFile: A Block-Indexed File Format to Store Sorted Key-Value Pairs
 
HBase 0.20.0 Performance Evaluation
HBase 0.20.0 Performance EvaluationHBase 0.20.0 Performance Evaluation
HBase 0.20.0 Performance Evaluation
 

Big Data Engineering Team Meeting 20120223a

  • 1. Big Data Engineering Team Meeting Feb.23, 2012 Big Data Engineering Team Schubert Zhang
  • 2. Agenda • 目前和下阶段工作的讨论 – A (内部资料,不公开) – B (内部资料,不公开) – C (内部资料,不公开) – D (内部资料,不公开) – E (内部资料,不公开) – F (内部资料,不公开) – G (内部资料,不公开) – H (内部资料,不公开) • 团队建设,职业成长和要求 2
  • 6. 工作和职业纪律 • 团队和公司内部 – 合作、谦逊、讨论、分享,共同成长、进步 – 降低噪音,以工作为中心 – 做开放、上进的团队 • 对外 – 代表公司和团队,而不仅仅是个人 – 形象、精神面貌 – Professional! 做事有板有眼,一切以取得好的结果为中心 • 责任 • 我们在一个公司和团队里,如果决定干下去就必须知道 – 公司成功,我们才能成功 – Growing with the company! – 个人履历里面的Value: • 成功的公司 • 好的产品和服务 • 有价值的贡献:写的文章/博客,公开的代码/Github,都是自己简历 6
  • 7. Professionally做具体事 • 日常文档和沟通 – 分析需求 – 研究报告 – High Level Design – Detailed Design – 测试方案和用例 – 任何形式的把问题写清楚和写深入的文档 • 不分巨细,不分贵贱,不分高低 – 有的时候只有写下来,跟人讨论才能把细枝末 节考虑全面和清楚 • 理论上明白并不代表能做 • 开发工作的30%是解决关键问题,70%在做细枝 末节 • “如果你讲不清楚,说明你没有真理解或想清楚” • 产品级的文档(我们要逐渐形成) – 产品/系统说明 – 产品/系统使用说明/API说明 – 产品/系统安装配置手册 – 产品/系统测试评估报告 • 测试 – 测试也要好好设计 – 单元和局部测试要方法、公正、全面 – 系统测试要知道测试的目的是什么,哪些点是 要测试评估的 • 有针对性地去设计测试用例和编写测试程序 – 开发Benchmark程序也是很有技术含量的 • 可交付 – 任何时候要尽量做到可以快速交付,做好个人 开发的Features和阶段管理 – 做事要有条理,有里程碑 – 不能说“这事很简单,好做,但做出来的总是效 果不好,或者总要返工”,宁愿开始的时候多讨 论,多修改思路和设计。 7
  • 8. 成长和进步的态度 • 学习 – 特别是老人更要学习,没有进步就会被甩在后面 • 贡献和分享 – 无论代码、文章、话题讨论、看到有价值的资料…. 分享 给Team,无论你觉得对他人是否有用,只要你觉得有用 • 最关键的 – 要Enjoy在做的事情。 8
  • 9. Know our Company and Product • 有人问你我们的公司和产品是干什么的? – 除了笼统的”Cloud Computing”, “Big Data”外呢? • 我们做的事情和产品 – Big Storage: 我们能存储和管理PB甚至100PB数据。我们有oHive/HB- CSS(oHive是产品核心,HB-CSS是解决方案) – Big Data Analysis: 我们能管理和快速分析大规模的数据,包括普通的统计 分析还有深入BI分析,OLAP,Data Mining。我们有HugeTable和HB-CDW产 品(HugeTable是产品核心,HB-CDW是解决方案) – Big Cluster Management:我们能管理几千上万台服务器的集群,管理IDC, 提供运维服务。我们有ClusterMaster产品。 – 总结一句话:大数据存储、大数据分析、大集群管理 – 我们还有Open Source …. 见Github 9
  • 10. 总结 • Enjoy Your Work! • 与公司共同成长!公司团队成功,自己成功! • 做事专业,事无巨细贵贱,做细做深入很重要,每件 事情都要有Output和结果。 • 学习、分享、贡献。 10
  • 11. Our Philosophy • Relentlessly Drive for Results and Engagement! • Deeply know our Products, Services and Solutions, not just only for buzz words! Cloud computing, Big Data? Forget all of them! • Sense of OUR business! • Mindset for both the short-term and the mid-term benefit • Sense of Feasibility and Valuation • Mutual Benefit / Partnership … 11