1. Hadoop HDFS
The Ultimate Storage
tagomoris
2013/05/20 Cassandra Casual #1
13年5月20日月曜日

2. Nodes
• NameNode (metadata)
• 1
• or 2 (NamenodeHA + 3 JournalNodes)
• DataNode (blocks)
• 3~ nodes
• Rack awareness
13年5月20日月曜日

3. Filesystem
• Metadata on Namenode JVM heap
• "OK, Namenode should have giant RAM"
• File with Blocks (default 64MB)
• Block level compression & parallel read
13年5月20日月曜日

4. Compression
• Gzip, Bzip2, ....
• By filename suffix!
• By HDFS specific container file feature
13年5月20日月曜日

5. Replication
• Block level replication
• Default 3 replicas
• Automatically replicated
13年5月20日月曜日

6. Rebalancing
• `start-balancer.sh`
13年5月20日月曜日

7. Protocol
• Java (DFSClient) Native Protocol
• Binary protocol
• Version sensitive
• All clients communicate with all nodes
13年5月20日月曜日

8. Protocol #2
• WebHDFS (Hadoop v1.0~)
• HTTP
• Protocol version defined
• All clients communicate with all nodes
• HttpFs (Hadoop v2.0~)
• HTTP proxy server for DFSClient
• All clients communicate with a node
13年5月20日月曜日

9. Concurrency
• NONE
• Concurrent write(append) breaks file
13年5月20日月曜日

10. Performance
• HDFS is for sequencial access
• and for large (128MB or more) files
• HDFS is not for random access
• HBase is perfect software for you!
13年5月20日月曜日

11. Admin tools
• WebUI with poor CSS
• CLI `hdfs dfsadmin`
13年5月20日月曜日

12. Conclusion
• Use just for Hadoop batches
13年5月20日月曜日