Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Ice dw-v contest2010

347 Aufrufe

Veröffentlicht am

Veröffentlicht in: Daten & Analysen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Ice dw-v contest2010

  1. 1. Đơn vị: Adtech Thành viên: Trần Văn Giang, Nguyễn Trọng Thành
  2. 2.  Đặt vấn đề về bài toán.  Các giải pháp truyền thống.  Các giải pháp về Data Warehouse (DW).  Giải pháp ICE.  Kết quả đạt được.  Đánh giá.
  3. 3.  Yêu cầu: ◦ Dữ liệu cập nhật/tính toán nhanh. ◦ Có khả năng lưu trữ/tính toán dữ liệu lớn (hàng 100 tỷ rows). ◦ Tối ưu chi phí tài nguyên hệ thống, maintains. ◦ Tính tương thích & ổn định.
  4. 4.  Trên thế giới có rất nhiều giải pháp DW, với nhiều công nghệ đặc thù cho từng giải pháp.
  5. 5. ◦ Tốc độ load data vào table rất nhanh. 1 server thông thường cho tốc độ khoảng 60->80GB/h. ◦ Data up to 50TB. ◦ Open source: cho phép install trên cả windows ,Linux,… (32 & 64 bit). ◦ Chỉ cần setup lên 1 server là chạy tốt.
  6. 6.  Ứng dụng cho bài toán của Admicro: ◦ Máy chủ 2U 2CPU Quad Cores, 32Gb RAM, HDD 6TB RAID10. ◦ Dữ liệu log hàng ngày khoảng 500M rows ~ 100GB raw data (Peak 1.6B rows ~400Gb/day). ◦ Dữ liệu hiện đang lưu trữ: 90 tỷ bản ghi, dữ liệu >1TB (đã nén). ◦ Thời gian xử lý 2->5 phút.
  7. 7.  Sử dụng ICE giúp giảm số servers… chi phí tối thiểu. Thời điểm hiện tại ICE là phù hợp với Admicro.  Nhưng ICE chưa phải là giải pháp lâu dài. (chưa hỗ trợ distributed, HA, giới hạn data size,… ).  Trong tương lai với data hàng PB thì sẽ chuyển sang các nền tảng phân tán như Hbase, HyperTable, Cassandra…
  8. 8. http://www.infobright.org/ http://blog.nahurst.com/visual-guide-to-nosql-systems?c=1 http://www.slideshare.net/jrosoff/scalable-event-analytics- with-mongodb-ruby-on-rails http://nosql-database.org/
  9. 9. Câu hỏi liên quan?

×