Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Big data بزرگ داده ها

7.873 Aufrufe

Veröffentlicht am

مقدمه ای بر بزرگ داده ها و ابزار های موجود در آن

Veröffentlicht in: Ingenieurwesen
  • Dating for everyone is here: ❶❶❶ http://bit.ly/2u6xbL5 ❶❶❶
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • Follow the link, new dating source: ❶❶❶ http://bit.ly/2u6xbL5 ❶❶❶
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • جناب آقای سهرابی سلام. متاسفانه فونت های فایل پی دی اف به هم ریخته و بعضا نامفهوم هست. امکان اصلاح و یا ارسال فایل پاورپوینت برای بنده رو دارید؟ ممنون
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • جناب سهرابی سلام. متاسفانه فونت های فایل پی دی اف به هم ریخته و بعضا نامفهوم هست. امکان اصلاح و یا ارسال فایل پاورپوینت برای بنده رو دارید؟
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • جناب سهرابی سلام
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier

Big data بزرگ داده ها

  1. 1. ‫مقدمه‬‫بر‬ ‫ای‬Big Data ‫استاد‬:‫ی‬‫خنجر‬ ‫دکتر‬ ‫دهندگان‬‫ائه‬‫ر‬‫ا‬:‫سهرابی‬ ‫امید‬ ،‫حسنوند‬ ‫سعید‬
  2. 2. www.company.com ‫مطالب‬ ‫فهرست‬ •Big Data‫چیست‬‫؟‬ •‫ا‬‫ر‬‫چ‬Big Data‫؟‬ •‫چالش‬‫پیشه‬‫های‬‫ی‬‫و‬‫ر‬Big Data •‫آینده‬‫ی‬Big Data •‫جنبش‬NoSQL •‫انواع‬NoSQL •MapReduce •Hadoop 1
  3. 3. www.company.com Big Data‫چیست؟‬2 •‫معنای‬‫ی‬‫لغو‬ •‫داده‬ ‫کالن‬ •‫داده‬‫حجیم‬‫های‬ •‫داده‬ ‫گ‬‫ر‬‫بز‬ •‫تعریف‬ •‫د‬‫ر‬‫ندا‬ ‫وجود‬‫واحدی‬‫تعریف‬! •‫تعریف‬ ‫تمامی‬ ‫در‬ ‫اصلی‬ ‫عنصر‬ ‫دو‬‫ها‬ •‫داده‬ ‫از‬ ‫یادی‬‫ز‬ ‫حجم‬ ِ‫وجود‬‫ها‬ •‫پایگاه‬ ِ‫ناتوانی‬‫داده‬ ‫مدیریت‬ ‫در‬ ‫سنتی‬ ‫داده‬ ‫های‬‫ها‬
  4. 4. www.company.com Big Data‫چیست؟‬3 •‫ویژگی‬‫ها‬ Big Data
  5. 5. www.company.com Big Data‫چیست؟‬4 •‫داده‬‫حجم‬‫ها‬(Volume) •‫سال‬ ‫تا‬2003‫داده‬ ‫کل‬ ‫حجم‬‫حدود‬ ،‫موجود‬ ‫های‬ 5‫است‬ ‫بوده‬ ‫اگزابایت‬ •،‫روز‬ ‫دو‬ ‫هر‬ ‫در‬ ‫امروزه‬‫حدود‬5‫اگزابایت‬ ‫می‬ ‫تولید‬ ‫داده‬‫شود‬ •‫ش‬‫ر‬‫گزا‬IBM •‫تولید‬2.5‫روز‬ ‫در‬ ‫داده‬ ‫اگزابایت‬ •‫تولید‬90‫داده‬ ‫کل‬ ‫درصد‬‫دو‬ ‫در‬ ‫موجود‬ ‫های‬ ‫اخیر‬ ‫سال‬ 0.8 Zb 35.2 Zb‫رشدی‬44 ‫برابری‬ 2009 2020
  6. 6. www.company.com Big Data‫چیست؟‬5 •‫داده‬‫حجم‬‫ها‬(Volume) •‫سال‬ ‫تا‬2003‫داده‬ ‫کل‬ ‫حجم‬‫حدود‬ ،‫موجود‬ ‫های‬ 5‫است‬ ‫بوده‬ ‫اگزابایت‬ •،‫روز‬ ‫دو‬ ‫هر‬ ‫در‬ ‫امروزه‬‫حدود‬5‫اگزابایت‬ ‫می‬ ‫تولید‬ ‫داده‬‫شود‬ •‫ش‬‫ر‬‫گزا‬IBM •‫تولید‬2.5‫روز‬ ‫در‬ ‫داده‬ ‫اگزابایت‬ •‫تولید‬90‫داده‬ ‫کل‬ ‫درصد‬‫دو‬ ‫در‬ ‫موجود‬ ‫های‬ ‫اخیر‬ ‫سال‬ EXA 218 PETA 215 TERA 212 ZETTA 221 GIGA 29 2018 2015 2012 2003
  7. 7. www.company.com Big Data‫چیست؟‬6 •‫ها‬ ‫داده‬‫حجم‬(Volume)
  8. 8. www.company.com Big Data‫چیست؟‬7 •‫نمونه‬‫ها‬ •‫فیسبوک‬(1392) •‫بر‬‫ر‬‫کا‬ ‫د‬‫ر‬‫میلیا‬ ‫یک‬ ‫از‬ ‫بیش‬ •‫از‬ ‫بیش‬300‫داده‬ ‫پتابایت‬ •‫از‬‫بیش‬ ِ‫شدن‬ ‫اضافه‬50‫ز‬‫و‬‫ر‬ ‫در‬ ‫داده‬‫ترابایت‬ •‫از‬ ‫بیش‬35‫ی‬‫مجاز‬ ‫دنیای‬ ‫تصاویر‬ ِ‫کل‬ ‫از‬ ‫صد‬‫ر‬‫د‬ •‫گوگل‬(1390) •‫داده‬ ‫پتابایت‬ ‫صد‬ ‫از‬ ‫بیش‬ –‫از‬ ‫بیش‬1000‫وب‬ ‫صفحه‬ ‫د‬‫ر‬‫میلیا‬ •‫حدود‬7.2‫جست‬ ‫د‬‫ر‬‫میلیا‬‫ز‬‫و‬‫ر‬ ‫در‬ ‫وجو‬
  9. 9. www.company.com Big Data‫چیست؟‬8 •‫نمونه‬‫ها‬ •‫یوتیوب‬(1393) •‫داده‬‫اگزابایت‬ ‫یک‬ ‫از‬ ‫بیش‬ •‫ماه‬ ‫در‬ ‫بر‬‫ر‬‫کا‬ ‫د‬‫ر‬‫میلیا‬ ‫یک‬ ‫از‬ ‫بیش‬ ِ‫دید‬‫ز‬‫با‬ •80‫آمریکا‬ ‫از‬ ‫خارج‬‫ترافیک‬ ‫صد‬‫ر‬‫د‬ •‫دقیقه‬ ‫در‬ ‫فیلم‬ ‫ساعت‬ ‫صد‬ ‫شدن‬ ‫اضافه‬ •‫توییتر‬(1393) •‫بر‬‫ر‬‫کا‬ ‫د‬‫ر‬‫میلیا‬ ‫یک‬ ‫حدود‬ •‫از‬ ‫بیش‬124‫سال‬ ‫در‬ ‫توییت‬ ‫د‬‫ر‬‫میلیا‬ •‫حدود‬4500‫ثانیه‬ ‫در‬ ‫توییت‬ •271‫ماه‬ ‫در‬ ‫فعال‬ ‫بر‬‫ر‬‫کا‬ ‫ن‬‫میلیو‬
  10. 10. www.company.com Big Data‫چیست؟‬9 •‫نمونه‬‫ها‬ •‫شبکه‬‫حسگر‬ ‫های‬ •‫مان‬‫ز‬‫سا‬‫ی‬ ‫هواشناس‬ ‫های‬ •‫دستگاه‬‫پزشکی‬‫های‬ •‫ماتیک‬‫ر‬‫بیوانفو‬ •‫مان‬‫ز‬‫سا‬‫گ‬‫ر‬‫بز‬ ‫های‬ •‫و‬...
  11. 11. www.company.com Big Data‫چیست؟‬10 •‫ویژگی‬‫ها‬ Big Data
  12. 12. www.company.com Big Data‫چیست؟‬11 •‫داده‬ ‫در‬ ‫تنوع‬‫ها‬(Variety) •‫داده‬‫های‬‫مند‬‫ر‬‫ساختا‬(Structured) •‫داده‬‫هستند‬ ‫مشخصی‬ ِ‫ساختار‬ ‫دارای‬ ‫که‬ ‫هایی‬ –‫ها‬ ‫رشته‬ –‫اعداد‬ –‫تاریخ‬ –‫و‬... •‫حدود‬20‫داده‬ ‫کل‬ ‫از‬ ‫درصد‬،‫موجود‬ ‫های‬ ‫هستند‬ ‫ساختارمند‬ •‫پایگاه‬ ‫از‬ ‫استفاده‬‫داده‬ ‫های‬‫رابطه‬ ‫ی‬‫ای‬
  13. 13. www.company.com Big Data‫چیست؟‬12 •‫داده‬ ‫در‬ ‫تنوع‬‫ها‬(Variety) •‫داده‬‫مند‬‫ر‬‫ساختا‬‫های‬(Structured) •‫داده‬‫های‬‫مند‬‫ر‬‫ساختا‬‫نیمه‬(Semi-Structured) •‫ندارند‬ ‫مشابه‬ ‫و‬ ‫سازگار‬ ‫ساختاری‬ –XML –Tweets –SGML –Logs –‫و‬... •‫ی‬ ‫داده‬ ‫های‬ ‫پایگاه‬ ‫از‬ ‫استفاده‬ ‫امکان‬ ‫عدم‬ ‫رابطه‬‫ای‬
  14. 14. www.company.com Big Data‫چیست؟‬13 •‫داده‬ ‫در‬ ‫تنوع‬‫ها‬(Variety) •‫داده‬‫مند‬‫ر‬‫ساختا‬‫های‬(Structured) •‫داده‬‫های‬‫مند‬‫ر‬‫ساختا‬‫نیمه‬(Semi-Structured) •‫داده‬‫های‬‫ساختار‬ ‫فاقد‬(Unstructured) •‫هستند‬ ‫ساختاری‬ ‫هرگونه‬ ‫فاقد‬ –‫داده‬‫رسانه‬ ‫چند‬ ‫های‬‫ای‬(‫و‬ ‫صوت‬ ،‫فیلم‬)... –‫ایمیل‬‫ها‬ –‫گزارشات‬ –‫ارائه‬‫ها‬ –‫و‬.... •‫حدود‬70‫تا‬90‫داده‬ ‫کل‬ ‫از‬ ‫درصد‬‫موجود‬ ‫های‬
  15. 15. www.company.com Big Data‫چیست؟‬14 •‫ها‬‫داده‬ ‫در‬ ‫تنوع‬(Variety)
  16. 16. www.company.com Big Data‫چیست؟‬15 •‫ویژگی‬‫ها‬ Big Data
  17. 17. www.company.com Big Data‫چیست؟‬16 •‫داده‬‫سریع‬‫شد‬‫ر‬‫ها‬(velocity) •‫داد‬ ِ‫تولید‬ ‫در‬‫باال‬‫سرعت‬‫ه‬‫جدید‬‫های‬
  18. 18. www.company.com Big Data‫چیست؟‬17 •‫داده‬‫سریع‬‫شد‬‫ر‬‫ها‬(velocity) •‫داده‬ ‫تولید‬ ‫در‬‫باال‬‫سرعت‬‫جدید‬‫های‬ •‫جوها‬ ‫و‬‫پرس‬‫ایجاد‬ ‫در‬ ‫باال‬‫سرعت‬ ‫علمی‬ ‫تجهیزات‬ ‫شبکه‬‫حسگر‬ ‫های‬
  19. 19. www.company.com Big Data‫چیست؟‬18 •‫پیچیدگی‬(complexity) •‫ی‬‫تغییرپذیر‬(Variability) •‫و‬... Big Data 3V’s •‫ویژگی‬‫ها‬
  20. 20. www.company.com ‫ا‬‫ر‬‫چ‬Big Data‫؟‬19 •‫شد‬‫ر‬‫ی‬‫ساز‬‫ذخیره‬ ‫ادوات‬ ‫ظرفیت‬‫ن‬‫و‬‫افز‬ ‫ز‬‫و‬‫ر‬
  21. 21. www.company.com ‫ا‬‫ر‬‫چ‬Big Data‫؟‬20 •‫ی‬‫ساز‬‫ذخیره‬‫ادوات‬ ‫ظرفیت‬‫ن‬‫و‬‫افز‬ ‫ز‬‫و‬‫ر‬ ‫شد‬‫ر‬ •‫چشم‬‫افزایش‬‫سیستم‬‫ی‬ ‫ش‬‫ز‬‫پردا‬ ‫ت‬‫ر‬‫قد‬ ‫گیر‬‫ها‬
  22. 22. www.company.com ‫ا‬‫ر‬‫چ‬Big Data‫؟‬21 •‫ی‬‫ساز‬‫ذخیره‬‫ادوات‬ ‫ظرفیت‬‫ن‬‫و‬‫افز‬ ‫ز‬‫و‬‫ر‬ ‫شد‬‫ر‬ •‫چشم‬‫افزایش‬‫سیستم‬‫ی‬ ‫ش‬‫ز‬‫پردا‬ ‫ت‬‫ر‬‫قد‬ ‫گیر‬‫ها‬ •‫داده‬ ‫حجم‬‫افزایش‬‫موجود‬‫های‬
  23. 23. www.company.com ‫چالش‬‫پیش‬‫های‬‫ی‬‫و‬‫ر‬Big Data22 •‫ش‬‫و‬‫ر‬‫ایی‬‫ر‬‫کا‬‫عدم‬‫اطالعات‬‫تحلیل‬ ‫سنتی‬‫های‬ •‫داده‬‫تحلیل‬ •‫ی‬ ‫شخص‬‫حریم‬ ‫و‬‫امنیت‬ •‫ی‬ ‫ش‬‫ز‬‫پردا‬‫و‬ ‫فنی‬‫مشکالت‬
  24. 24. www.company.com ‫آینده‬‫ی‬Big Data23 •Big Data‫در‬Google Trend
  25. 25. www.company.com ‫آینده‬‫ی‬Big Data24 •Big Data‫در‬Google Trend
  26. 26. www.company.com ‫آینده‬‫ی‬Big Data25 •‫ی‬ ‫هش‬‫و‬‫پژ‬‫جایگاه‬Big Data‫موسسه‬ ‫نظر‬‫از‬‫تنر‬‫ر‬‫گا‬‫ی‬
  27. 27. www.company.com ‫ای‬‫ر‬‫ب‬ ‫ی‬‫ژ‬‫تکنولو‬ ‫چه‬Big Data‫؟‬ ‫د‬‫ر‬‫دا‬ ‫وجود‬ ‫شده‬‫یع‬‫ز‬‫تو‬ ‫و‬‫ساختار‬ ‫ن‬‫بدو‬ ‫مدل‬ ‫یک‬‫از‬‫استفاده‬ ‫مدل‬ ‫این‬ ‫از‬‫استفاده‬ ‫دلیل‬ 26
  28. 28. www.company.com ‫جنبش‬NoSQL27 ‫یخچه‬‫ر‬‫تا‬ Not Only SQL NoSQL‫که‬ ‫کند‬‫نمی‬ ‫بیان‬SQL‫و‬‫شود‬‫استفاده‬ ‫نباید‬ ‫هیچگاه‬ ‫است‬‫مرده‬ ‫یا‬
  29. 29. ‫ای‬‫ابطه‬‫ر‬ ‫غیر‬ ‫های‬‫داده‬‫پایگاه‬‫از‬‫هایی‬‫مثال‬Company LOGO 28
  30. 30. www.company.com ‫جنبش‬NoSQL–Key Value29 1–‫ی‬‫ساز‬‫ذخیره‬Key – Value: •‫ای‬‫داده‬‫مدل‬:‫کلید‬‫های‬‫ج‬‫و‬‫ز‬ ‫از‬‫ای‬‫مجموعه‬–‫مقدار‬ •‫مثال‬:Tokyo , Redis , Voldemort
  31. 31. www.company.com ‫جنبش‬NoSQL–Column30 2–‫ر‬‫محو‬ ‫ن‬‫ستو‬‫ی‬‫ساز‬‫ذخیره‬: •‫ای‬‫داده‬‫مدل‬:‫سطرها‬ ‫جای‬‫به‬‫ها‬‫ن‬‫ستو‬ ‫ی‬‫ساز‬‫ذخیره‬ •‫مثال‬:Cassandra, HyperTable, HBase
  32. 32. www.company.com ‫جنبش‬NoSQL–Document31 3–‫سندگرا‬‫ی‬‫ساز‬‫ذخیره‬: •‫ای‬‫داده‬‫مدل‬:‫کلید‬‫ی‬‫مجموعه‬ ‫از‬‫ای‬‫مجموعه‬-‫ها‬‫ر‬‫مقدا‬ •‫مثال‬:CouchDB , MongoDB
  33. 33. www.company.com ‫جنبش‬NoSQL–Graph32 4–‫گراف‬‫ی‬‫ساز‬‫ذخیره‬: •‫ای‬‫داده‬‫مدل‬:‫کلید‬ ،‫ها‬‫تباط‬‫ر‬‫ا‬،‫ها‬‫گره‬–‫هرکدام‬‫ی‬‫و‬‫ر‬ ‫مقدار‬ •‫مثال‬:Sones, AllegroGraph , Neo4j
  34. 34. ‫ای‬‫ابطه‬‫ر‬ ‫غیر‬ ‫های‬‫داده‬‫پایگاه‬‫از‬‫هایی‬‫مثال‬Company LOGO 33
  35. 35. www.company.com ‫های‬‫ک‬‫ر‬‫و‬ ‫فریم‬ ‫مقایسه‬NoSQL34  MySQL  MongoDB ‫یا‬ CouchDB  Neo4j
  36. 36. Map ReduceCompany LOGO 35
  37. 37. www.company.com Hadoop36 Hadoop‫همان‬ ،VMware‫متفاوت‬ ‫اهی‬‫ر‬‫در‬‫اما‬ ‫هست‬
  38. 38. ‫تفاوت‬Hadoop‫ی‬‫مجاز‬ ‫ماشین‬ ‫و‬Company LOGO37 Hadoop 1.‫فیزیکی‬ ‫سرور‬ ‫چند‬ ‫گیرد‬‫می‬ ‫را‬ 2.‫هم‬ ‫با‬ ‫را‬ ‫آنها‬ ‫کند‬‫می‬ ‫ترکیب‬ 3.‫بزرگ‬ ‫سرور‬ ‫یک‬ ‫دهد‬‫می‬ ‫ارائه‬ ‫مجازی‬ Vmware 1.‫فیزیکی‬ ‫سرور‬ ‫یک‬ ‫گیرد‬‫می‬ 2.‫شکند‬‫می‬ ‫را‬ ‫آن‬ 3.‫مجازی‬ ‫سرور‬ ‫چند‬ ‫دهد‬‫می‬ ‫ارائه‬
  39. 39. www.company.com ‫ی‬‫گیر‬ ‫نتیجه‬38 ‫ک‬‫ر‬‫و‬‫فریم‬‫یک‬ ‫که‬ ‫گفت‬ ‫قاطعیت‬ ‫با‬‫توان‬‫نمی‬NoSQL ‫است‬ ‫کار‬ ‫یک‬‫مختص‬
  40. 40. ‫منابع‬Company LOGO39 1 - http://www.economistinsights.com/sites/default/files/downloads/ EIU_SAS_BigData_4.pdf 2 - http://en.wikipedia.org/wiki/MapReduce 3 - http://en.wikipedia.org/wiki/NoSQL 4 - http://www.ibm.com/big-data/us/en/ 5 - Marco Grobelink,Jozef stefan Institute,Big-Data Tutorial, 2013.
  41. 41. www.company.com ‫پاسخ‬ ‫و‬ ‫پرسش‬40

×