Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Big Data and select suitable tools

3.931 Aufrufe

Veröffentlicht am

Big Data and select suitable tools in Persian.
Special thanks to Mobin Ranjbar @mobinranjbar

Veröffentlicht in: Technologie
  • Sex in your area is here: ❶❶❶ http://bit.ly/39pMlLF ❶❶❶
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • Follow the link, new dating source: ♥♥♥ http://bit.ly/39pMlLF ♥♥♥
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier

Big Data and select suitable tools

  1. 1. 1 بزرگ داده ها و انتخاب ابزار مناسب مقداد حاتمی meghdad.hatami@gmail.com
  2. 2. 2 بزرگ داده Big Data |
  3. 3. 3 بزرگ داده چیست؟
  4. 4. 4 به مجموعه ای از داده ها می گویند که مدیریت، کنترل و پردازش آنها خارج از توانایی راه حل های نرم افزاری موجود است
  5. 5. 5 مثال می خواهید؟
  6. 6. 6 مدارک پزشکی گزارش های وبی جستجوی اینترنتی پژوهش های زمین شناسی داده های هواشناسی RFID ها متون و اسناد اینترنتی شبکه های اجتماعی نجوم آرشیو عکس آرشیو ویدیو
  7. 7. 7 در چه حد بزرگ؟
  8. 8. 8 290 بایت یعنی یک سوتابایت یا حتی بزرگتر از آن
  9. 9. 9 مدیریت این معماری پیچیده، بسیار پر هزینه است، زیرا: 1 - نیاز به افراد بسیار ماهر داریم، به خصوص اگر با فناوری های چندگانه ای درگیر هستیم 2 - زمان بسیار زیادی صرف توسعه و تست می شود
  10. 10. 10 و ......................
  11. 11. 11 گاهی اوقات، این مدیریت معماری، زمان بسیار بیشتری نسبت به زمان توسعه سیستم، نیاز دارد * ! * چیزی شبیه خودکشی
  12. 12. 12 راه حل چیست؟
  13. 13. 13 استفاده از یک مدل بدون ساختار و توزیع شده
  14. 14. 14 چرا؟
  15. 15. 15 داده هایی مانند داده های هواشناسی، فعالیت های آنلاین کاربران یا تحلیل های اقتصادی در قالب پایگاه داده ای سنتی)رابطه ای(، کارایی چندانی نخواهند داشت و در ذخیره سازی های بدون قالب و توزیع شده به بهترین روش کار خواهند کرد
  16. 16. 16 دقیقأ یعنی چه؟
  17. 17. 17 یعنی جنبش NoSQL یا پایگاه داده های غیر رابطه ای
  18. 18. 18 جنبش NoSQL چیست؟
  19. 19. 19
  20. 20. 20 NoSQL== Not Only SQL در سال 2009 ، نیازمندی های یمطرح شده و مورد توجه قرار گرفتند که با استفاده از مدل رابطه ای سنتی قابل دستیابی نبودند. از آنجا که مسائل جدید به ابزارهای جدید نیا زدارند، مجموع های بزرگ از ابزارها پا به عرصه وجود گذاشته و مورد توجه بسیاری قرار گرفتند. دسترس پذیری بالا، مقیاس پذیر یافقی، قابلیت تکثیر (Replication) ، طراحی بدون Schema و قابلیت MapReduce از جمله زمینه هایی هستند که توسط مجموعه ای جدید از پایگا ههای داده و تحت عنوان کلی NoSQL در حال توسعه و آزمایشهستند طرفداران انواع پایگاه داده های غیر رابطه ای معتقدند که پایگاه داده ی سنتی)رابطه ای(، تنها راه موجود برای ذخیره سازی داده نیستند اما این به آن معنا نیست که به خودی خود انتخاب نادرستی باشند جنبش NoSQL
  21. 21. 21 • اهمیت برای درک بیشتر اهمیت NoSQL باید به چالش های موجود امروزی بر سر راه پایگاه های داده بیشتر توجه کرد ه ماکنون با توسعه فناوری های مختلف و قابلیت نمون هبرداری و تولید حجم عظیمی از داد هها، امکان ذخیره سازی و تحلیل آن ها چالشی بزرگ به شمار م یآید. امروزه سرویس دهندگان بسیاری به ذخیره سازی و ارائه محتوای عظیم باینری به کاربران خود در شبکه نیاز دارند که در نوع خود، چالشی بسیار بزرگ به شمار م یآید جنبش NoSQL /اهمیت
  22. 22. 22 جنبش NoSQL /اهمیت
  23. 23. 23 جنبش NoSQL /کارایی • کارایی کارایی بسیار بالا در ذخیره سازی و ارائه داده های باینری مانند اسناد PDF و فایل های MP3 ، در مقیاس وسیع، یکی از بهترین کاربردهایی است که پایگاه های داده ای NoSQL شایستگی خود را در فراهم کردن آن به اثبات رسانده اند. یک نمونه مناسب در این زمینه، خدمات AmazonS3 است علاوه بر موارد ذکر شده، ذخیره سازی، مدیریت و بازیابی داده های گذرا که در بعضی موارد در مقیاس بالایی در برنام ههای کاربردی امروزی تولید م یشوند نیز یکی دیگر از چال شهای امروزی است که راه حل مدیریت مناسب آ نها را پایگاه های داده ای NoSQL ارائ هکرد هاند
  24. 24. 24 پایگاه داده ی غیر رابطه ای مثل چه چیزی؟
  25. 25. 25
  26. 26. 26 ……………………………………………………………………………………………………………… Key-Value Graph ……………………………………………………………………………………………………………… Column Document ……………………………………………………………………………………………………………… جنبش NoSQL /انواع
  27. 27. 27 جنبش NoSQL /انواع/ Key-Value 1 - ذخیره سازی Key-Value • بر اساسمقاله ی آمازون داینامو) Amazon’sDynamo ) • مدل داده ای: مجموعه ای از زوج های کلید-مقدار • مثال: Redis,Voldemort,Tokyo
  28. 28. 28 جنبش NoSQL /انواع/ Column 2 - ذخیره سازی ستون محور • بر اساسمقاله ی Google’sBigTable • مدل داده ای: bigtable,columnfamilies • مثال: HBase,Hypertable,Cassandra
  29. 29. 29 جنبش NoSQL /انواع/ Document 3 - ذخیره سازی سندگرا • الهام گرفته از یادداشت های لوتوس • مدل داده ای: مجموعه ای از مجموعه ی کلید-مقدار ها • مثال: CouchDB,MongoDB { FirstName:"Bob", Address:"5 Oak St.", Hobby:"sailing“ } { FirstName:"Jonathan", Address:"15 WanamassaPoint Road", Children:[ {Name:"Michael",Age:10}, {Name:"Jennifer",Age:8}, {Name:"Samantha",Age:5}, {Name:"Elena",Age:2} ] }
  30. 30. 30 جنبش NoSQL /انواع/ Graph 4 - ذخیره سازی Graph • الهام گرفته از اویلر و تئوری گراف ها • مدل داده ای: گره ها، ارتباط ها، کلید-مقدار روی هرکدام • مثال: AllegroGraph,Sones,Neo4j
  31. 31. 31 جنبش NoSQL /انواع/توضیحات ا گر داشته باشیم یک همه چیز شبیه به RDBMS Key-Value Document Graph db جدول کلیدها و مقدارها سندها رأس ها و گره ها
  32. 32. 32 جنبش NoSQL /نظریه CAP
  33. 33. 33 پایگاه داده های رابطه ای یا غیر رابطه ای؟ کدام مدل را انتخاب کنیم؟
  34. 34. 34 جنبش NoSQL / Polyglot Persistence Polyglot Persistence چیست؟
  35. 35. 35 جنبش NoSQL / Polyglot Persistence MongoDB Product Catalog Cassandra User Activity Logs Cassandra Analytics RDBMS Reporting Redis User sessions Neo4J Recommendations Riak Shopping Cart RDBMS Financial Data
  36. 36. 36 MySQL واسه ذخیره سازی داده هایی که کم حجم و با ارزش هستن ولی غالبا تغییر نمیکنن یا تراکنش خیلی عجیب و قریبی ندارن و همچنین واسه تمامی کاربران به شکل ثابتی وجود دارن. مثل مشخصات پروفایل و یا اطلاعات صورت حسابشون که میشه با یه طراحی خوب و ایندکس کردن و تکنیک های دیگه، راحت مدیریت کرد جنبش NoSQL / Polyglot Persistence /مثال
  37. 37. 37 CouchDB یا MongoDB از CouchDB یا MongoDB واسه ذخیره سازی داده های با ارزش و در عین حال حجیم مثل وقایع نگاری فعالیت کاربران) Log .) از این پایگاه ها که به پایگاه های داده Document-Oriented Database معروفن اغلب واسه داده هایی که به ندرت تغییر میکنن یا اینکه نسخه سازی توشون خیلی اهمیت داره، استفاده میشه جنبش NoSQL / Polyglot Persistence /مثال
  38. 38. 38 Neo4j از Neo4j که یک فریم ورک پایگاه داده گرافی هست مثلا واسه درست کردن سیستم جستجو خیلی باحال که از نود های توش و یال های بین نود ها بشه روابط خیلی جالبی رو بین چیز های مختلف پیدا کرد. همین گراف سرچ فیس بوک مثال خوبی واسه کاربرد این نوع پایگاه داده هست. برای مثال اگه دوست داشتین بدونین پسر خاله های بالای 30 سال دوستاتون که عاشق کوهنوردی و فیلم دیدن هستن، تو سن میشل فرانسه قهوه خوردن و عکس گرفتن، از بستنی دایتی خوششون میاد، احتمالا از چه غذا هایی متنفرن)بر اساس الگوریتم های فرا اکتشافی و هوشمند!(، برین سراغ این نوع پایگاه های داده جنبش NoSQL / Polyglot Persistence /مثال
  39. 39. 39 Hadoop از Hadoop واسه اطلاعاتی که روی حجم عظیمی از سرور های توزیع شده نه الزاما خیلی خفن و گرون)اونایی که قدرت پردازشی خیلی عجیب و قریبی دارن( بلکه حتی سرور های قیمت متوسط یا ارزون، Scaling Out شده)سرور هایی که به صورت افقی گسترش پیدا کرده( که این کار مبتنی بر تکه تکه کردن داده ها (Data Partitioning) هست. خیلی جالبه بدونین گوگل و یاهو از همین فریم ورک پایگاه داده واسه ذخیره صفحات وب تو سرور هاشون، همچنین تکنیک هایی که تو پرس و جو های موازی و ایندکس کردن به همراه الگوریتم های پیشرفته و بسیار بسیار محرمانه ایی که هممون در موردش شنیدیم، واسه سرچ استفاده میکنن جنبش NoSQL / Polyglot Persistence /مثال
  40. 40. 40 این رو هم بگم نمیشه خیلی نسخه پیچید که فلان فریم ورک پایگاه داده NoSQL مختص این کاره ولی به درد کارای دیگه نمیخوره. هر چی باشه نقش اصلی رو طراحی پایگاه داده بازی میکنه. شاید یه طراحی اونقدر عالی باشه که بشه باهاش یه کارای که از اون فریم ورک انتظار نمیره رو ممکن کرد
  41. 41. 41 در پایان به یاد داشته باشید که...
  42. 42. 42 گذار به سمت راهکارهای NoSQL به دلیل مشکلات و محدودیت های زبان SQL نبوده است بلکه به دلیل محدودیت های مدل رابطه ای پایگاه داده ای است
  43. 43. 43 با تشکر از توجه شما meghdad.hatami@gmail.com

×