Als PDF, PPTX herunterladen
Hochgeladen voninovex GmbH
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Amazon Web Services und Google Cloud Platform
Die Diskussion über die Cloud-Wirtschaft vergleicht die wichtigsten Plattformen: Amazon Web Services, Microsoft Azure und Google Cloud Platform. Trotz ähnlicher technologischer Angebote hat Microsoft aufgrund seiner PaaS-Geschichte einen technologischen Vorteil, während Amazon als Marktführer im IaaS-Segment gilt. Der Bericht hebt die Stärken und Schwächen jeder Plattform in verschiedenen Bereichen wie Datenverarbeitung, Orchestrierung und Visualisierung hervor.
Weitere ähnliche Inhalte
Ähnlich wie Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Amazon Web Services und Google Cloud Platform
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Amazon Web Services und Google Cloud Platform
- 1. Cloud Wars –what‘s the smartest data platform Vergleich Microsoft Azure, Amazon Web Services und Google Cloud Platform Stefan Kirner & Thomas Neureuther Karlsruhe, 22.6.2016
- 2. • Teamleiter BISolutions bei der inovex GmbH • Langjährige Erfahrung mit dem Microsoft BI Stack • Data Management Lösungen in der Cloud 2 • inovex Lab für den Researchim Cloud Bereich • Spezialist für die Implementierung vondata-driven-business Lösungen • Erfahrungen im Microsoft SQLServer BI Stack. Stefan Kirner Teamleiter BI Solutions bei der inovex GmbH Werkstudent bei der inovex GmbH Thomas Neureuther
- 3. 3NIST Was ist CloudComputing? “Cloud computing is a model for enabling ubiquitous, convenient, on- demand network access to a shared pool of configurable computing resources (e.g., networks, servers, storage, applications, and services) that can be rapidly provisioned and released with minimal management effort or service provider interaction”
- 4.
- 5.
- 6. 6Albert Barron (Ibm)https://www.linkedin.com/pulse/20140730172610-9679881-pizza-as-a-service Analogie der “as a Service“ Schichten
- 7.
- 8. 10Amazon Web Services PublicCloud Anbieter • Seit 2006 • Iaas Marktführer • Dogfood für viele eigene Dienste (Amazon Store, Video…) • “PaaS like services with the option of IaaS- like control in some cases” - Dan Sullivan - Tom's IT Pro
- 9. Amazon Web Services 9ScreenshotConsoleAWS
- 10. Public Cloud Anbieter •Seit 2010 • Als PaaS gestartet wurde seit 2013 sukzessive erweitert mit IaaS- Komponenten • Starke SaaS Komponenten • Dogfood für viele SaaS Dienste (Skype, XBox etc) Microsoft Azure 13
- 11. Azure Platform Services„Landscape“ 11https://i-msdn.sec.s-msft.com/dynimg/IC831231.png
- 12. http://www.infoworld.com/article/3051017/cloud-computing/the-importance-of-dogfooding-in-the-cloud.html Public Cloud Anbieter •Seit 2008– IaaS, PaaS • No “Dogfooding“ – Googles Dienste basieren nicht auf GCP • Cloud SDK und CLI, Console als WebFrontend • Go, Java, Python Google Cloud Platform 15
- 13. Google Cloud Platform 13 Storageand Databases Big Data and Analytics Machine Learinig Compute Cloud ML Cloud SpeachAPI
- 14. 14Forrester- https://d0.awsstatic.com/analyst- Marktsituation “The cloudwars betweenAmazon, Google, and Microsoft are heating up, with the three working tirelessly to attract the large business customers that bring in the big bucks. From a technological perspective, though,the three cloud platforms are basically equal, and offer a similar sales pitch.” Business Insider, April 2016
- 15. 15Forrester- https://d0.awsstatic.com/analyst- Marktsituation Gartner: 2015Magic Quadrant for Cloud Infrastructure as a Service, Worldwide
- 16. 16https://www.gartner.com/doc/reprints?id=1-2G45TQU&ct=150519&st=sb Marktsituation Gartner: 2016 Magic Quadrantfor Enterprise Application Platform as a Service, Worldwide
- 17. 17Synergy Research Group- https://www.srgresearch.com/ Marktsituation
- 18. 18Synergy Research Group- https://www.srgresearch.com/ Marktsituation
- 19. 19http://searchcloudcomputing.techtarget.com/tip/Compare-AWS-vs-Azure-vs-Google-big-data-services „The cloud marketis evolving quickly, with an ever-changing set of big data services. While this makes cloud vendor comparisons difficult, it's worth the attempt, because the offerings from the top three cloud providers - - Amazon Web Services, Microsoft Azure and Google -- aren't created equal.“ Jim O'Reilly
- 20. 20 Fazit Marktsituation • Einheitliches Bild zu PaaSeher schwierig • Unterschiedliche Definitionen • Technologien nicht immer vergleichbar/bekannt • Qualitative Vergleiche decken nur spezielle Use cases ab Da müssen wir selber ran!
- 21. • Web Interfaceund Bedienung • SDK‘s und Programmiersprachen • Tooling und Integration in Entwicklungsumgebung • Dokumentation 21 Web Interface & Handhabung Vergleich der Cloud Provider Services
- 22. 22 Web Interface &Handhabung • Übersichtlich und minimalistisches Web Interface mit Übersicht über Dienste • Tooling • Plugins für Eclipse und Visual Studio vorhanden • AWS Command Line Interface • AWS SDK • S3 Browser (Desktopanwendung) AWS Management Console
- 23. 23Azure Portal Web Interface& Handhabung • Web Portal mit sehr verschachtelter Kacheloptik • Altes und neues Portal • Tooling • Befehlszeilentools über Power Shell • CLI auch für Linux & Mac • Azure SDK -Mit passendem Toolkit für Visual Studio • Azure Explorer Azure Portal
- 24. 24GCP Console Web Interface& Handhabung • Schlichtes Web Interface • Tooling • gcloud Tool - CLI für GCP Produkte und Services • Cloud SDK • Wenig IDE Unterstützung
- 25.
- 26. AWS Portal undS3 Bucket 26
- 27. Azure Ressourcengruppe undSpeicherkonto 27
- 28.
- 29. 29 Web Interface &Handhabung Dienst Web Console Azure Portal GCP Console Bewertung Portal:☆☆☆ SDK: ☆☆ Tooling: ☆☆ Dokumentation: ☆ CLI: ☆☆☆ Portal:☆☆ SDK: ☆☆ Tooling: ☆☆ Dokumentation: ☆☆☆ CLI: ☆☆ Portal:☆☆ SDK: ☆☆ Tooling: ☆ Dokumentation: ☆☆ CLI: ☆☆ Vergleich der Cloud Provider Services
- 30. 30 Big Data /AnalyticsUse-Case Data Presentation Visualisierung und Dashboard Analytics and Computation Aggregation und Analyse Collection and Storage Event Broker und Stream Prozessor Data Generation / Extraction App, IoT oder Sensordaten
- 31. 31http://lambda-architecture.net/ Lambda Architecture 1. Weiterleitenderankommenden Daten zu Speed und Batch Layer 2. Batch-Layer 1. Berechnen der Batch Views 2. Rohdaten aufbewahren 3. Serving Layer indexiert die Batch Views 4. Speed-Layer erlaubt Echtzeit Views 5. Querys auf Batch und Echtzeit Views möglich
- 32. 32https://blogs.technet.microsoft.com/msuspartner/2016/01/27/azure-partner-community-big-data-advanced-analytics-and-lambda- Lambda Architektur Viele MöglichkeitenLambda Architektur mit Cloud Technologien abzubilden -> Architektur nicht an Dienste gebunden Lambda Architecture on Azure Options for each Layer
- 33. 33 Big Data /AnalyticsUse-Case • Startup ULTRA TENDENCY aus Japan • Sensorwerte erfassen und Strahlenwerte analysieren • Umsetzung mittels Cloud basierterAnalyse in Azure
- 34. 34 Big Data /AnalyticsUse-Case • ≈5000 Wetterstationen in Baden-Württemberg • Weather Underground API • Temperatur, Niederschlag, Luftdruck, Windgeschwindigkeit • Aktualisierung ≈ 5 min
- 35. 35 Pub/Sub Dataflow Big Query Data Studio 360 Kinesis Firehose S3Elastic Map Reduce Data Pipeline Quick Sight Event Hub Stream Analytics Data Factory PowerBI Data Generation Collection and Storage Analytics and Computation Data Presentation Data Lake Store Redshift Data Lake Analytics Data Lake Store
- 36.
- 37. • Kontinuierlicher Stromvon Daten empfangen und verarbeiten • Mehrere Publisher/Subscriber • Skalierbar • Hoch Verfügbar • Niedrige Latenzen • Echtzeit Verarbeitung und Analyse 37 Streaming Dienste Vergleich der Cloud Provider Services
- 38. 38 Pub/Sub, Message Broker- Streaming Dienst Kinesis Event Hub Pub/Sub Beschreibung • Nahe Echtzeit • Zeitbasierter Ereignispuffer • Datastrom von verschiedenen Prozessen oder Geräten • Vereinfacht das empfangen und veröffentlichen von Datenströmen in Echtzeit • Datenaufbewahrung bis 7 Tage • Azure Event Hubs ist ein hochgradig skalierbarer Dienst für das Veröffentlichen und Abonnieren von Ereignissen • Publish/Subscribe • Hoch skalierbare Message Queue mit Push/Pull Delivery
- 39. 39 Dienste zur StreamVerarbeitung Dienst Kinesis Firehose Kinesis Analytics(Beta) Kinesis & Lambda Stream Analytics Dataflow Beschreibung • Echtzeitverarbeitung von Streams • Kinesis mit SQL basierte Anfragen • Lambda Funktionen um Events zu verarbeiten • Firehose persistiert Stream nach S3, ES (1.5), Redshift • SQL basierte Abfragen • Windowing • Echtzeitdashboards und Warnungen • Programmierung von Dataflows in Java • Damit Windowing und quasi jeder Output möglich
- 40. 40AWS Kinesis Streaming Dienste •Kinesis Firehose • Schreibt Stream in Blöcken auf den S3 Storage, Elasticsearch oder Redshift • Keine Möglichkeiten der Programmierung • Kinesis Streams • Macht es notwendig einen Stream Receiver zu programmieren und diesen zu deployen • AWS Lambda Funktionen • KinesisAnalytics(Beta)
- 41. 41 Streaming Dienste • LeistungsstarkesModell • Eingabe • Event Hub, Blob, IoT Hub • Mehrere Eingaben möglich • Abfrage • SA-QL: SQL Ähnliche Syntax • Window Operationen möglich • Ausgabe • Blob, SQL, PowerBI .... • Mehrere Ausgaben möglich Azure StreamAnalytics
- 42. 42Google DataFlow Streaming Dienste •Programmiermodell – Batch und Stream Workload – Pipelineing als DAG – Arbeiten auf Collections • Google Dataflow als Runner für das Dataflow Programmiermodell Google Dataflow
- 43. 43 Dienste zur StreamVerarbeitung Dienst Amazon Kinesis Stream Analytics Dataflow Bewertung Bedienung:☆☆ Lifecycle Management: ☆ Möglichkeiten: ☆☆ + Simple Bedienung - Für gleiche Funktionalität wie bei Azure coding erforderlich - Firehose eingeschränkte Funktionsumfang - Kinesis Stream benötigt selbst implementierten und deployten Receiver (z.B: AWS Lambda) Bedienung:☆☆☆ Lifecycle Management: ☆ Möglichkeiten: ☆☆☆ + Simple Bedienung + Hohe Funktionalität mit geringem Aufwand + SQL Syntax für Abfrage - Schlecht zu versionieren oder zu Managen Bedienung:☆☆ Lifecycle Management: ☆☆ Möglichkeiten: ☆☆☆ Programmcode mit allen Vor- und Nachteilen + Sehr gute Skalierbarkeit und Big Data Fähigkeit - Höherer Einarbeitungsaufwand
- 44. 44 Kosten Message Broker/Stream Verarbeitung Dienst Amazon Kinesis Stream Analytics Dataflow Preise Shard Stunde 1,7ct Put Nutzlast pro 1 Mio Puts (25KB) 1,65ct Verlängerte Datenaufbewahrung 2ct/h Beispiel: 2 Events a 35KB pro Sekunde ≈13€/Monat Unit Stunde 3,1ct Nutzlast 0,1ct pro GB Beispiel: 2 Events a 35KB pro Sekunde ≈20€ Stream Analytics/Monat ≈9€ Event Hub/Monat Pub/Sub 1 Milion Operationen 40ct Halbiert sich ab 250M Operationen Batch 1ct GCEU/h Stream 1,5ct GCEU/h
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51. • Daten auslesen,ggf. transformieren und schreiben (Vergleichbar mit ETL) • Transformation eher schwieriger • Orchestrierung Dienste • Zusammenfassen und Orchestrierung von Verarbeitungsschritten • Neue Quellen und Ziele • Cloud und Hybride Szenarien • Big-Data Fähigkeit 51 OrchestrierungsDienste
- 52. 52 Orchestrierungs Dienste • Erstellenin AWS Management Console • Designer und Vorlagen • Properties in Drop-Down Feldern verwalten • Recht überschaubarer Funktionsumfang ohne Detailfunktionen • Deckt typische ETL-Szenarien gut ab • Keine Entwicklungsumgebung und Code Management Data Pipeline
- 53. 53 Orchestrierungs Dienste –Data Pipeline • Hive in Data Pipeline • Ressource Anlegen • Skript schreiben und verknüpfen
- 54. 54 Orchestrierungs Dienste • FactoryDashboard • Werkzeuge für das Erstellen der Factory • Zustandsüberwachung • Manuelles Starten von Vorgängen • Auslastung und Diagnosen Data Factory
- 55. 55 Orchestrierungs Dienste • DataFactory Projekt • Templates erlauben schnelles Erstellen einfacher Anwendungsfälle • Deployment aus Visual Studio oder Factory Dashboard • JSON-Dokumente ohne Toolunterstützung füllen und verknüpfen • Design by Copy and Paste Data Factory
- 56. 56 Orchestrierungs Dienste Dienst Data PipelineData Factory Bewertung Bedienung:☆☆ Lifecycle Management: ☆ Möglichkeiten: ☆☆ + Selbsterklärender Designer - Keine Code Completion oder Syntax Highlighting oder Validierung - Code kann lediglich über JSON exportiert und versioniert werden (händisch) Bedienung:☆+ Lifecycle Management: ☆☆ Möglichkeiten: ☆☆ + Templates und Visual Studio Unterstützung - Kein Designer sondern zusammenfügen von JSON Dokumenten SSIS weit voraus
- 57.
- 58.
- 59.
- 60. Horizontal skalierende analytischeDatenspeicher 60
- 61. • Parallel verarbeitende Instanzen • MassivelyParallel Processing Architecture • Skalierbarkeit • SQL Querys 61 Horizontal skalierende analytische Datenspeicher
- 62. 62 Analytische Datenspeicher • SchnelleSkalierung der Cluster Instanzen über API Aufrufe • Postgres-Fork nutzt spaltenbasierte Datenbank und massive parallele Verarbeitung Redshift
- 63. 63 Analytische Datenspeicher •Data Lake(Beta) – Store & Analytics – Verteilter Speicher- und Analysedienst großer Daten – U-SQL – TSQL und C# – Visual Studio Unterstützung – Dynamische Skalierung – Verteilte Hardware und Parallelisierung gänzlich abstrahiert Data Factory - Data LakeAnalytics (Beta)
- 64. 64 Analytische Datenspeicher • UnabhängigeSkalierung von Compute- und Speicherressourcen innerhalb von Sekunden • Vielfältige SQL Server- Funktionalität mit T-SQL Abfragen SQL Data Warehouse (Beta)
- 65. 65 Analytische Datenspeicher •SQL Querysauf Terabyte von Daten •Import/Export Mechanismen •Bezahlung nach Datenmenge der Query •Keine Server •Browsertool vorhanden (sonst REST oder CLI) - SDK für .Net, Java, Python, Go Google Big Query
- 66. 66 Analytische Datenspeicher Dienst AWS RedshiftAzure Data Lake Big Query Beschreibung • Postgres Fork • Massiv Parallel • Store und Analytics • U-SQL als Mischung von C# und T-SQL • Serverless • Pay per Query Preise • $0.25 pro Stunde für dc1.large • $0.85 pro Stunde für ds2.xlarge • Analytics Einheit 0,017$/Minute • Abgeschlossener Auftrag 0,025$ SQL-DWH: ab 0,70$/h • $5 pro queryed TB • $0.02 per GB Speicher • $0.01 per 200 MB Insert
- 67. Dienst Amazon Redshift AzureData Lake Big Query Bewertung Bedienung:☆+ Lifecycle Management: ☆☆ Möglichkeiten: ☆☆ - Keine Entwicklungsunterstützung im Web Interface oder Entwicklungsumgebung Bedienung:☆☆☆ Lifecycle Management: ☆☆ Möglichkeiten: ☆☆☆ + Visual Studio Unterstützung + Strukturierte und Semistrukturierte Daten Bedienung:☆☆+ Lifecycle Management: ☆☆ Möglichkeiten: ☆☆ + Web Tooling 67 Analytische Datenspeicher
- 68.
- 69. AWS Redshift –und Kinesis als Quelle 69
- 70. Azure Data LakeAnalytics 70
- 71.
- 72.
- 73. • Daten Präsentieren •Umfangreiche Visualisierungen • Dashboards und Reports über Web • SaaS • Anbindung an Datenbanken • Real-Time Anbindung 73 Datenvisualisierung
- 74. 74 Datenvisualisierung Dienst Amazon Quick Sight Microsoft Power Bi (kein Teilvon Azure aber gut integrierbar) Google Data Studio 360 (beta) Beschreibung • Beta (nur für ausgewählte Kunden) • Echtzeit BI mit Stream Analytics möglich • Anbindung an Datenbanken und andere Datenspeicher • Beta (nur für ausgewählte Kunden) • Alternativ gute Integration von BI Tools wie Tableau, Qlik und einigen anderen
- 75. Dienst Amazon Quick Sight Microsoft Power Bi (kein Teilvon Azure aber gut integrierbar) Google Data Studio 360 (beta) Bewertung Bedienung:☆+ Möglichkeiten: ☆+ - Closed Beta Bedienung:☆☆☆ Möglichkeiten: ☆☆☆ + Viele Datenquellen + On-Prem Entwicklung möglich Bedienung:☆+ Möglichkeiten: ☆+ - Beta 75 Datenvisualisierung
- 76.
- 77. Power Bi –Daten von Stream Analytics 77
- 78.
- 79. 79http://www.tecchannel.de/a/amazon-web-services-versus-microsoft-windows-azure,2071501,3 „Unterm Strich lässtsich sagen, dass Microsoft aufgrund seiner PaaS- Historie technologisch in diesem Bereich einen deutlichen Vorsprung hat. Amazon AWS hingegen ist derzeit noch der unumstrittene Innovations- und Marktführer im IaaS-Umfeld.“ René Büst - Senior Analyst und Cloud PracticeLead bei Crisp Research
- 80. 80 Vergleich der CloudProvider Amazon Web Services Microsoft Azure Google Cloud Platform Stream ☆☆ ☆☆☆ ☆☆ Orchestration ☆☆+ ☆☆ - MPP ☆☆ ☆☆+ ☆☆+ Datenvisualisierung ☆+ ☆☆☆ ☆+ Für diesen Use Case hat Microsoft die Nase vorn
- 81. 81 Demnächst auch alsArtikelserie auf: blog.inovex.de Regelmäßige Beiträge zu den aktuellsten Technologie- Themen rund um Web, Mobile, Analytics, Data Center & Co.
- 82. Vielen Dank Stefan Kirner& Thomas Neureuther inovex GmbH Ludwig-Erhard-Allee 6 76131 Karlsruhe stefan.kirner@inovex.de tneureuther@inovex.de Solche Projekte und Technologien sind für dich interessant? Wir suchen Cloud Solution Architects und Werkstudenten für Data Management & Analytics Und viele andere Jobs auf https://www.inovex.de/de/karriere /stellenangebote