SAS & Hadoop – das passt!
Guido Oswald ( @guidooswald )
www.sasforum.com/ch
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
WO FÄNGT BIG DATA AN?!
Wenn Excel explodiert?
Wenn ich meine “...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
BIG DATA IST WIE TEENAGER LIEBE?
Jeder redet darüber – keiner ...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
HADOOP THE CUTE ELEPHANT
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
WARUM IST HADOOP INTERESSANT?
SKALIERBARKEIT
LEISTUNGSSTARK
PR...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
 Hadoop wird sehr bald ein(e) Ersatz Ergänzung sein zu:
 Bus...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
WARUM SAS?
IN-MEMORY
HIGH-PERFORMANCE
ANALYTICS
BUSINESS INTEL...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
SAS & HADOOP GRÜNDE FÜR DIE KOMBINATION BEIDER WELTEN
 High-p...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
ERA OF
ABUNDANCE
“BIG DATA” – DATEN IM ÜBERFLUSS
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
ERA OF
ABUNDANCE
“HADOOP”
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
ERA OF
ABUNDANCE
“ANALYTICS”
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
ERA OF
ABUNDANCE
“ANALYTICS”
Überfluss an
Daten
Verabeitungs-
...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
BIG DATA
ANALYTICS
BAUSTEINE VON USE CASES
Kunden
Haushalte
Ko...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
DETOUR…
Company Confidential - For Internal Use Only
Copyright © 2015, SAS Institute Inc. All rights reserved.
BIG DATA LAB
FINDEN...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
BIG DATA
VORGEHEN
TRADITIONELLER PROJEKTANSATZ
Business
Case
M...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
Innovation
Lab
Innovation
Lab
BIG DATA
VORGEHEN
INNOVATION LAB...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
SAS ANGEBOT BIG DATA LAB
TECHNOLOGIE SERVICE
Größenskalierung
...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
ZURÜCK ZUM THEMA..
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
SAS & HADOOP SAS® UND DAS HADOOP ECOSYSTEM
Next-Gen
SAS
®
User...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
MAP REDUCE A (SIMPLE) WORD COUNT…
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
Hadoop kann
sehr schnell
sehr komplex
werden!
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
HADOOP
ECOSYSTEM
KOMPLEXITÄT REDUZIEREN
Pig (Skriptsprache)
Hi...
Copyr ight © 2012, SAS Institute Inc. All rights reser ved.
SAS DATA LOADER
FÜR HADOOP
Self-service Big
Data Aufbereitung
...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
SAS & HADOOP WIE?
SAS & Hadoop verbinden sich auf verschiedene...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
FROM
SAS & HADOOP SAS FROM HADOOP
SAS hat Zugriff auf und schi...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
WITH
SAS & HADOOP SAS WITH HADOOP
SAS greift auf Daten in Hado...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
IN
SAS & HADOOP SAS IN HADOOP
SAS verarbeitet Daten direkt im ...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
SAS & HADOOP SAS IN HADOOP
SAS verarbeitet Daten direkt im Had...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
DER PRAGMATISCHE ANSATZ
Prepare data IN
Hadoop for
analytics
M...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
ROGERS MEDIA
 Data visualization & high performance analytics...
Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
MACY’S
 20% reduction in churn
 $500,000 annual savings
 Cu...
www.sasforum.com/ch
Guido Oswald (@guidooswald) – Guido.Oswald@sas.com
Nächste SlideShare
Wird geladen in …5
×

SAS Forum Switzerland 2015: Big Data - Guido Oswald

711 Aufrufe

Veröffentlicht am

Viele Unternehmen (vom Multinationalen Großunternehmen bis hin zum KMU) experimentieren bereits mit Hadoop als zuverlässige und günstige Datenplattform.
Egal ob als Ersatz für das DWH, parallel zum DWH oder als 'Staging Platform', dem sog. Data Lake, Hadoop hat viele Vorteile was Effizienz und Performance angeht und ist zudem erst einmal lizenzkostenfrei. Der putzige Elefant hat das Potential die Karriere von Linux im Rechenzentrum zu wiederholen.
Für SAS ist Hadoop ein richtiger Glücksgriff. Nicht nur als günstiger und agiler Datenspeicher, sondern auch als Rechenplattform für die verteilten Prozeduren und die massiv parallel rechnende In-Memory Engine "LASR".
Wie SAS einen Hadoop Cluster nutzen kann und wie andere MPP Datenbanken (SAP HANA, Teradata, Pivotal) in dieses Bild passen soll dieser Vortrag zeigen.

Veröffentlicht in: Software
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

SAS Forum Switzerland 2015: Big Data - Guido Oswald

  1. 1. SAS & Hadoop – das passt! Guido Oswald ( @guidooswald ) www.sasforum.com/ch
  2. 2. Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
  3. 3. Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
  4. 4. Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
  5. 5. Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
  6. 6. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. WO FÄNGT BIG DATA AN?! Wenn Excel explodiert? Wenn ich meine “Comfort-Zone” verlasse? Sobald ich unstrukturierte Daten habe? Alles über 1TB? Die drei Vs?
  7. 7. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. BIG DATA IST WIE TEENAGER LIEBE? Jeder redet darüber – keiner weiss wie es geht aber jeder denkt der andere macht es – also behauptet jeder er macht es auch
  8. 8. Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
  9. 9. Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
  10. 10. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. HADOOP THE CUTE ELEPHANT
  11. 11. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. WARUM IST HADOOP INTERESSANT? SKALIERBARKEIT LEISTUNGSSTARK PREISWERT - open source VERTEILTE VERARBEITUNG DATENREDUNDANZ HANDELSÜBLICHER SERVER
  12. 12. Copyr ight © 2015, SAS Institute Inc. All rights reser ved.  Hadoop wird sehr bald ein(e) Ersatz Ergänzung sein zu:  Business Intelligence;  Data Warehousing;  Data Integration;  Analytics. QUELLE: 10 Myths About Hadoop - TDWI Best Practices Report HADOOP IN BETRIEB:  Grund #1 um Hadoop einzusetzen: Analytics (71%)  Herausforderungen beim Einsatz von Hadoop:  Hadoop hat keinerlei eingebauten, analytischen Funktionen.  Kosten: kostspielig aufgrund umfangreicher, eigengestrickter Lösungen. HEUTE < 12 MONATE < 24 MONATE < 36 MONATE 3+ JAHRE NIE 10% WARUM IST HADOOP INTERESSANT?
  13. 13. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. WARUM SAS? IN-MEMORY HIGH-PERFORMANCE ANALYTICS BUSINESS INTELLIGENCE VISUALISIERUNG DATA MANAGEMENT
  14. 14. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. SAS & HADOOP GRÜNDE FÜR DIE KOMBINATION BEIDER WELTEN  High-performance Advanced Analytics;  Business Intelligence und Data Visualization;  Massiv skalierbar, auf verteilter, handelsüblicher Hardware
  15. 15. Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
  16. 16. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. ERA OF ABUNDANCE “BIG DATA” – DATEN IM ÜBERFLUSS
  17. 17. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. ERA OF ABUNDANCE “HADOOP”
  18. 18. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. ERA OF ABUNDANCE “ANALYTICS”
  19. 19. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. ERA OF ABUNDANCE “ANALYTICS” Überfluss an Daten Verabeitungs- Leistung Intelligenz
  20. 20. Copyr ight © 2015, SAS Institute Inc. All rights reser ved.
  21. 21. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. BIG DATA ANALYTICS BAUSTEINE VON USE CASES Kunden Haushalte Konten Salden Produkte Historie … … GAA + SB Terminal Online Banking Mobile Apps Kooperations-Partner Beschwerden Web & Social Presse Bilanzen / XBRL … … Mustererkennung Korrelationen Prognosen Text Analytics … … In-Memory Hadoop SAP HANA … … Bekannte Daten (DWH) Neue, unbekannte und ungenutzte Daten Analytik Technologische Enabler
  22. 22. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. DETOUR…
  23. 23. Company Confidential - For Internal Use Only Copyright © 2015, SAS Institute Inc. All rights reserved. BIG DATA LAB FINDEN SIE MIT SAS IHRE BIG-DATA-STRATEGIE
  24. 24. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. BIG DATA VORGEHEN TRADITIONELLER PROJEKTANSATZ Business Case Management Entscheidung Budget Freigabe Team aufsetzen Tool Auswahl Infrastruktur aufbauen Daten akquirieren Modelle erstellen Produktion vorbereiten Test Go Live Idee Ergebnis Anforderungen
  25. 25. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. Innovation Lab Innovation Lab BIG DATA VORGEHEN INNOVATION LAB: AGIL – RISIKOARM – SKALIERBAR Business Case Management Entscheidung Budget Freigabe Team aufsetzen Tool Auswahl Infrastruktur aufbauen Daten akquirieren Modelle erstellen Produktion vorbereiten Test Go Live Idee Ergebnis Big Data Lab Modelle verfeinernDaten aktualisieren
  26. 26. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. SAS ANGEBOT BIG DATA LAB TECHNOLOGIE SERVICE Größenskalierung S M L Bereit- stellung On- Premise Cloud Datenmanagement ► Data Loader for Hadoop ► Access to Hadoop ► Metadatenmanagement Analytics ► Visual Analytics ► Visual Statistics ► In-Memory Statistics Software- Lösungen ► Installation ► Konfiguration ► Training ► Umsetzung eines beispielhaften Use Cases Zusätzlich buchbare Dienstleistungen: ► Coaching und Bereitstellung von Experten (Data Scientist, Daten- Management-Experte) ► Consulting Einsatzfertiges Komplettpaket für die selbständige Entwicklung von Big Data Use Cases zum Fixpreis
  27. 27. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. ZURÜCK ZUM THEMA..
  28. 28. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. SAS & HADOOP SAS® UND DAS HADOOP ECOSYSTEM Next-Gen SAS ® User SAS ® User User Interface Metadata Data Access Data Processing File System SAS Metadata In-Memory Data Access HivePig Map Reduce HDFS Base SAS & SAS/ACCESS® to Hadoop™ In-Memory Data Access HivePig SAS® Data Management SAS® Visual Analytics SAS® Visual Statistics SAS® Enterprise Miner™ SAS® Studio SAS® LASR™ Analytic Server SAS Embedded Process SAS® In-memory Statistics for Hadoop
  29. 29. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. MAP REDUCE A (SIMPLE) WORD COUNT…
  30. 30. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. Hadoop kann sehr schnell sehr komplex werden!
  31. 31. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. HADOOP ECOSYSTEM KOMPLEXITÄT REDUZIEREN Pig (Skriptsprache) Hive (SQL) Cloudera Impala Proc Hadoop (BASE SAS) SAS ACCESS to Hadoop SAS ACCESS to Impala
  32. 32. Copyr ight © 2012, SAS Institute Inc. All rights reser ved. SAS DATA LOADER FÜR HADOOP Self-service Big Data Aufbereitung für Fachanwender Certified by Hortonworks and Cloudera
  33. 33. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. SAS & HADOOP WIE? SAS & Hadoop verbinden sich auf verschiedene Weise:  SAS kann Hadoop wie jede andere Datenquelle behandeln und Daten von (FROM) Hadoop lesen, wenn dies der geeignete Weg ist.  SAS kann mit (WITH) Hadoop arbeiten und Daten in eine spezialisierte ‘advanced analytics’ In-Memory-Umgebung heben.  SAS kann direkt in (IN) Hadoop arbeiten und die Fähigkeiten der verteilten Verarbeitung von Hadoop nutzen.   
  34. 34. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. FROM SAS & HADOOP SAS FROM HADOOP SAS hat Zugriff auf und schickt Daten von Hadoop zu einem SAS Server für die Verarbeitung. Ergebnisse warden zurückgeschrieben.  Eine Brücke wird von Hadoop zu existierenden SAS Umgebungen gebaut.  Hadoop wird genutzt als eine weitere Datenquelle.  Leistungsfähigkeit ist auf die Bandbreite einer ‘single pipe’ begrenzt.  Ideal für Fälle, wenn sich nicht alle zu analysierenden Daten in Hadoop befinden oder wenn ein etablierter Prozess nicht in Hadoop ablaufen kann. DATA MOVEMENT
  35. 35. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. WITH SAS & HADOOP SAS WITH HADOOP SAS greift auf Daten in Hadoop zu und verarbeitet diese auf einem SAS Server, während die Daten selbst und die Berechnungen massiv parallelisiert werden.  Stellt Fähigkeiten zur Verfügung, die Hadoop nicht gut selbst erledigen kann.  Unterstützt ‘Advanced Analytics’ durch geteilte Verarbeitung.  Erlaubt es, die Datenhaltung und die Verarbeitung der Analyse getrennt voneinander zu skalieren.  Ideal für Fälle, in denen analytische Genauigkeit, Ausgereiftheit der Algorithmen und Überwachung (Governance) benötigt werden. DATA LIFT INTO MEMORY
  36. 36. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. IN SAS & HADOOP SAS IN HADOOP SAS verarbeitet Daten direkt im Hadoop Cluster. SAS LOGIC  Der SAS ‘Embedded Process’ ermöglicht skalierende Berechnungs-Leistung in Hadoop .  SAS rechnet in Hadoop und fein abgestimmt durch Hadoop-Technolgie.  Unterstüzung für Daten-Transformation, Datenqualität und ‘Scoring’ in Hadoop.  Ideal, wenn alle Daten in Hadoop gehalten warden und Hadoop der richtige Ort für die Verarbeitung darstellt.
  37. 37. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. SAS & HADOOP SAS IN HADOOP SAS verarbeitet Daten direkt im Hadoop Cluster.  Der SAS ‘Embedded Process’ ermöglicht skalierende Berechnungs-Leistung in Hadoop .  SAS rechnet in Hadoop und fein abgestimmt durch Hadoop-Technolgie.  Unterstüzung für Daten-Transformation, Datenqualität und ‘Scoring’ in Hadoop.  Ideal, wenn alle Daten in Hadoop gehalten warden und Hadoop der richtige Ort für die Verarbeitung darstellt.  SAS In-Memory-Lösungen können auch direkt im Hadoop-Cluster auf geteilter Infrastrukutr installiert werden.
  38. 38. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. DER PRAGMATISCHE ANSATZ Prepare data IN Hadoop for analytics Move data FROM Hadoop into a SAS environment Deploy and manage model score code IN Hadoop Lift data IN to memory for analytics at scale Model data at scale in- memory WITH advanced modeling tools Use the right approach for what needs to be done! Explore data at scale, in- memory WITH data visualization SAS & HADOOP
  39. 39. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. ROGERS MEDIA  Data visualization & high performance analytics  Processing data on 12 million customers  40 million records per month in Hortonworks  More than 600 relevant web characteristics “Several of us from Rogers in the room looked at each other, and said ‘That is really wicked; that’s cool.” Chris Dingle Senior Director of Audience Solutions Rogers Communications
  40. 40. Copyr ight © 2015, SAS Institute Inc. All rights reser ved. MACY’S  20% reduction in churn  $500,000 annual savings  Customer lifetime value analysis  More accurate response prediction  Optimized promotions “... they can look at data and spend more time analyzing it and become internal consultants who provide more of the insight behind the data.” Kerem Tomak Vice President of Analytics
  41. 41. www.sasforum.com/ch Guido Oswald (@guidooswald) – Guido.Oswald@sas.com

×