Der Vortrag zeigt die Grenzen bisheriger Lösungen und gibt einen Überblick über neue Lösungen.
Er zeigt, wie Systemlandschaften weltweit tätiger (Internet-)Konzerne aussehen und leitet daraus herunterskalierte, praktikable Lösungen auch für kleinere Unternehmen mit weit weniger Datenvorkommen ab.
Der Vortrag zeigt die Grenzen bisheriger Lösungen und gibt einen Überblick über neue Lösungen.
Er zeigt, wie Systemlandschaften weltweit tätiger (Internet-)Konzerne aussehen und leitet daraus herunterskalierte, praktikable Lösungen auch für kleinere Unternehmen mit weit weniger Datenvorkommen ab.
In diesem Webinar geben wir Ihnen eine Einführung, präsentieren die Möglichkeiten und Fallstricke und beantworten Ihre Fragen rund um das Thema Big Data.
Der Vortrag zeigt die Grenzen bisheriger Lösungen und gibt einen Überblick über neue Lösungen.
Er zeigt, wie Systemlandschaften weltweit tätiger (Internet-)Konzerne aussehen und leitet daraus herunterskalierte, praktikable Lösungen auch für kleinere Unternehmen mit weit weniger Datenvorkommen ab.
Agile Datenanalsyse - der schnelle Weg zum MehrwertAlexander Hendorf
Vortrag ZEW, Zentrum für Europäische Wirtschaftsforschung, Mannheim
Fast alles und jeder – vom Menschen bis zur Maschine, vom Industriesensor bis zur Armbanduhr – erzeugt immer größere Mengen an Daten, Messergebnissen, Nachrichten und Informationen. Der Vortrag zeigt Wege auf, diese Datenflut zu ordnen und sinnvoll ohne große Erstinvestitionen in Big Data-Lösungen zu nut- zen. Es werden Lösungen präsentiert, wie man von Datentümpeln zu Data-La- kes und damit stabilen Prognosen, z.B. für die Warennachfrage, kommt.
Die Aufzeichnung dieses Webinars steht demnächst hier zur Verfügung: http://aws.amazon.com/de/recorded-webinar/
Big Data ist eines der großen Schlagworte der letzten Jahre. Aber was ist das? In vielen Unternehmen gibt es heute große Datenbestände, die nicht oder nicht ausreichend genutzt werden. Das können Logfiles eines Webservers, Bon-Daten eines Einzelhandelsunternehmens oder Sensordaten einer Produktionsstraße sein. In diesem Webinar geben wir einen Überblick über Big Data und die benutzten Technologien.
Der Vortrag zeigt die Grenzen bisheriger Lösungen und gibt einen Überblick über neue Lösungen.
Er zeigt, wie Systemlandschaften weltweit tätiger (Internet-)Konzerne aussehen und leitet daraus herunterskalierte, praktikable Lösungen auch für kleinere Unternehmen mit weit weniger Datenvorkommen ab.
Der Vortrag zeigt die Grenzen bisheriger Lösungen und gibt einen Überblick über neue Lösungen.
Er zeigt, wie Systemlandschaften weltweit tätiger (Internet-)Konzerne aussehen und leitet daraus herunterskalierte, praktikable Lösungen auch für kleinere Unternehmen mit weit weniger Datenvorkommen ab.
In diesem Webinar geben wir Ihnen eine Einführung, präsentieren die Möglichkeiten und Fallstricke und beantworten Ihre Fragen rund um das Thema Big Data.
Der Vortrag zeigt die Grenzen bisheriger Lösungen und gibt einen Überblick über neue Lösungen.
Er zeigt, wie Systemlandschaften weltweit tätiger (Internet-)Konzerne aussehen und leitet daraus herunterskalierte, praktikable Lösungen auch für kleinere Unternehmen mit weit weniger Datenvorkommen ab.
Agile Datenanalsyse - der schnelle Weg zum MehrwertAlexander Hendorf
Vortrag ZEW, Zentrum für Europäische Wirtschaftsforschung, Mannheim
Fast alles und jeder – vom Menschen bis zur Maschine, vom Industriesensor bis zur Armbanduhr – erzeugt immer größere Mengen an Daten, Messergebnissen, Nachrichten und Informationen. Der Vortrag zeigt Wege auf, diese Datenflut zu ordnen und sinnvoll ohne große Erstinvestitionen in Big Data-Lösungen zu nut- zen. Es werden Lösungen präsentiert, wie man von Datentümpeln zu Data-La- kes und damit stabilen Prognosen, z.B. für die Warennachfrage, kommt.
Die Aufzeichnung dieses Webinars steht demnächst hier zur Verfügung: http://aws.amazon.com/de/recorded-webinar/
Big Data ist eines der großen Schlagworte der letzten Jahre. Aber was ist das? In vielen Unternehmen gibt es heute große Datenbestände, die nicht oder nicht ausreichend genutzt werden. Das können Logfiles eines Webservers, Bon-Daten eines Einzelhandelsunternehmens oder Sensordaten einer Produktionsstraße sein. In diesem Webinar geben wir einen Überblick über Big Data und die benutzten Technologien.
Data Lake Architektur: Von den Anforderungen zur TechnologieJens Albrecht
Keynote auf dem BARC Big Data Forum auf der OOP 2017, München.
Data Lakes bieten das Potenzial, den Zugriff auf heterogene Massendaten deutlich schneller und einfacher als relationale DWH-System zu ermöglichen. Die Risiken, die sich durch neue Technologien und den weitgehenden Verzicht auf vorab definierte Strukturen ergeben, dürfen allerdings nicht außer acht gelassen werden. Anforderungsmuster helfen, notwendige Strukturen für den Data Lake an sich und auch den Technologie-Stack zu definieren.
In diesem Vortrag, welcher im Rahmen des 6. Workshops der AG CAA (http://ag-caa.de/workshop2015/programm-des-6-workshops/) am 07. Februar 2015 in Dresden gehalten wurde, werden die IT-Empfehlungen (http://www.ianus-fdz.de/it-empfehlungen/) dezidiert vorgestellt.
Die IT-Empfehlungen sind eine Sammlung aus Best-Practices, Richtlinen, Minimalstandards etc. für den nachhaltigen Umgang mit digitalen Daten in den ALtertumswissenschaften und richten sich an alle Altertumswissenschaftler. Die IT-Empfehlungen sind eine Plattform, welche vom Forschungsdatenzentrum IANUS zur Verfügung gestellt wird, für die AltertumswissenschaftlerInnen aber auch aktiv bespielt von eben diesen (von der Community für die Community).
badenIT und psiori - Big Data Services | TDWI Schweiz 2017Robert Joseph
Daten sind längst zu einem wichtigen wirtschaftlichen Faktor in Unternehmen geworden. Die Herausforderungen, die mit Big Data einhergehen, sind enorm: Es gilt eine stetig wachsende Menge an strukturierten und unstrukturierten Daten aus den unterschiedlichsten Quellen zu speichern und mit immer komplexer werdenden Anfragen sinnvoll auszuwerten. Dabei spielt Datensicherheit eine große Rolle. Jona Boeddinghaus stellt in dieser Session die badenIT Data Lake & Managed Spark Platform vor, auf welcher die Datenwissenschaftler von PSIORI ihre Advanced Analytics Anwendungen entwickeln.
Themen: Infrastructure, Datacenter, Hadoop, Spark, Data Science
Auf der TDWI Schweiz in Zürich am 20. und 21. November 2017 waren badenIT GmbH und psiori GmbH mit dem gemeinsamen Produkt aus den badenIT Rechenzentren "Big Data Services" und "Data Science as a Service" Aussteller auf der TDWI Schweiz 2017.
www.badenIT.com // www.psiori.com
Perspektiven und Trends: + Wo prägt Big Data den digitalen Wandel? + Welche Technologien helfen?
Big Data Lab: + Wie gelingt der Schnellstart in die neue Informationsökonomie?
Praxiserfahrungen: + Welche Erfahrungen machen andere? + Wo steht Ihre Branche?
Big Data Expo 2015 - SMT Ware The Age of Software Defined BusinessBigDataExpo
De applicaties, servers en netwerk devices genereren continu waardevolle data die belangrijk zijn voor IT en de business. Het gebruiken van de data blijkt in de praktijk echter lastig te zijn en veel tijd te kosten. Aan de hand van inspirerende praktijkvoorbeelden zal de spreker uitleggen wat de mogelijkheden zijn.
Big Game Data - Event Tracking mit Storm, Kestrel und der Lambda Architektur ...Volker Janz
Event Tracking ist ein bekanntes Problem aus dem Big Data Bereich. Die Präsentation zeigt unsere Lösung bei InnoGames und geht dabei auf Technologien wie Apache Storm und Kestrel näher ein. Zudem wird die Lambda Architektur vorgestellt und mit Beispieltechnologien verständlich und praktisch erklärt.
Querdenken leicht gemacht! „Cascading“ bietet als alternatives Framework die Möglichkeit, MapReduce auch ohne Paradigmenwechsel in der Programmierung zu implementieren. Schnell, einfach, und intuitiv.
Digital Tranformation: Überleben im Zeitalter von Big Data, Industrie 4.0 und...crentschufdiu
Vortragsunterlage von Prof. Dr. Frank Schönefeld zum Expertenabend des Fördervereins für Unternehmensführung an der Dresden International University e.V. am 24.09.2015
Warehousing refers to the large-scale storage of goods in a systematic manner from the time of production or purchase until use or sale. The key functions of warehousing include storage, preservation, and facilitating the distribution of goods. There are different types of warehouses such as private, public, government, cooperative, and bonded warehouses which vary based on ownership and target users. An effective warehousing strategy considers factors like demand patterns, customer service levels, and total distribution costs.
Im Webinar Enterprise Readiness mit Hadoop - Infrastrukturen für Big Data wird unter anderem Hadoop als etablierte Basis-Technologie für Industrie 4.0 und Big Data-Anforderungen beleuchtet. Erfahren Sie, wie Ihre Infrastruktur für die Verarbeitung und Analyse großer und polystrukturierter Datenmengen aus unterschiedlichen Quellsystemen aufgebaut sein muss.
Sven Schlarb of the Austrian National Library presented SCAPE (in German). Besides giving a general overview of SCAPE the presentation also includes descriptions of SCAPE solutions, including tools, software integration, planning, and more.
The presentation was given at the Austrian Library day on ‘National Initiatives on Digital Information. Repositories, Research data and long-term preservation in Austria’ (http://www.obvsg.at/voeb-obvsg-bibliothekstage-2013/programm-410/) on 4 October 2013 in Vienna.
Data Lake Architektur: Von den Anforderungen zur TechnologieJens Albrecht
Keynote auf dem BARC Big Data Forum auf der OOP 2017, München.
Data Lakes bieten das Potenzial, den Zugriff auf heterogene Massendaten deutlich schneller und einfacher als relationale DWH-System zu ermöglichen. Die Risiken, die sich durch neue Technologien und den weitgehenden Verzicht auf vorab definierte Strukturen ergeben, dürfen allerdings nicht außer acht gelassen werden. Anforderungsmuster helfen, notwendige Strukturen für den Data Lake an sich und auch den Technologie-Stack zu definieren.
In diesem Vortrag, welcher im Rahmen des 6. Workshops der AG CAA (http://ag-caa.de/workshop2015/programm-des-6-workshops/) am 07. Februar 2015 in Dresden gehalten wurde, werden die IT-Empfehlungen (http://www.ianus-fdz.de/it-empfehlungen/) dezidiert vorgestellt.
Die IT-Empfehlungen sind eine Sammlung aus Best-Practices, Richtlinen, Minimalstandards etc. für den nachhaltigen Umgang mit digitalen Daten in den ALtertumswissenschaften und richten sich an alle Altertumswissenschaftler. Die IT-Empfehlungen sind eine Plattform, welche vom Forschungsdatenzentrum IANUS zur Verfügung gestellt wird, für die AltertumswissenschaftlerInnen aber auch aktiv bespielt von eben diesen (von der Community für die Community).
badenIT und psiori - Big Data Services | TDWI Schweiz 2017Robert Joseph
Daten sind längst zu einem wichtigen wirtschaftlichen Faktor in Unternehmen geworden. Die Herausforderungen, die mit Big Data einhergehen, sind enorm: Es gilt eine stetig wachsende Menge an strukturierten und unstrukturierten Daten aus den unterschiedlichsten Quellen zu speichern und mit immer komplexer werdenden Anfragen sinnvoll auszuwerten. Dabei spielt Datensicherheit eine große Rolle. Jona Boeddinghaus stellt in dieser Session die badenIT Data Lake & Managed Spark Platform vor, auf welcher die Datenwissenschaftler von PSIORI ihre Advanced Analytics Anwendungen entwickeln.
Themen: Infrastructure, Datacenter, Hadoop, Spark, Data Science
Auf der TDWI Schweiz in Zürich am 20. und 21. November 2017 waren badenIT GmbH und psiori GmbH mit dem gemeinsamen Produkt aus den badenIT Rechenzentren "Big Data Services" und "Data Science as a Service" Aussteller auf der TDWI Schweiz 2017.
www.badenIT.com // www.psiori.com
Perspektiven und Trends: + Wo prägt Big Data den digitalen Wandel? + Welche Technologien helfen?
Big Data Lab: + Wie gelingt der Schnellstart in die neue Informationsökonomie?
Praxiserfahrungen: + Welche Erfahrungen machen andere? + Wo steht Ihre Branche?
Big Data Expo 2015 - SMT Ware The Age of Software Defined BusinessBigDataExpo
De applicaties, servers en netwerk devices genereren continu waardevolle data die belangrijk zijn voor IT en de business. Het gebruiken van de data blijkt in de praktijk echter lastig te zijn en veel tijd te kosten. Aan de hand van inspirerende praktijkvoorbeelden zal de spreker uitleggen wat de mogelijkheden zijn.
Big Game Data - Event Tracking mit Storm, Kestrel und der Lambda Architektur ...Volker Janz
Event Tracking ist ein bekanntes Problem aus dem Big Data Bereich. Die Präsentation zeigt unsere Lösung bei InnoGames und geht dabei auf Technologien wie Apache Storm und Kestrel näher ein. Zudem wird die Lambda Architektur vorgestellt und mit Beispieltechnologien verständlich und praktisch erklärt.
Querdenken leicht gemacht! „Cascading“ bietet als alternatives Framework die Möglichkeit, MapReduce auch ohne Paradigmenwechsel in der Programmierung zu implementieren. Schnell, einfach, und intuitiv.
Digital Tranformation: Überleben im Zeitalter von Big Data, Industrie 4.0 und...crentschufdiu
Vortragsunterlage von Prof. Dr. Frank Schönefeld zum Expertenabend des Fördervereins für Unternehmensführung an der Dresden International University e.V. am 24.09.2015
Warehousing refers to the large-scale storage of goods in a systematic manner from the time of production or purchase until use or sale. The key functions of warehousing include storage, preservation, and facilitating the distribution of goods. There are different types of warehouses such as private, public, government, cooperative, and bonded warehouses which vary based on ownership and target users. An effective warehousing strategy considers factors like demand patterns, customer service levels, and total distribution costs.
Im Webinar Enterprise Readiness mit Hadoop - Infrastrukturen für Big Data wird unter anderem Hadoop als etablierte Basis-Technologie für Industrie 4.0 und Big Data-Anforderungen beleuchtet. Erfahren Sie, wie Ihre Infrastruktur für die Verarbeitung und Analyse großer und polystrukturierter Datenmengen aus unterschiedlichen Quellsystemen aufgebaut sein muss.
Sven Schlarb of the Austrian National Library presented SCAPE (in German). Besides giving a general overview of SCAPE the presentation also includes descriptions of SCAPE solutions, including tools, software integration, planning, and more.
The presentation was given at the Austrian Library day on ‘National Initiatives on Digital Information. Repositories, Research data and long-term preservation in Austria’ (http://www.obvsg.at/voeb-obvsg-bibliothekstage-2013/programm-410/) on 4 October 2013 in Vienna.
Plattformen für das Internet der Dinge, solutions.hamburg, 05.09.16Boris Adryan
Talk in German. Abstract: Prospective end users new to IoT are overwhelmed with the vast number of offerings around IoT data brokerage, storage and analysis. This talk exemplifies some of the challenges that have to be met in real-world deployments, and why there is no one-size-fits-all IoT solution. We conclude that IoT solution providers in many cases need to consider PaaS solutions with customer-specific modifications.
Der Vortrag beschreibt die Architektur eines serviceorientierten, modular erweiterbaren DWH-Modells und dem dazu gehörigen Berichtswesens. Er soll außerdem zeigen, wie ein solches Modell in ein bereits existierendes, stark heterogenes Umfeld eingebunden werden kann.
Die verschiedenen Schichten des DWH-Modells sowie die Einbindung in das Umfeld werden dabei detailliert beschrieben. Auf die Vor- und Nachteile der verschiedenen Modellierungsmöglichkeiten (3NF, Stern, Cube), sowie Aspekte der zukünftigen Erweiterung und Veränderung wird ebenfalls eingegangen. Eine kurze Übersicht über Tuning und Sicherheitsaspekte beendet den ersten Teil.
Der zweite Teil besteht aus einer Übersicht über die Einbindung des Berichtswesens in die Gesamtarchitektur. Verschiedene Ansatzmöglichkeiten für die Bedienung der Anforderungen verschiedener Nutzergruppen werden erarbeitet. Zuletzt werden Ideen zur Konsolidierung und Ablösung eines stark zerklüfteten, sich widersprechenden Berichtswesens gegeben.
Der Vortrag soll damit DWH-Architekten Möglichkeiten aufzeigen, wie man ein DWH zukunftssicher und flexibel modellieren und in ein heterogenes Umfeld einbetten kann. OPITZ CONSULTING Berater Arno Tigges hielt diesen Vortrag am 29.06.2010 bei der DOAG SIG BI/DWH in Köln.
Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und a...Harald Erb
Das einzig Beständige ist der Wandel: Kritische Informationen, die Unternehmen täglich als Entscheidungsgrundlage benötigen, unterliegen der permanenten Veränderung und sind noch dazu über viele interne und externe Quellen verteilt. Sei es in Dokumenten, E-Mails, auf Portalen und Websites, etc. – überall finden sich relevante Daten, die wertvolle Erkenntnisse für fundierte Geschäftsentscheidungen liefern können.
Technisch betrachtet müssen die zum Teil sehr schwer zugänglichen Informationen zunächst einmal von den verteilten Anwendungen und Datenquellen beschafft werden bevor die eigentliche Weiterverarbeitung im Data Warehouse stattfindet. Als graphisches Entwicklungswerkzeug setzt das Endeca Web Acquisition Toolkit (Endeca WAT) genau an diesem Punkt an, indem es das Erstellen synthetischer Schnittstellen ermöglicht. Z.B. sollen von einer kommerziellen Website Preisdaten und/oder Kundenbewertungen akquiriert werden, für die der Website-Betreiber keine API bereitstellt. Der nachfolgende Artikel bzw. Vortrag skizziert, wie das Endeca Web Acquisition Toolkit Integrationsaufgaben zur Anbindung externer Datenquellen im Rahmen der aktuellen Oracle Information Management Reference Architecture übernehmen kann
Pressemitteilung: Webinar "Elasticsearch und Big Data" am 23.07.14inovex GmbH
Das auf Big-Data-Themen spezialisierte IT-Projekthaus inovex informiert am 23.07.2014 in einem Webinar über die Open-Source-Suchtechnologie „Elasticsearch“,
und wie diese für Data Analytics auf großen Datenvolumina genutzt werden kann.
Big Data Discovery + Analytics = Datengetriebene Innovation!Harald Erb
Vortrag von der DOAG 2015-Konferenz: Die Umsetzung von Datenprojekten muss man nicht zwangsläufig den sog. Data Scientists allein überlassen werden. Daten- und Tool-Komplexität im Umgang mit Big Data sind keine unüberwindbaren Hürden mehr für die Teams, die heute im Unternehmen bereits für Aufbau und Bewirtschaftung des Data Warehouses sowie dem Management bzw. der Weiterentwicklung der Business Intelligence-Plattform zuständig sind. In einem interdisziplinären Team bringen neben den technischen Rollen auch Fachanwender und Business Analysten von Anfang an ihr Domänenwissen in das Datenprojekt mit ein,
Cloud Computing bringt grosse Chancen, birgt aber auch die Gefahr von noch grösseren Abhängigkeiten zu IT-Herstellern. Mit der bewussten Auswahl von Cloud Services beispielsweise nach den Kriterien der Open Cloud Initiative lässt sich die Digitale Nachhaltigkeit auch in der Wolke sicherstellen.
BARC Studie Webinar: Ausgereifte Analysen mit Apache HadoopCloudera, Inc.
Sowohl die Technologie Hadoop als auch das Konzept Data Lake sind erst seit kurzer Zeit im Enterprise-Kontext im Einsatz. Entsprechend fällt es Unternehmen häufig schwer, zwischen medialer Überhöhung und tatsächlich realisierbaren Mehrwert zu unterscheiden. Ob es Unternehmen gelingt, sich die Vorteile zunutze zu machen, untersucht diese Studie zum Stand und zur zukünftigen Entwicklung von Big Data und dessen Anwendungsfälle in Unternehmen. Mit weltweit über 380 Teilnehmern bei einer breit gefächerten Branchenverteilung gehört die vorliegende Studie „Hadoop und Data Lakes“ zu den größten Untersuchungen, die sich speziell den Herausforderungen bei der Datenanalyse mit Hadoop widmen.
Webinar - Sehr empfehlenswert: wie man aus Daten durch maschinelles Lernen We...Cloudera, Inc.
Unternehmen sind heutzutage in der Lage ihre Daten mit relativer Leichtigkeit aufzunehmen und zu verwalten. Die Herausforderung besteht nun darin, die verborgenen Muster in den Daten zu erkennen und diese zu verstehen, um einen Mehrwert zu generieren. Aufgrund der großen Datenmengen gelingt dies mit traditionelle Ansätzen zumeist nicht. Das Ergebnis: Organisationen kämpfen, um wirklich zu innovieren und sich zu differenzieren.
Cloud Computing - auch für Geschäftsanwendungen - Peter JaeschkeIPM-FHS
Facetten des Cloud-Computing, Geschäftsanwendungen in der Cloud, flexible Umsetzung der Geschäftsprozesse, Vorteile, Chancen und Risiken, Individualität und Standardisierung, Skalierbarkeit und Sicherheit
Ähnlich wie Rbu amanox big_data_intro_infrastruktur (20)
2. Agenda Big Data After-Work Seminar @BFH
Zeit Thema Referent
17.30 Begrüssung Dr. Arno Schmidhauser, BFH
17.35 Big Data – Infrastruktur und Software-
Stacks
René Burgener, amanox solutions AG
18.00 BigData – Instrumente, Werkzeuge,
Frameworks und konkrete Use-Cases
Dr. Daniel Fasel, Scigility GmbH
18.50 BigData PaaS – Automatisierung &
Orchestration Frameworks
Matthias Imsand, amanox solutions AG
19.20 Wrap-Up – Zusammenfassung und Take-
away’s
Urs Zumstein, amanox solutions AG
19.30 Abschluss der Veranstaltung – individuelles
Networking
Teilnehmer
Inhalt
6. Big Data- Infrastruktur und Software-Stacks
Inhalt
• Big Data – Herausforderungen und Dimension
Die digitale Transformation unseres Alltags
60 Sekunden im Internet Zeitalter
Die Welt im 2020 (IoT - Internet-of-Things)
• Big Data – Die Entstehung der Technologien & Instrumente
• Big Data – Anforderungen an die Infrastruktur
• Big Data – Hadoop Distributionen im Überblick
• Big Data – Take away’s
12. Big Data
Entstehung der Technologien & Instrumente
Paradigmenwechsel, Prinzipien, Publikationen, Technologien
13. Die Vorreiter der ersten Stunde
• Google publizierte 2004 die Referenzarchitektur für MapReduce zusammen mit
dem Google File System (ein verteiltes Datei-System).
MapReduce war der Pate für die Entwicklung von Hadoop
Das Google File System war der Pate für das Hadoop Distributed File System (HDFS)
• Dough Cutting entwickelte Hadoop – einfache MapReduce Implementation für
Unternehmen
• Yahoo!: Entwickelte Hadoop weiter und übergab das Resultat an das Apache
Open Source Project
• Hadoop ist heute der weltweit verbreiteste Technologie Stack für Big Data
Projekte
• Für Hadoop gibt es verschiedenen Distributionen mit unterschiedlich
verfügbarem Support und verschieden zusammengesetzten Tools
Apache Hadoop Project Organisation
HortonWorks
Cloudera (wo Dough Cutting als Chef-Architekt arbeitet)
14. Die 4 V’s von Big Data
Volumen
Vielfalt
(Variety)
Ungenauigkeit
(Veracity)
Geschwindigkeit
(Velocity)
Datenspeicherungsvolumen
Datenbewegung (z.B. Streaming)
Daten in vielen Formen
Datenunschärfe
16. Big Data: Paradigmawechsel
Traditionelles Vorgehen Big Data Vorgehen
Gesamte
Informationsmenge
Gesamter
Datenbestand
wird analysiert
Analysierter
Informations-
Ausschnitt
Analyse von kleinen
Data-Subsets
Analyse des gesamten
Datenbestandes
17. Big Data: Paradigmawechsel 2
Traditionelles Vorgehen Big Data Vorgehen
Hypothese
Start mit einer Hypothese und
Prüfung gegen die vorhandenen Daten
Erkunde alle vorhandenen Daten
und erkenne die Korrelationen
?
Fragestellung
Antwort Daten
Daten Exloration
KorrelationErkenntnis
18. Die Vielfalt der Daten (Informationen)
Kunde
Name
Vorname
Kundennummer
Ort
Artikel
Bezeichnung
EAN
Preis
MwSt
KundenNr EAN Netto MwSt Brutto Datum
98273891 CH28309810 12,21 8% 24,05 19.04.15
83691817 CH94839928 81,77 8% 97,31 22.04.15
63879287 CH87687628 2,31 7% 2,47 29.04.15
Relationale DB
- Attribute
- Tupel
SQL Query:
SELECT SUM(BRUTTO) WHERE
KUNDENNR = 123456789
Relationale DB
Parallelverarbeitung
19. Beispiel: Erkennung von Kreditkartenmissbrauch
Visa hat ca. 2 Mrd.
Kreditkarten weltweit
Kreditkartenunternehmen erstellen
ein Muster aus den Zahlungsdaten
Werden einige Tage später
Einkäufe im Reiseland getätigt,
liegt evtl. ein Missbrauch vor!
Durch Big Data Technologie hat sich die Dauer
der Analyse von 45 Min. auf 4 Sek. verkürzt
Quelle: Bild der Wissenschaft, Ulrich Schmitz
23. Infrastruktur Gemeinsamkeiten
Hyperkonvergenter Technologie Stack (z.B. NUTANIX)
Hadoop Big Data Open Source Technologie Stack
Commodity
Hardware File SystemMap Reduce
Architecture
x86
CPU
x86
CPU
parallel
Computing
store
explosive Data
NDFSCluster
Cluster
virtual
Infrastructure
OSS virtual
Machine
Commodity
Storage
27. Big Data: Take aways
Grundsätzlicher Paradigmawechsel bei der Technologie
INFRASTRUKTUR STACK
Herausforderungen mit Web-Scale Technologien meistern
Grundprinzipien
• agil statt statisch
• umfassend statt selektiv
• explorativ statt hypothetisch
• parallel statt sequentiell
• offen statt proprietär
• einfach statt komplex
• automatisch statt manuell
• virtuell statt physikalisch
Software Defined Everything!
28. Big Data – Einführung und Infrastruktur
Danke
für Ihr Interesse
29. Big Data
Wrap-Up und Abschluss
Urs Zumstein, Senior Consultant, amanox solutions AG
30. BigData / Enterprise Lösungen
Big Data Applikationen
• Strategie «schema on read» eröffnet neue
Vorgehensweisen, mehr Flexibilität für
während der Produktelaufzeit veränderte
Bedürfnisse
• BigData Lösungen / Public Clouds
• BigData Private Cloud
Hadoop als «Middleware»
• Hadoop wird für verschiedene BigData
Vorhaben eingesetzt
• Hadoop entwickelt sich als Standard Plattform
• Integration auf Enterprise Plattform
Nutanix Plattform
Eine Lösung für verschiedene Workload
• Hadoop / «BigData Lake»
• Virtual Desktop Infrastructures (VDI)
• Server Virtualisierung (Exchange, DB,
Sharepoint, ..)
• Software Defined Networks (SDN)
• Ideale Basis für Orchestration and Automation
(nur zwei Typen API im RZ)
Dienstleistungen
• BigData Analytic Plattform (Plan, Build, Run)
• Technisches Consulting
• DevOps und Engineering (Plan, Build, Run)
• Performance Care Services
31. Unsere Vision
Cloud Design
Manufacture
ICT Automation and
Standardization
BigData
Infrastructure
Expertise
Application
Performance
Management (APM)
Wir unterstützen unsere Kunden bei der Standardisierung und
Automatisierung Ihrer ICT Services.
Cloud Services
CPU Mem
Software Management Stack
Software Defined Network
App App App
32. Big Data – Veranstaltung
Die Grenzen der
digitalen Transformation
https://m.youtube.com/watch?v=N8w6COfheoo