SlideShare ist ein Scribd-Unternehmen logo
Big Data ist hier um zu bleiben
(auch wenn es noch oft den Namen wechseln wird)
André Csillaghy
Institut für 4D-Technologien
Hochschule für Technik
Fachhochschule Nordwestschweiz
BIG DATA:
VERBLASSENDER HYPE?
Die Blogosphäre:
Zeigt Zusammenhänge zwischen
kommunizierdende Menschen
Offensichtlich ist die Information nicht
zufällig verteilt.
Solar Dynamics Observatory, ein NASA
Satellit
Nimmt soviele Daten wie 3
Fernsehkanäle, die 24 / 7 laufen.
Die Beobachtungen können nicht mehr
von Hand ausgewertet werden.
Quelle: (via) Wikipedia
NSA -- 
Ebay:
7.5PB in Teradata Enterprise Data Warehouse
40 PB Hadoop Cluster
40PB auf ein Custom-System für deep-dive Analysis
100 TB / Tag neue Daten
500 Milliarden aktuellen Angebote
Facebook:
50 Milliarden Fotos, automatische Gesichtserkennung
Kreditkartenschutz:
2.1 Milliarden Karten werden geschützt
Soure: OECD Digital Economy Outlook 2015
Internet of Things
Anzahl am Internet angeschlossenen Geräte pro 100 Einwohnen
BUSINESS NUTZEN
BIG DATA ANALYTICS
Daten-Aufwertungskette
Original Data
Target
Data
Preprocessed
Data
Patterns
Knowledge
Data
Integration
and Selection
Preprocessing
Model
Construction
Interpretation
Quelle: Ramakrishnan & Gehrke
Institute of 4D Technologies: Management, Processing, and Visualization
of Data
www.fhnw.ch/i4ds, facebook.com/fhnw.i4ds
Data Science am Institut für 4D-Technologien
Trans_id Kunde_id Datum Objekt Menge
111 201 2.2.2006 Kugelschreiber 2
111 201 2.2.2006 Tinte 1
111 201 2.2.2006 Milch 3
111 201 2.2.2006 Saft 6
112 105 6.3.2006 Kugelschreiber 1
112 105 6.3.2006 Tinte 1
112 105 6.3.2006 Milch 1
113 106 5.5.2006 Kaffee 1
113 106 5.5.2006 Milch 1
114 201 25.5.2006 Kugelschreiber 2
114 201 25.5.2006 Tinte 2
114 201 25.5.2006 Saft 4
114 201 25.5.2006 Wasser 1
http://gravitationallensing.pbworks.com/w/
page/15553245/Cosmic%20Lensing
https://s3.amazonaws.com/datarobotblog/images/deepLearningIntro/013.png
TECHNOLOGIEN
•  Datenbanken:
– Teradata, Cloudera
– SQL / NOSQL
•  Data analysis
– Weka toolkit (data mining)
– OpenCV (feature extraction)
•  HPC
– Pydron (HBC)
– Hadoop / Spark
•  Resource management
– Mesos
•  Usw., usw., usw….
Open Data Analysis Stack
Application
Storage
Data Processing
Infrastructure
Aus: ganges.usc.edu/pgroupW/.../Berkley_Data_Analysis_Stack_(BDAS).pptx
CHANCEN UND RISIKEN
LEBEN ZUSAMMEN
•  Verlust der Kontrolle: auch wenn ich
nichts zu verstecken habe, habe ich
keine Möglichkeit zu kontrollieren, für
was meine Daten benutzt werden
•  Mein Gefühl sagt mir, dass es mehr den
Unternehmen profitiert als mich selbst
•  Ich kann das Datensammeln nicht mehr
ausweichen
Quelle:TheGuardian24.6.2014
Storage Model: the Data Warehouse
Quelle: http://www.hammer.net/images/data_storage_diagram2.jpg
Computing infrastructure
•  Scalability = data + computing power
– Parallelization
•  Google: Map / Reduce
•  Pydron
Astronomische Datenmengen
In Betrieb
2 TB / Tag
Start 2019
100 PB
Im Bau
13 TB/ Nacht
Design
Mehr als das gesamte Internet
Is Big Data too big for SMEs?
•  Wir geben eher mehr Daten an
Grossunternehmen, als wir von denen
zurückbekommen (Beispiel: Google Mail)
•  Tatsache #1: jede Firma – jede Person –
baut sich ein kleines Daten-Imperium
– kann aber dieses nicht verarbeiten….
•  Tatsache #2: Es ist immer besser wenn man
bescheid über die eigenen Daten weiss
Es geht um Leute
•  Wie kreiert man Wert aus Daten?
•  Data Analysts  Data Scientists
– Neues Profil, ein mix von Hacker, Analyst,
Communicator, trusted Advisor
•  Wie können KMUs die notwendigen
Skills bekommnen?
Aus dem Wild West zur Zivilisation
•  Big Data is here to stay
•  Big Data kennt keine Grenzen
•  Im Moment mischen sich riesige Chancen mit
noch undenkbaren Risiken
•  Der Technologie sind die Chancen und Risiken
egal. Sie wird sich weiter entwickeln
•  Chancen können nur überwiegen, wenn wir
eine Ethik der Datennutzung einführen, wo die
Risken unter Kontrolle gebracht werden
Es geht aber auch um
Infrastruktur
•  Zu viel für KMUs?
•  Clouds
•  Schon wenig kann mehr sein
•  Macht der Job attraktiv
Vielen Dank!

Weitere ähnliche Inhalte

Andere mochten auch

Solar Radiation: the Light that Saves and Threatens
Solar Radiation: the Light that Saves and ThreatensSolar Radiation: the Light that Saves and Threatens
Solar Radiation: the Light that Saves and Threatens
FLARECAST
 
Sun, a little giant in our neighbourhood
Sun, a little giant in our neighbourhoodSun, a little giant in our neighbourhood
Sun, a little giant in our neighbourhood
FLARECAST
 
Big Data in Science
Big Data in ScienceBig Data in Science
Big Data in Science
FLARECAST
 
International Efforts in Predicting Solar Activity: from Theory to Practice
International Efforts in Predicting Solar Activity: from Theory to PracticeInternational Efforts in Predicting Solar Activity: from Theory to Practice
International Efforts in Predicting Solar Activity: from Theory to Practice
FLARECAST
 
Solar flares: The great challenge!
Solar flares: The great challenge!Solar flares: The great challenge!
Solar flares: The great challenge!
FLARECAST
 
Où en sommes-nous de la Prévision de l'activité solaire et de ses impacts sur...
Où en sommes-nous de la Prévision de l'activité solaire et de ses impacts sur...Où en sommes-nous de la Prévision de l'activité solaire et de ses impacts sur...
Où en sommes-nous de la Prévision de l'activité solaire et de ses impacts sur...
FLARECAST
 
FLARECAST - Das Automatische Vorhersagesystem für Sonnenflares
FLARECAST - Das Automatische Vorhersagesystem für SonnenflaresFLARECAST - Das Automatische Vorhersagesystem für Sonnenflares
FLARECAST - Das Automatische Vorhersagesystem für Sonnenflares
FLARECAST
 
Chancen und Risiken des Datensammelns
Chancen und Risiken des DatensammelnsChancen und Risiken des Datensammelns
Chancen und Risiken des Datensammelns
FLARECAST
 
The FLARECAST project
The FLARECAST projectThe FLARECAST project
The FLARECAST project
FLARECAST
 
La couronne solaire : du calme à la tempête
La couronne solaire : du calme à la tempêteLa couronne solaire : du calme à la tempête
La couronne solaire : du calme à la tempête
FLARECAST
 
Living with the sun
Living with the sunLiving with the sun
Living with the sun
FLARECAST
 

Andere mochten auch (11)

Solar Radiation: the Light that Saves and Threatens
Solar Radiation: the Light that Saves and ThreatensSolar Radiation: the Light that Saves and Threatens
Solar Radiation: the Light that Saves and Threatens
 
Sun, a little giant in our neighbourhood
Sun, a little giant in our neighbourhoodSun, a little giant in our neighbourhood
Sun, a little giant in our neighbourhood
 
Big Data in Science
Big Data in ScienceBig Data in Science
Big Data in Science
 
International Efforts in Predicting Solar Activity: from Theory to Practice
International Efforts in Predicting Solar Activity: from Theory to PracticeInternational Efforts in Predicting Solar Activity: from Theory to Practice
International Efforts in Predicting Solar Activity: from Theory to Practice
 
Solar flares: The great challenge!
Solar flares: The great challenge!Solar flares: The great challenge!
Solar flares: The great challenge!
 
Où en sommes-nous de la Prévision de l'activité solaire et de ses impacts sur...
Où en sommes-nous de la Prévision de l'activité solaire et de ses impacts sur...Où en sommes-nous de la Prévision de l'activité solaire et de ses impacts sur...
Où en sommes-nous de la Prévision de l'activité solaire et de ses impacts sur...
 
FLARECAST - Das Automatische Vorhersagesystem für Sonnenflares
FLARECAST - Das Automatische Vorhersagesystem für SonnenflaresFLARECAST - Das Automatische Vorhersagesystem für Sonnenflares
FLARECAST - Das Automatische Vorhersagesystem für Sonnenflares
 
Chancen und Risiken des Datensammelns
Chancen und Risiken des DatensammelnsChancen und Risiken des Datensammelns
Chancen und Risiken des Datensammelns
 
The FLARECAST project
The FLARECAST projectThe FLARECAST project
The FLARECAST project
 
La couronne solaire : du calme à la tempête
La couronne solaire : du calme à la tempêteLa couronne solaire : du calme à la tempête
La couronne solaire : du calme à la tempête
 
Living with the sun
Living with the sunLiving with the sun
Living with the sun
 

Ähnlich wie Big Data ist hier um zu bleiben

Big/Smart/Fast Data – a very compact overview
Big/Smart/Fast Data – a very compact overviewBig/Smart/Fast Data – a very compact overview
Big/Smart/Fast Data – a very compact overview
OMM Solutions GmbH
 
Datenwahn - Themenspecial von BusinessVALUE24
Datenwahn  - Themenspecial von BusinessVALUE24Datenwahn  - Themenspecial von BusinessVALUE24
Datenwahn - Themenspecial von BusinessVALUE24
BusinessVALUE24
 
TFF2023 - Navigating Tourism Data Nexus
TFF2023 - Navigating Tourism Data NexusTFF2023 - Navigating Tourism Data Nexus
TFF2023 - Navigating Tourism Data Nexus
TourismFastForward
 
DE - Module 6 - The future of Smart Data
DE - Module 6 - The future of Smart DataDE - Module 6 - The future of Smart Data
DE - Module 6 - The future of Smart Data
caniceconsulting
 
Google Analytics Konferenz 2015_Building a data strategy_Georg Koch_herold.at
Google Analytics Konferenz 2015_Building a data strategy_Georg Koch_herold.atGoogle Analytics Konferenz 2015_Building a data strategy_Georg Koch_herold.at
Google Analytics Konferenz 2015_Building a data strategy_Georg Koch_herold.at
e-dialog GmbH
 
Deep Learning – The Future of AI
Deep Learning – The Future of AIDeep Learning – The Future of AI
Deep Learning – The Future of AI
GroupeT2i
 
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-EndDotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Olivia Klose
 
OpenDMA - Daten Management Solution
OpenDMA  - Daten Management SolutionOpenDMA  - Daten Management Solution
OpenDMA - Daten Management Solution
Torsten Glunde
 
DOAG News 2012 - Analytische Mehrwerte mit Big Data
DOAG News 2012 - Analytische Mehrwerte mit Big DataDOAG News 2012 - Analytische Mehrwerte mit Big Data
DOAG News 2012 - Analytische Mehrwerte mit Big Data
Harald Erb
 
Data Swipe #1 - Do's und Don'ts beim Datensammeln
Data Swipe #1 - Do's und Don'ts beim DatensammelnData Swipe #1 - Do's und Don'ts beim Datensammeln
Data Swipe #1 - Do's und Don'ts beim Datensammeln
Kevin Kuhn
 
Megatrends zum Thema Zukunft der Arbeit
Megatrends zum Thema Zukunft der ArbeitMegatrends zum Thema Zukunft der Arbeit
Megatrends zum Thema Zukunft der Arbeit
42medien
 
Arbeit 4.0: Megatrends digitaler Arbeit der Zukunft - 25 Thesen
Arbeit 4.0: Megatrends digitaler Arbeit der Zukunft - 25 ThesenArbeit 4.0: Megatrends digitaler Arbeit der Zukunft - 25 Thesen
Arbeit 4.0: Megatrends digitaler Arbeit der Zukunft - 25 Thesen
DanielPoetzsch
 
Big Data – Vorsprung durch Wissen
Big Data – Vorsprung durch WissenBig Data – Vorsprung durch Wissen
Big Data – Vorsprung durch Wissen
TechDivision GmbH
 
Der Wert von Daten in Zeiten von "Big Data"
Der Wert von Daten in Zeiten von "Big Data"Der Wert von Daten in Zeiten von "Big Data"
Der Wert von Daten in Zeiten von "Big Data"
Thilo Stadelmann
 
Unternehmensweites Daten und Informationsmanagement
Unternehmensweites Daten und InformationsmanagementUnternehmensweites Daten und Informationsmanagement
Unternehmensweites Daten und Informationsmanagement
Nicki Borell
 
Top 10 der Business Intelligence-Trends für das Jahr 2014
Top 10 der Business Intelligence-Trends für das Jahr 2014Top 10 der Business Intelligence-Trends für das Jahr 2014
Top 10 der Business Intelligence-Trends für das Jahr 2014
Tableau Software
 
Big Data_und auf was es wirklich ankommt. 1A Relations
Big Data_und auf was es wirklich ankommt. 1A RelationsBig Data_und auf was es wirklich ankommt. 1A Relations
Big Data_und auf was es wirklich ankommt. 1A RelationsGeorg Blum
 
Big Data, Augmented Ubiquity, Quantified Self
Big Data, Augmented Ubiquity, Quantified SelfBig Data, Augmented Ubiquity, Quantified Self
Big Data, Augmented Ubiquity, Quantified Self
Joerg Blumtritt
 
Webinale 2011 - Das mobile Internet im Jahr 2021
Webinale 2011 - Das mobile Internet im Jahr 2021Webinale 2011 - Das mobile Internet im Jahr 2021
Webinale 2011 - Das mobile Internet im Jahr 2021Matthias C. Schroeder
 
Big Data im Supply Chain Management
Big Data im Supply Chain ManagementBig Data im Supply Chain Management
Big Data im Supply Chain Management
Boris Otto
 

Ähnlich wie Big Data ist hier um zu bleiben (20)

Big/Smart/Fast Data – a very compact overview
Big/Smart/Fast Data – a very compact overviewBig/Smart/Fast Data – a very compact overview
Big/Smart/Fast Data – a very compact overview
 
Datenwahn - Themenspecial von BusinessVALUE24
Datenwahn  - Themenspecial von BusinessVALUE24Datenwahn  - Themenspecial von BusinessVALUE24
Datenwahn - Themenspecial von BusinessVALUE24
 
TFF2023 - Navigating Tourism Data Nexus
TFF2023 - Navigating Tourism Data NexusTFF2023 - Navigating Tourism Data Nexus
TFF2023 - Navigating Tourism Data Nexus
 
DE - Module 6 - The future of Smart Data
DE - Module 6 - The future of Smart DataDE - Module 6 - The future of Smart Data
DE - Module 6 - The future of Smart Data
 
Google Analytics Konferenz 2015_Building a data strategy_Georg Koch_herold.at
Google Analytics Konferenz 2015_Building a data strategy_Georg Koch_herold.atGoogle Analytics Konferenz 2015_Building a data strategy_Georg Koch_herold.at
Google Analytics Konferenz 2015_Building a data strategy_Georg Koch_herold.at
 
Deep Learning – The Future of AI
Deep Learning – The Future of AIDeep Learning – The Future of AI
Deep Learning – The Future of AI
 
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-EndDotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
 
OpenDMA - Daten Management Solution
OpenDMA  - Daten Management SolutionOpenDMA  - Daten Management Solution
OpenDMA - Daten Management Solution
 
DOAG News 2012 - Analytische Mehrwerte mit Big Data
DOAG News 2012 - Analytische Mehrwerte mit Big DataDOAG News 2012 - Analytische Mehrwerte mit Big Data
DOAG News 2012 - Analytische Mehrwerte mit Big Data
 
Data Swipe #1 - Do's und Don'ts beim Datensammeln
Data Swipe #1 - Do's und Don'ts beim DatensammelnData Swipe #1 - Do's und Don'ts beim Datensammeln
Data Swipe #1 - Do's und Don'ts beim Datensammeln
 
Megatrends zum Thema Zukunft der Arbeit
Megatrends zum Thema Zukunft der ArbeitMegatrends zum Thema Zukunft der Arbeit
Megatrends zum Thema Zukunft der Arbeit
 
Arbeit 4.0: Megatrends digitaler Arbeit der Zukunft - 25 Thesen
Arbeit 4.0: Megatrends digitaler Arbeit der Zukunft - 25 ThesenArbeit 4.0: Megatrends digitaler Arbeit der Zukunft - 25 Thesen
Arbeit 4.0: Megatrends digitaler Arbeit der Zukunft - 25 Thesen
 
Big Data – Vorsprung durch Wissen
Big Data – Vorsprung durch WissenBig Data – Vorsprung durch Wissen
Big Data – Vorsprung durch Wissen
 
Der Wert von Daten in Zeiten von "Big Data"
Der Wert von Daten in Zeiten von "Big Data"Der Wert von Daten in Zeiten von "Big Data"
Der Wert von Daten in Zeiten von "Big Data"
 
Unternehmensweites Daten und Informationsmanagement
Unternehmensweites Daten und InformationsmanagementUnternehmensweites Daten und Informationsmanagement
Unternehmensweites Daten und Informationsmanagement
 
Top 10 der Business Intelligence-Trends für das Jahr 2014
Top 10 der Business Intelligence-Trends für das Jahr 2014Top 10 der Business Intelligence-Trends für das Jahr 2014
Top 10 der Business Intelligence-Trends für das Jahr 2014
 
Big Data_und auf was es wirklich ankommt. 1A Relations
Big Data_und auf was es wirklich ankommt. 1A RelationsBig Data_und auf was es wirklich ankommt. 1A Relations
Big Data_und auf was es wirklich ankommt. 1A Relations
 
Big Data, Augmented Ubiquity, Quantified Self
Big Data, Augmented Ubiquity, Quantified SelfBig Data, Augmented Ubiquity, Quantified Self
Big Data, Augmented Ubiquity, Quantified Self
 
Webinale 2011 - Das mobile Internet im Jahr 2021
Webinale 2011 - Das mobile Internet im Jahr 2021Webinale 2011 - Das mobile Internet im Jahr 2021
Webinale 2011 - Das mobile Internet im Jahr 2021
 
Big Data im Supply Chain Management
Big Data im Supply Chain ManagementBig Data im Supply Chain Management
Big Data im Supply Chain Management
 

Mehr von FLARECAST

Die Sonne – alte Bekannte oder grosse Unbekannte?
Die Sonne – alte Bekannte oder grosse Unbekannte? Die Sonne – alte Bekannte oder grosse Unbekannte?
Die Sonne – alte Bekannte oder grosse Unbekannte?
FLARECAST
 
Watch out explosion!
Watch out explosion!Watch out explosion!
Watch out explosion!
FLARECAST
 
Space Weather Forecast
Space Weather ForecastSpace Weather Forecast
Space Weather Forecast
FLARECAST
 
SunSpotter Citizen Science
SunSpotter Citizen ScienceSunSpotter Citizen Science
SunSpotter Citizen Science
FLARECAST
 
Achtung Sonnenexplosion
Achtung SonnenexplosionAchtung Sonnenexplosion
Achtung Sonnenexplosion
FLARECAST
 
Die Sonne beobachten und Sonnenexplosionen vorhersagen
Die Sonne beobachten und Sonnenexplosionen vorhersagenDie Sonne beobachten und Sonnenexplosionen vorhersagen
Die Sonne beobachten und Sonnenexplosionen vorhersagen
FLARECAST
 
Die Sonne beobachten und Sonnenexplosionen vorhersagen
Die Sonne beobachten und Sonnenexplosionen vorhersagenDie Sonne beobachten und Sonnenexplosionen vorhersagen
Die Sonne beobachten und Sonnenexplosionen vorhersagen
FLARECAST
 
Big Data in Science
Big Data in ScienceBig Data in Science
Big Data in Science
FLARECAST
 

Mehr von FLARECAST (8)

Die Sonne – alte Bekannte oder grosse Unbekannte?
Die Sonne – alte Bekannte oder grosse Unbekannte? Die Sonne – alte Bekannte oder grosse Unbekannte?
Die Sonne – alte Bekannte oder grosse Unbekannte?
 
Watch out explosion!
Watch out explosion!Watch out explosion!
Watch out explosion!
 
Space Weather Forecast
Space Weather ForecastSpace Weather Forecast
Space Weather Forecast
 
SunSpotter Citizen Science
SunSpotter Citizen ScienceSunSpotter Citizen Science
SunSpotter Citizen Science
 
Achtung Sonnenexplosion
Achtung SonnenexplosionAchtung Sonnenexplosion
Achtung Sonnenexplosion
 
Die Sonne beobachten und Sonnenexplosionen vorhersagen
Die Sonne beobachten und Sonnenexplosionen vorhersagenDie Sonne beobachten und Sonnenexplosionen vorhersagen
Die Sonne beobachten und Sonnenexplosionen vorhersagen
 
Die Sonne beobachten und Sonnenexplosionen vorhersagen
Die Sonne beobachten und Sonnenexplosionen vorhersagenDie Sonne beobachten und Sonnenexplosionen vorhersagen
Die Sonne beobachten und Sonnenexplosionen vorhersagen
 
Big Data in Science
Big Data in ScienceBig Data in Science
Big Data in Science
 

Big Data ist hier um zu bleiben