Vortrag vor dem Markting Club Dortmund am 31.3.2014
Keine Streuverluste mehr dank zielgenauer, bedarfsgerechter Kundeninformation: Big Data scheint möglich zu machen, wovon Marketer träumen.
Ob das wirklich so ist, was die schnelle Analyse massenhafter Daten tatsächlich kann und welchen Stellenwert die Kreativität künftiger Kampagnen noch einnehmen wird, nimmt Meinert Jacobson unter die Lupe. Meinert Jacobson ist Geschäftsführer der Gesellschaft für Marketing, Analysen und Consulting (MarAnCon).
Die Aufzeichnung dieses Webinars steht demnächst hier zur Verfügung: http://aws.amazon.com/de/recorded-webinar/
Big Data ist eines der großen Schlagworte der letzten Jahre. Aber was ist das? In vielen Unternehmen gibt es heute große Datenbestände, die nicht oder nicht ausreichend genutzt werden. Das können Logfiles eines Webservers, Bon-Daten eines Einzelhandelsunternehmens oder Sensordaten einer Produktionsstraße sein. In diesem Webinar geben wir einen Überblick über Big Data und die benutzten Technologien.
In diesem Webinar geben wir Ihnen eine Einführung, präsentieren die Möglichkeiten und Fallstricke und beantworten Ihre Fragen rund um das Thema Big Data.
Im Webinar Enterprise Readiness mit Hadoop - Infrastrukturen für Big Data wird unter anderem Hadoop als etablierte Basis-Technologie für Industrie 4.0 und Big Data-Anforderungen beleuchtet. Erfahren Sie, wie Ihre Infrastruktur für die Verarbeitung und Analyse großer und polystrukturierter Datenmengen aus unterschiedlichen Quellsystemen aufgebaut sein muss.
Neo4j Use Cases - Graphdatenbanken im EinsatzNeo4j
Wenn es an der Zeit ist eine Datenbank für Ihr Projekt auszuwählen, gibt es inzwischen eine verwirrende Anzahl von Auswahlmöglichkeiten. Woher wissen Sie, wann Ihr Projekt gut für eine relationale Datenbank ist, oder ob einer der vielen NoSQL-Optionen eine bessere Wahl darstellt?
In diesem Webinar betrachten wir wann Neo4j zum Einsatz kommen sollte und wo die Vorzüge darin liegen. Dies wird anhand von Kundenbeispielen mit konkreten Einsatzszenerien erläutert.
Vortrag vor dem Markting Club Dortmund am 31.3.2014
Keine Streuverluste mehr dank zielgenauer, bedarfsgerechter Kundeninformation: Big Data scheint möglich zu machen, wovon Marketer träumen.
Ob das wirklich so ist, was die schnelle Analyse massenhafter Daten tatsächlich kann und welchen Stellenwert die Kreativität künftiger Kampagnen noch einnehmen wird, nimmt Meinert Jacobson unter die Lupe. Meinert Jacobson ist Geschäftsführer der Gesellschaft für Marketing, Analysen und Consulting (MarAnCon).
Die Aufzeichnung dieses Webinars steht demnächst hier zur Verfügung: http://aws.amazon.com/de/recorded-webinar/
Big Data ist eines der großen Schlagworte der letzten Jahre. Aber was ist das? In vielen Unternehmen gibt es heute große Datenbestände, die nicht oder nicht ausreichend genutzt werden. Das können Logfiles eines Webservers, Bon-Daten eines Einzelhandelsunternehmens oder Sensordaten einer Produktionsstraße sein. In diesem Webinar geben wir einen Überblick über Big Data und die benutzten Technologien.
In diesem Webinar geben wir Ihnen eine Einführung, präsentieren die Möglichkeiten und Fallstricke und beantworten Ihre Fragen rund um das Thema Big Data.
Im Webinar Enterprise Readiness mit Hadoop - Infrastrukturen für Big Data wird unter anderem Hadoop als etablierte Basis-Technologie für Industrie 4.0 und Big Data-Anforderungen beleuchtet. Erfahren Sie, wie Ihre Infrastruktur für die Verarbeitung und Analyse großer und polystrukturierter Datenmengen aus unterschiedlichen Quellsystemen aufgebaut sein muss.
Neo4j Use Cases - Graphdatenbanken im EinsatzNeo4j
Wenn es an der Zeit ist eine Datenbank für Ihr Projekt auszuwählen, gibt es inzwischen eine verwirrende Anzahl von Auswahlmöglichkeiten. Woher wissen Sie, wann Ihr Projekt gut für eine relationale Datenbank ist, oder ob einer der vielen NoSQL-Optionen eine bessere Wahl darstellt?
In diesem Webinar betrachten wir wann Neo4j zum Einsatz kommen sollte und wo die Vorzüge darin liegen. Dies wird anhand von Kundenbeispielen mit konkreten Einsatzszenerien erläutert.
Daten schnell verarbeiten, günstig speichern und als Kapital nutzen.
In diesem Webinar erfahren Sie:
- Verstehen: Woher kommt die Datenflut?
- Erkennen: Daten sind wertvoll.
- Verstehen: Wie man mit Big Data umgeht.
- Erkennen: Big Data ist kein Problem, sondern eine Chance.
Nutzen Sie die Möglichkeit mit der kostenlosen Webinarreihe „Exzellenz in Big Data“ von fun communications aktuelle Informationen über interessante Fachthemen zu erhalten.
Sie möchten rechtzeitig über unser nächstes Webinar informiert werden? Dann gleich zu unserem Newsletter anmelden: http://www.fun.de/de/newsletter
Große Datenmengen und kleine gelbe Elefanten: eine vielzitierte Kombination. Aber wie sieht es in der Realität denn konkret damit aus? Dieser Praxisbericht will aufzeigen, wie man in modernen BI-Architekturen große Datenmengen mit dem Hadoop-Ökosystem erfolgreich beherrschen kann und welchen verschiedenen Herausforderungen man auf diesem Weg begegnet.
Kritische app performance erfolgreich optimieren mit BisonDynatrace
Klicken Sie gleich auf nachfolgenden Link um zur Webcast-Aufzeichnung zu gelangen: http://cpwr.it/EQNYh - Herr Roman Schaller, Performance Engineer bei Bison, zeigt wie eine Performance Offensive in der Praxis erfolgreich umgesetzt wurde. Es wird auf folgende Fragestellungen eingegangen: Warum weichen Produktions- und Testumgebung so stark voneinander ab? Warum kann das Applikationsverhalten im Testsystem nur schwer dargestellt werden? Welche Auswirkung hat Performance auf geschäftskritische Anwendungen? Was genau sind die Performance Hot-Spots und wie optimieren wir diese möglichst effizient?
Nach dem Aufbau einer Container-basierten Cloud-Plattform hat sich die SBB entschieden, weitere innovative Services in der Public Cloud aufzubauen.
Ein Jahr nach unserem Vortrag am BAT Nr. 36 ziehen wir nun eine erste Bilanz: wie und in welchen Mengen verwenden wir die „Public Cloud“, welchen Herausforderungen begegneten wir beim Aufbau und was erwarten wir in der nahen Zukunft.
Webinar - Sehr empfehlenswert: wie man aus Daten durch maschinelles Lernen We...Cloudera, Inc.
Unternehmen sind heutzutage in der Lage ihre Daten mit relativer Leichtigkeit aufzunehmen und zu verwalten. Die Herausforderung besteht nun darin, die verborgenen Muster in den Daten zu erkennen und diese zu verstehen, um einen Mehrwert zu generieren. Aufgrund der großen Datenmengen gelingt dies mit traditionelle Ansätzen zumeist nicht. Das Ergebnis: Organisationen kämpfen, um wirklich zu innovieren und sich zu differenzieren.
Vortrag im Rahmen der eco Akademie beim Experten Roundtable Datacenter. Vorgabe war ein Impulsstatement und 1-2 Thesen über den aktuellen Stand und die Zukunft der Datacenter.
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...inovex GmbH
Die großen Public-Cloud-Anbieter locken inzwischen mit vielversprechenden Platform-as-a-Service-Angeboten um Daten jeglicher Art performant und kosteneffizient zu speichern und zu verarbeiten. Neben unterschiedlichen Datenbanken gibt es dazu Dienste für Batch- und Realtime-Processing. In diesem Vortrag werden einige der wichtigen Data Driven Services anhand eines typischen IoT-Szenarios aus der Praxis beleuchtet. Dazu gehen drei Schwergewichte des Cloud Business ins Rennen: Microsoft Azure vs. Amazon Web Services vs. Google Cloud Platform.
Event: inovex Meetup: "Let's talk about the Cloud!", 22.06.2016
Speaker: Thomas Neureuther, Stefan Kirner, inovex GmbH
Mehr Technologie-Vorträge: https://www.inovex.de/de/content-pool/vortraege/
In diesem Vortrag gehen wir der Frage nach, wie IT Architektur im Zeitalter von Cloud und DevOps ausgestaltet werden soll. Welchen Einfluss haben die Veränderungen und Fortschritte der letzten Jahre auf Systeme und Prozesse. Wieso sind Innovation und Digitalisierung so wichtig? Was bedeutet 'cloud-native' eigentlich und wie soll ich denn nun meine Anwendungen bauen? Dazu sehen wir uns fünf Innovationsbereiche etwas näher an und analysieren ihren Einfluss auf unsere IT- und Lösungsarchitektur: Microservices und Container, Cloud und DevOps, BigData, IoT und last-but-not-least künstliche Intelligenz.
OSMC 2011 | Monitoring "wer kennt wen" mit free and open source software by J...NETWAYS
Die Überwachung einer der größten deutschen Communitys hält eine Reihe von Herausforderungen und Problemen bereit. Aus einer Struktur heraus gewachsen, war das alte Monitoringsystem unterwegs in eine Sackgasse. Diesen Prozess galt es aufzuhalten und das vertraute System mit mehr Features auszustatten, es skalierbar und robust zu machen. Der Vortrag behandelt die besondere Entstehungsgeschichte und welche Möglichkeiten Grocksta, ein verteiltes, asynchrones Monitoring-, Graphing- und Aggregations-System, bietet."
http://www.opitz-consulting.com/go/3-6-11
Oracle Enterprise Manager 12c Cloud Control sammelt zahlreiche Daten auf fast allen Ebenen der IT-Infrastruktur. Gerade durch die Engineered Systems wird die Rolle des Cloud Control immer wichtiger. Somit fallen nicht nur Datenbank-Metriken an, sondern auch Middleware- und Infrastruktur-Daten, wie z. B. von Loadbalancern.
Oft steht in der Praxis der Einsatz des OEM als Monitoring-Werkzeug im Vordergrund: Die Rohdaten („Current Metrics") der überwachten Ziele werden zeitnah, innerhalb weniger Tage nach Sammlung aggregiert und verlieren durch diese Verdichtung für spätere Datenanalysen an Informationsgehalt. Detaillierte Analysen der Infrastrukturdaten über längere Zeiträume sind deshalb nicht möglich. Andererseits sprechen wirtschaftliche Gründe und die Performance gegen eine langfristige Speicherung von großen Datenmengen in der OEM Repository Datenbank oder in anderen, dedizierten RDBMS. In der Praxis beobachtet man zusätzliche Metrikdaten in der Größenordnung von 50-100 GB/ Monat, was eine Realtime-Auswertung schwer macht. Damit bleiben aufgrund von Budgetrestriktionen Potenziale in den historischen Daten ungenutzt oder die Abfragegeschwindigkeit von Auswertungen geht in den zweistelligen Minutenbereich.
Unser Datenbankspezialist Ingo Reisky stellte in einem Vortrag bei der DOAG Konferenz 2014 gemeinsam mit Matthias Fuchs von der Firma ISE Information Systems Engineering vor, wie Metrikdaten von z. B. Oracle Datenbanken und Oracle Fusion Middleware in einem Hadoop Cluster gespeichert und mit Standard-Mitteln aus der Hadoop-Welt analysiert und visualisiert werden können.
--
Über uns:
Als führender Projektspezialist für ganzheitliche IT-Lösungen tragen wir zur Wertsteigerung der Organisationen unserer Kunden bei und bringen IT und Business in Einklang. Mit OPITZ CONSULTING als zuverlässigem Partner können sich unsere Kunden auf ihr Kerngeschäft konzentrieren und ihre Wettbewerbsvorteile nachhaltig absichern und ausbauen.
Über unsere IT-Beratung: http://www.opitz-consulting.com/go/3-8-10
Unser Leistungsangebot: http://www.opitz-consulting.com/go/3-8-874
Karriere bei OPITZ CONSULTING: http://www.opitz-consulting.com/go/3-8-5
Martin talks about Growth Hacking: its origin as a tool for startups to grow efficiently and how every company - no matter what size - can profit from Growth Hacking.
This document summarizes a talk on how home IoT devices often fail to secure user data properly. It provides examples of toys, appliances, locks, medical devices, cameras, and guns that have been hacked, with some hacked using simple methods. Specific examples discussed include a connected doll that can pair with any device nearby, a cloud-based teddy bear service where 800,000 customers' data was leaked, pacemakers that can be hacked within 3 meters, and smart locks and guns that can be unlocked with cheap tools or magnets. The document warns that nearly every IoT device category has been hacked and many are far less secure than computers.
Weitere ähnliche Inhalte
Ähnlich wie Big/Smart/Fast Data – a very compact overview
Daten schnell verarbeiten, günstig speichern und als Kapital nutzen.
In diesem Webinar erfahren Sie:
- Verstehen: Woher kommt die Datenflut?
- Erkennen: Daten sind wertvoll.
- Verstehen: Wie man mit Big Data umgeht.
- Erkennen: Big Data ist kein Problem, sondern eine Chance.
Nutzen Sie die Möglichkeit mit der kostenlosen Webinarreihe „Exzellenz in Big Data“ von fun communications aktuelle Informationen über interessante Fachthemen zu erhalten.
Sie möchten rechtzeitig über unser nächstes Webinar informiert werden? Dann gleich zu unserem Newsletter anmelden: http://www.fun.de/de/newsletter
Große Datenmengen und kleine gelbe Elefanten: eine vielzitierte Kombination. Aber wie sieht es in der Realität denn konkret damit aus? Dieser Praxisbericht will aufzeigen, wie man in modernen BI-Architekturen große Datenmengen mit dem Hadoop-Ökosystem erfolgreich beherrschen kann und welchen verschiedenen Herausforderungen man auf diesem Weg begegnet.
Kritische app performance erfolgreich optimieren mit BisonDynatrace
Klicken Sie gleich auf nachfolgenden Link um zur Webcast-Aufzeichnung zu gelangen: http://cpwr.it/EQNYh - Herr Roman Schaller, Performance Engineer bei Bison, zeigt wie eine Performance Offensive in der Praxis erfolgreich umgesetzt wurde. Es wird auf folgende Fragestellungen eingegangen: Warum weichen Produktions- und Testumgebung so stark voneinander ab? Warum kann das Applikationsverhalten im Testsystem nur schwer dargestellt werden? Welche Auswirkung hat Performance auf geschäftskritische Anwendungen? Was genau sind die Performance Hot-Spots und wie optimieren wir diese möglichst effizient?
Nach dem Aufbau einer Container-basierten Cloud-Plattform hat sich die SBB entschieden, weitere innovative Services in der Public Cloud aufzubauen.
Ein Jahr nach unserem Vortrag am BAT Nr. 36 ziehen wir nun eine erste Bilanz: wie und in welchen Mengen verwenden wir die „Public Cloud“, welchen Herausforderungen begegneten wir beim Aufbau und was erwarten wir in der nahen Zukunft.
Webinar - Sehr empfehlenswert: wie man aus Daten durch maschinelles Lernen We...Cloudera, Inc.
Unternehmen sind heutzutage in der Lage ihre Daten mit relativer Leichtigkeit aufzunehmen und zu verwalten. Die Herausforderung besteht nun darin, die verborgenen Muster in den Daten zu erkennen und diese zu verstehen, um einen Mehrwert zu generieren. Aufgrund der großen Datenmengen gelingt dies mit traditionelle Ansätzen zumeist nicht. Das Ergebnis: Organisationen kämpfen, um wirklich zu innovieren und sich zu differenzieren.
Vortrag im Rahmen der eco Akademie beim Experten Roundtable Datacenter. Vorgabe war ein Impulsstatement und 1-2 Thesen über den aktuellen Stand und die Zukunft der Datacenter.
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...inovex GmbH
Die großen Public-Cloud-Anbieter locken inzwischen mit vielversprechenden Platform-as-a-Service-Angeboten um Daten jeglicher Art performant und kosteneffizient zu speichern und zu verarbeiten. Neben unterschiedlichen Datenbanken gibt es dazu Dienste für Batch- und Realtime-Processing. In diesem Vortrag werden einige der wichtigen Data Driven Services anhand eines typischen IoT-Szenarios aus der Praxis beleuchtet. Dazu gehen drei Schwergewichte des Cloud Business ins Rennen: Microsoft Azure vs. Amazon Web Services vs. Google Cloud Platform.
Event: inovex Meetup: "Let's talk about the Cloud!", 22.06.2016
Speaker: Thomas Neureuther, Stefan Kirner, inovex GmbH
Mehr Technologie-Vorträge: https://www.inovex.de/de/content-pool/vortraege/
In diesem Vortrag gehen wir der Frage nach, wie IT Architektur im Zeitalter von Cloud und DevOps ausgestaltet werden soll. Welchen Einfluss haben die Veränderungen und Fortschritte der letzten Jahre auf Systeme und Prozesse. Wieso sind Innovation und Digitalisierung so wichtig? Was bedeutet 'cloud-native' eigentlich und wie soll ich denn nun meine Anwendungen bauen? Dazu sehen wir uns fünf Innovationsbereiche etwas näher an und analysieren ihren Einfluss auf unsere IT- und Lösungsarchitektur: Microservices und Container, Cloud und DevOps, BigData, IoT und last-but-not-least künstliche Intelligenz.
OSMC 2011 | Monitoring "wer kennt wen" mit free and open source software by J...NETWAYS
Die Überwachung einer der größten deutschen Communitys hält eine Reihe von Herausforderungen und Problemen bereit. Aus einer Struktur heraus gewachsen, war das alte Monitoringsystem unterwegs in eine Sackgasse. Diesen Prozess galt es aufzuhalten und das vertraute System mit mehr Features auszustatten, es skalierbar und robust zu machen. Der Vortrag behandelt die besondere Entstehungsgeschichte und welche Möglichkeiten Grocksta, ein verteiltes, asynchrones Monitoring-, Graphing- und Aggregations-System, bietet."
http://www.opitz-consulting.com/go/3-6-11
Oracle Enterprise Manager 12c Cloud Control sammelt zahlreiche Daten auf fast allen Ebenen der IT-Infrastruktur. Gerade durch die Engineered Systems wird die Rolle des Cloud Control immer wichtiger. Somit fallen nicht nur Datenbank-Metriken an, sondern auch Middleware- und Infrastruktur-Daten, wie z. B. von Loadbalancern.
Oft steht in der Praxis der Einsatz des OEM als Monitoring-Werkzeug im Vordergrund: Die Rohdaten („Current Metrics") der überwachten Ziele werden zeitnah, innerhalb weniger Tage nach Sammlung aggregiert und verlieren durch diese Verdichtung für spätere Datenanalysen an Informationsgehalt. Detaillierte Analysen der Infrastrukturdaten über längere Zeiträume sind deshalb nicht möglich. Andererseits sprechen wirtschaftliche Gründe und die Performance gegen eine langfristige Speicherung von großen Datenmengen in der OEM Repository Datenbank oder in anderen, dedizierten RDBMS. In der Praxis beobachtet man zusätzliche Metrikdaten in der Größenordnung von 50-100 GB/ Monat, was eine Realtime-Auswertung schwer macht. Damit bleiben aufgrund von Budgetrestriktionen Potenziale in den historischen Daten ungenutzt oder die Abfragegeschwindigkeit von Auswertungen geht in den zweistelligen Minutenbereich.
Unser Datenbankspezialist Ingo Reisky stellte in einem Vortrag bei der DOAG Konferenz 2014 gemeinsam mit Matthias Fuchs von der Firma ISE Information Systems Engineering vor, wie Metrikdaten von z. B. Oracle Datenbanken und Oracle Fusion Middleware in einem Hadoop Cluster gespeichert und mit Standard-Mitteln aus der Hadoop-Welt analysiert und visualisiert werden können.
--
Über uns:
Als führender Projektspezialist für ganzheitliche IT-Lösungen tragen wir zur Wertsteigerung der Organisationen unserer Kunden bei und bringen IT und Business in Einklang. Mit OPITZ CONSULTING als zuverlässigem Partner können sich unsere Kunden auf ihr Kerngeschäft konzentrieren und ihre Wettbewerbsvorteile nachhaltig absichern und ausbauen.
Über unsere IT-Beratung: http://www.opitz-consulting.com/go/3-8-10
Unser Leistungsangebot: http://www.opitz-consulting.com/go/3-8-874
Karriere bei OPITZ CONSULTING: http://www.opitz-consulting.com/go/3-8-5
Martin talks about Growth Hacking: its origin as a tool for startups to grow efficiently and how every company - no matter what size - can profit from Growth Hacking.
This document summarizes a talk on how home IoT devices often fail to secure user data properly. It provides examples of toys, appliances, locks, medical devices, cameras, and guns that have been hacked, with some hacked using simple methods. Specific examples discussed include a connected doll that can pair with any device nearby, a cloud-based teddy bear service where 800,000 customers' data was leaked, pacemakers that can be hacked within 3 meters, and smart locks and guns that can be unlocked with cheap tools or magnets. The document warns that nearly every IoT device category has been hacked and many are far less secure than computers.
The possibilities of information that can be extracted from seemingly simpel ...OMM Solutions GmbH
The document summarizes a presentation given by Olaf Horstmann on extracting information from data. It discusses how data science, machine learning, artificial intelligence, and big data differ and provides examples of insights that can be derived from simple datasets like fitness tracker data and news articles. However, it cautions that correlations found in data do not necessarily prove causation, and the information extracted is only assumptions, not proven truths. Real-world examples are used to illustrate how misleading some derived correlations can be.
The document summarizes how AI technologies could impact various aspects of daily life. It describes how an individual named Peter may spend a typical day in the future with the assistance of AI technologies like an AI-enabled smart mirror, autonomous vehicle, and AI-planned schedule. However, it also notes that not everyone will have equal access to these benefits and that AI systems could potentially be misused for criminal purposes like identity theft or hacking if not properly regulated. The document aims to illustrate both the promising applications of AI as well as some of the challenges and risks that may need to be addressed.
The document summarizes a TechTalk presentation on the future of society with AI. It discusses how AI is currently outperforming humans in many areas like driving, knowledge, image analysis and more. It then outlines the effects of increasing automation on jobs in the short term (1-5 years), mid term (5-10 years), and long term (10-30 years). In the short term, about 45% of jobs could be automated and 5 million jobs worldwide lost by 2020. In the mid term, 400-800 million jobs may be lost, equal to 30% of the global workforce. In the long term, AI may be able to perform most jobs currently done by humans, potentially leading to widespread unemployment without solutions
Quantum computing is an emerging technology that uses quantum bits (qubits) that can represent a 0, 1, or superposition of both. Several companies have built quantum computers with over 2000 qubits. Quantum computing shows promise for solving optimization problems, database searching, and cryptography problems like prime number factorization. However, significant challenges remain in building stable, error-corrected quantum computers. While quantum computing may not replace classical computers for most uses, it could enable solutions for currently intractable problems if the technology continues to progress.
The document summarizes several ways that AI technologies could impact individuals and society. It describes how AI may automate tasks like responding to emails, planning schedules and grocery deliveries. This could save time but also disadvantage those who cannot afford these services. The document also notes potential risks like AI being used for crimes like identity theft, hacking and scams. While AI aims to be helpful, it also could harm people if used for malicious purposes.
The document discusses how AI will affect individuals in the future. It describes how AI could help by automating driving to reduce accidents, helping with tasks like grocery shopping to reduce stress, and improving medical diagnosis and treatment to save lives. However, it also notes that AI could be used for illegal purposes like creating email scams, hacking, and negatively impacting some groups. The document advocates that while AI may benefit many, it may also harm others if used for malicious ends.
The document discusses agile software development and its principles. It presents an overview of agile methods like Scrum and compares them to traditional waterfall and V-model approaches. The key principles of the agile manifesto are outlined, including early delivery of working software, frequent feedback cycles, and self-organizing teams. Potential challenges of agile methods are also acknowledged, such as unclear goals, organizational issues, and tensions between developers and stakeholders. Overall, the document promotes embracing feedback and communication when adopting agile practices.
The state of AI & ML Hype or potential – what‘s possible, how the future will...OMM Solutions GmbH
The document summarizes a presentation on artificial intelligence and machine learning. It discusses current applications of AI like personal assistants and recommendations. It outlines different types of machine learning like deep learning and reinforcement learning. The presentation shows examples of AI generating images from text, translating images, and enhancing low quality images. It discusses medical applications of AI and predictions that AI will continue advancing and affecting many jobs and lives. In the future, AI may be paired with robotics. The presentation aims to show that AI is already very advanced and not just hype.
Scaling Blockchain Transaction Are 1000000 Transactions / second really possi...OMM Solutions GmbH
This document summarizes a talk on scaling blockchain transaction capabilities. Currently, blockchains can only process a few transactions per second, far less than companies like Visa. The talk discusses several options for improving transaction speeds, including using databases, implementing sidechains with multiple smaller blockchains, and creating payment channels that allow unlimited transfers between two parties without blockchain transactions. However, there is no single solution, and each option has drawbacks around trust, complexity, and on-chain transaction requirements. Scaling blockchain performance is possible through a combination of approaches.
4. Viele Daten, die schnell analysiert werden, erschaffen Smarte Daten.
Big Data ist mehr als nur eine große Festplatte
28.06.2017 < OMM Solutions GmbH > 4
Masse (Volume)
• Große
Datenmengen
• Ab Terabyte-Bereich
Vielfalt (Variety)
• Daten in vielen
Formaten
• strukturiert
• Unstrukturiert
• Text
• Multimedia
Geschwindigkeit
(Velocity)
• Datenströme
• Analyse von
Streamingdaten
Richtigkeit
(Veracity)
• Vertrauen in Daten
• Zuverlässigkeit der
Vorhersagbarkeit
• Unsichere Daten
5. Warum eigentlich Big/Fast/Smart Data?
• Logistik
• Vorhersage von Warenströmen
• Produktion
• Vorhersage von Wartungsfällen
• Optimierung von Einsatzstoffen
• Gezielter Pestiziden Einsatz in der Agrarwirtschaft
• Visualisieren von Datenströmen
• Hack-Prävention durch Log-File Analysen
• Transport
• Mobilität
• Verkehrsinformationen auf Grund von Bewegungsdaten
• Vertrieb
• Aussagen über das Kundenverhalten
• Kunde zahlt einen Kredit eher zurück, wenn er seine Kontakte im Handy nach Vor- und Nachnamen
sortiert
Aber erst das Raffinieren macht Öl wertvoll.
Daten sind wirklich das neue Öl.
28.06.2017 < OMM Solutions GmbH > 5
https://aws.amazon.com/de/solutions/case-studies/
6. DB Schenker – Predictive Maintenance auf der Schiene: immer gut gewartete
Lokomotiven
628.06.2017 < OMM Solutions GmbH >
Herausforderungen
Blockierende Loks führen zu
Verspätungen und Kosten
Big Data
Große Datenmengen entstehen durch
das permanente Senden von
Sensordaten
Innovation
Fehler sofort entdecken
Prognosemodell nach Loktyp
Wartungsintervall orientiert sich an
tatsächlichem Verlauf.
Quelle: https://www.bitkom.org/noindex/Publikationen/2015/Leitfaden/Big-Data-und-Geschaeftsmodell-Innovationen/151229-Big-Data-und-GM-Innovationen.pdf
7. Sensorhersteller reduziert Anzahl an Kalibrierungsschritten
um 99%.
728.06.2017 < OMM Solutions GmbH >
Herausforderung
Steigerung der Prozesseffizienz durch
die Reduzierung von
Kalibrierungsschritten bei
gleichbleibender Ergebnisqualität
Big Data
Regressionsanalyse von 51,5
Millionen Messungen aus dem
Produktionsprozess.
Innovation
Vorher: Kalibrierung an über 500
Messpunkten der Magnetische Fluss
gemessen.
Danach: Sieben Messpunkte
ermöglichen die gleiche Qualität.
Quelle: https://www.bitkom.org/noindex/Publikationen/2015/Leitfaden/Big-Data-und-Geschaeftsmodell-Innovationen/151229-Big-Data-und-GM-Innovationen.pdf
8. Bristol-Myer Squibb (Pharma) reduziert Time To Market um
98%
828.06.2017 < OMM Solutions GmbH >
Herausforderungen
Klinische Versuche und
Simulationen kosten Zeit
100 Jobs ~ 60 Stunden
weil Daten sensibel sind, war
ein eigenes Rechenzentrum
Pflicht
Big Data
Jeder Versuch benötigt
Gigabytes an Daten und
generiert Gigabytes an Daten.
Innovation
Mit einem VPN zu einem
dedizierten AWS-Bereich
konnten Durchlaufzeiten
reduziert werden
• 2000 Jobs ~1,2 Stunden https://www.informationweek.com/software/enterprise-applications/big-data-6-real-life-business-cases/d/d-
id/1320590?image_number=2
9. Tesco verkauft Analysen aus seinen Kundendaten an
Konkurrenten.
928.06.2017 < OMM Solutions GmbH >
Das passierte alles schon vor mehr als 15 Jahren
Herausforderung
Mehr Umsatz generieren
Big Data
16 Millionen aktive Tesco Kunden von
38 Millionen generieren täglich
Transaktionsdaten seit den 90igern
Innovation
Einsicht in das Kaufverhalten von
Millionen von Kunden und
Vorhersagen über zukünftige
Einkäufe
Dunnhumby Ltd. verkauft für Tesco
diese Daten aggregiert weiter
Quelle: https://datafloq.com/read/tesco-big-data-analytics-recipe-success/665
https://blogs.oracle.com/database/926109a1-9990-4201-8115-9cd6f52d32dd
10. „richtige“ Hadoop/BigData Usecases sind schwer zu finden.
1028.06.2017 < OMM Solutions GmbH >
AirBnB on Hadoop (2015)
Komplette Server Infrastruktur
bei AWS (~5000 EC2
Instanzen)
• 1500 für Webaktivitäten
• 3500 für Analytics und
Machinelearing
Beispiel1: Buchung in Paris
• 40000 insgesamte Einträge
• 5-10 besten Einträge für Gast
und Gastgeber anzeigen
• In Millisekunden
Beispiel 2: Interne Analyse
• Airpal um interne
Unternehmensdaten
abzufragen
• Zwei Cluster nötig nach kurzer
Zeit
https://www.nextplatform.com/2015/09/10/airbnb-shares-the-keys-to-its-infrastructure/
https://medium.com/airbnb-engineering/data-infrastructure-at-airbnb-8adfb34f169c
https://medium.com/airbnb-engineering/democratizing-data-at-airbnb-852d76c51770
11. Was ist Ihr Ziel?
• Welche Informationen wird meinen Kunden helfen Ihre Kosten oder Risiken zu
reduzieren?
• Welche Informationen sind stark zerstreut, würden aber tiefe Einsichten
vermitteln, wenn diese aggregiert wären?
• Sind meine Kunden verschieden und könnten von den Daten meiner anderen
Kunden profitieren?
• Wollen Sie einfache Daten-Aggregationen auf ein paar Hundert Datensätzen
machen?
• Bauen Sie ein Analytics-Team auf und wollen Ihr Marketing oder Produkt
verbessern?
• Haben Sie Erfahrung im Betrieb von verteilten Anwendungen?
• Wie groß sind Ihre Datenmengen?
• Wie verteilt sind Ihre Datenmengen?
• Wie schnell wachsen diese Datenmengen?
• Wie viele Mitarbeiter sollen sich mit dem Thema beschäftigen?
Prinzipiell kann man mit einem Hammer auch eine Schraube versenken.
Der Anwendungsfall bestimmt den Einsatz der Technologie!
28.06.2017 < OMM Solutions GmbH > 11
12. Bei jeglicher Analyse helfen Visualisierungswerkzeuge – hat Olaf schon bei KI gesagt.
Aller Anfang ist, wenn man weiß, was man sucht.
Erst Bereinigen
• Datenqualität sicherstellen
• Duplikate entdecken
• Standardisieren
• Bereinigen
• openrefine.org
• datacleaner.org
Dann Visualisieren
• Mehrere Datenquellen
• Interaktiv
• Teilbar
• Web-basiert
• zeppelin.apache.org
• elastic.co/de/products/kibana
• public.tableau.com
• wolframalpha.com
•
mehr BI als reine Visualisierung:
qlik.com/de-de
• silk.co
• helicalinsight.com
• pentaho.com
• Für Hacker:
• polymaps.org
• iweave.com
• d3js.org
Nicht die „Großen“ zu vergessen
• Amazon Web Services
(AWS)
• QuickSight (beta)
• Google
• Data Studio (beta)
• developers.google.com/chart/
• Microsoft
• Excel
• Power BI
• SandDance
• IBM Analytics
• SAP HANA Cloud Platform
28.06.2017 < OMM Solutions GmbH > 12
http://paintbynumbersblog.blogspot.de/2014/05/100-blocks-quantified-self-random-walk.html
13. Elastic Stack ist ein Einstieg in große Datenanalysen.
1328.06.2017 < OMM Solutions GmbH >
• Daten Erfassen
• Daten/Texte durchsuchen
• Daten visualisieren
• Daten aggregieren
• Fakten-Abfragen
Sehr gut
• aggregierte sehr große Analysen
• Massendaten-Transformationen
• Stream Processing
• Join-Abfrage
• Mit zunehmender Dokumentenzahl werden
Abfragen ineffizienter
Weniger gut
14. Daten müssen verlässlich im System landen und bleiben.
1428.06.2017 < OMM Solutions GmbH >
Ab Terabytes an Daten wird das eine Herausforderung
Quellausfall
• Fällt eine Datenstromquelle für längere Zeiten aus und ist dann wieder verfügbar,
werden große Mengen aufgelaufener Daten auf einmal übertragen. Die Hard- und
Software muss das verkraften.
Skalierung und Verlässlichkeit
• Die Datenmengen müssen auf verteilten Clustern verarbeitet werden. Das bisherige
Enterprise-Konzept von (verteilten) Transaktionen skaliert allerdings nicht
ausreichend. Daher müssen neue Methoden für die verteilte Verlässlichkeit
gefunden werden.
Widerstandsfähigkeit
• Big-Data-Lösungen bestehen aus vielen beweglichen Teilen. Es ist keine Frage, ob
Fehler und Ausfälle auftreten, sondern nur die Frage wann. Wenn dann eines der
Teile aufgrund eines Entwicklerfehlers oder durch einen Hardwaredefekt ausfällt,
darf das Gesamtsystem keine Daten verlieren oder gar ausfallen.
Elastizität
• Big-Data-Lösungen konsumieren sehr viele Ressourcen auf den Servern. Durch
Oversizing konnten auf kleinen Clustern Performance-Engpässe und Ausfälle
kompensiert werden. Ein Zwei-Maschinen-Cluster kann problemlos um 100 % auf
vier Maschinen oversized werden. Bei großen Clustern ist das aber nicht mehr
finanzierbar. Hier müssen andere Mechanismen für Elastizität gefunden werden.
15. Sehr große Datenmengen müssen effizient verarbeitet
werden.
1528.06.2017 < OMM Solutions GmbH >
Was ist der Trick?
Kurzer Abriss der Historie• 1997 erfindet Doug Cutting eine Suchmaschine namens Lucene
• 2001 Lucene durchsucht das gesamte Web -> Apache Nutch
Webcrawler
• Probleme drehten auf:
• Kein Datenschema; Datenverluste, Hardwareverluste
• 2003 Google File System, ein verteiltes Dateisystem wird
veröffentlicht
• 2003 Nutch File System wird auf Grundlage von GFS gebaut
• Apache Nutch verteilt seine Daten auf Festplatten (Nodes)
• Nachteil: kein paralleles Verarbeiten der Daten möglich
• 2004 Google veröffentlich MapReduce – Simple Data Processing
on Large Clusters
• Parallelisierung, Verteilung und Fehlertoleranz
• 2006 Cutting erstellt aus GFS und MapReduce, Apache Hadoop
• Yahoo stellt Cutting ein um ihr Filesystem auf Hadoop
umzustellen
• Später setzen andere Firmen wie Facebook, Twitter, LinkedIn
auch Hadoop ein
• … HDFS, Hive, Pig, PrestoDB…
• Nochmal später bemerken Firmen mit kleineren Datenmengen,
das ihnen Hadoop zu sperrig ist, und SMACK wird erfunden.
Was ist Map-Reduce?
Ziel: Zähle die Anzahl an Büchern in
einer Bücherei.
Map: Du zählst Stock #1. Ich zähle
Stock #2.
(Je mehr Leute wir sind, um so
schneller geht das am Ende)
Reduce: Wir kommen alle zusammen
und summieren unsere einzelnen
Werte auf.
16. SMACK dient als Werkzeugkasten für Ihre Datenerhebung.
1628.06.2017 < OMM Solutions GmbH >
Store FloorBeacon
POS Beacon
MachineSensor
EnvironmentSensor
DemographicData
BrowsingData
S M ACKSTACK
Spark
Mesos
Akka
Cassandra
Kafka
MobileApps
RealtimeMessaging
Business Intelligence & Analytics
CustomizedDashboards
StorePOS-System
DATA
PREPARATION&CREATION
DATA
VISUALIZATION
Widealalysis Distributed
database
Event based
dataprocessing
DATA
MANAGEMENT&AGGREGATION
17. Der SMACK Stack im Detail
1728.06.2017 < OMM Solutions GmbH >
Umfangreiche Analysen
Verteilte Datenbank
Event-basierte Datenverarbeitung
Liest das Datenmodel
Aufbereitete Daten
API für mobile und
webbasierte Anwendungen
Alarme, Benachrichtungen,
Predictive Maintenance,
automatische Optimierungen;
Machine Learning
Datenquellen
Dateien und
Batch-Prozesse
Echtzeit-APIs;
Streams; OPC
Liest die Daten
Schreibt das Datenmodell
Visualisierung/Dashboards
18. • Apache Kafka („Buffer“)
• verteilter, skalierbarer und verlässlicher Message Broker für große Datenmengen
• Alternative: beats, rabbitmq; (!) Einsatzzweck: Producer oder Konsumer-Fokus
• Reactive Streams („nicht so schnell, bitte“)
• Abhängigkeit zwischen Komponenten kann durch Umstellen von Push auf Pull bis zur Quelle durcheskaliert werden
• Akka („nah-zeit Verarbeitung“)
• Implementierung des Actor Frameworks für die Implementierung von reaktiven Anwendungen. Scala ermöglicht
dabei funktionale Aspekte.
• Weiter: akka-http, akka-streams, akka-persistence (vs. eventuate)
• Alternativen: RxJava, vertX
• Apache Spark („Filtern von großen Daten“)
• Batch-Verarbeitung (auch MapReduce) und Streaming-Verarbeitung (micro-Batches mit Spark-Streaming);
ermöglicht funktionalen Lambda Architekturen.
• Alle relevanten NoSQL und klassischen RDBMS-Lösungen lassen sich integrieren.
• Alternative: Beam (Metaebene), Storm/Trident; Samza (inkl. Kafka+Hadoop/Yarn), stream vs. batch processing
• Apache Cassandra („Datenspeicher“)
• Spaltenorientierte Datenbank, verteilt, skaliert linear, verarbeitet Daten lokal ohne teure IO-Operationen über das
Netzwerk hinweg
• „Alternativen“: hive, reddis, mongoDB, hadoop/HDFS/hbase; (!) Einsatzzweck: spaltenorientiert vs. Dokumenten-DB
vs. Verteilt.
• Apache Mesos („Lastenmanager“)
• Scheduling Framework für Cluster und Rechenzentren; Anwendungen – auch Spark, Akka, Cassandra, Kafka –
werden auf das Cluster deployed und Mesos entscheidet (scheduled), welcher Job auf welcher Maschine zu laufen
hat.
• Alternative: YARN; (oder sogar Myriad: YARN on Mesos)
SMACK: Spark, Mesos, Akka, Cassandra, Kafka
Greifen Sie auf vorhandene Best-Practices zurück!
28.06.2017 < OMM Solutions GmbH > 18
19. https://www.chrisstucchio.com/blog/2013/hadoop_hatred.html
Keine Petabytes an Daten? Machs mit Excel!
28.06.2017 < OMM Solutions GmbH > 19
Hadoop/SMACK etc. können auch nur map-reduce
Aaaber, meine Daten sind hunderte Megabytes. Excel lädt das nicht.
• Dann nimm http://pandas.pydata.org/ als Datenlader für deine Aggregationen
in Python
Aaaber, meine Daten sind 10 Gigabyte.
• Kauf dir mehr Arbeitsspeicher (32GB für 250€) und lad nicht alles gleichzeitig
in den RAM
Aaaber, meine Daten sind 100GB/500GB/1TB!
• Eine 5TB Festplatte kostet 150€. Installier dir http://www.postgresql.org/ drauf.
SMACK/etc ist SQL immer unterlegen. Nutze Indizes und bereite deine Daten
auf.
Aaaber, meine Daten sind mehr als 5TB!
• „Ok, your life now sucks!“ – Nutze SMACK/etc.
• Jetzt gibt’s es nicht mehr viele Optionen neben vielen Servern mit vielen
Festplatte.
20. Lies eine Textdatei mit 250MB und zähle wie oft jedes Wort darin vorkommt.
Apache BEAM
• 50 Zeilen Code
• Laufzeit: >1 Minute
• Mind. Heap: 800MB
• Threads: Multithreading, orange: waiting
CommonsIO#FileUtils
• 64 Zeilen Code
• Laufzeit: 22 sec
• Mind. Heap: 15MB
• Threads: Einer
Im direkten Vergleich zweier Implementierungen zeigt sich der
Einsatzzweck.
28.06.2017 < OMM Solutions GmbH > 20
21. ThyssenKrupp Elevator – Intelligente Aufzüge durch globale
Vernetzung
Herausforderung
• Wettbewerbsvorteile durch
Zuverlässigkeits-Garantieen
• Vorrausschauende und
präventive Wartung durch
BigData Realisieren
• Kosteneffiziente Auswertung
der Sensordaten auf globaler
Ebene
Big Data
• 1,1 Millionen Aufzüge
generieren jede Minute
hunderte von
Zustandsinformationen
• Jeden Tag, 24h, 365 Tage
im Jahr
Innovation
• Bi-direktionaler Zugriff
• Mit MachineLearning können
die Aufzüge den Technikern
erklären, wie sie in Stand zu
setzen sind.
• Bis zu 400 Fehlercodes pro
Aufzüg verschärfen Effizienz
• Betriebszeit steigt deutlich
28.06.2017 < OMM Solutions GmbH > 21
22. Vielen Dank für Eure Aufmerksamkeit!
22< OMM Solutions GmbH >
23. Ihr persönlicher Ansprechpartner
Fragen oder Interesse?
< OMM Solutions GmbH > 23
Malte Horstmann
Sales & Processes
OMM Solutions GmbH
Vor dem Lauch 4
70567 Stuttgart
Germany
mh@omm-solutions.de
+49 (0)711 67 47 05 11
24. 24< OMM Solutions GmbH >
www.omm-solutions.de
OMM Solutions GmbH
Vor dem Lauch 4
70567 Stuttgart
Geschäftsführer
Martin Allmendinger
Malte Horstmann
Olaf Horstmann
Kontakt
Telefon: +49 711 6747 051-0
E-Mail: info@omm-solutions.de
Umsatzsteuer-ID: DE295716572
Sitz der Gesellschaft: Stuttgart
Amtsgericht Stuttgart, HRB 749562
Impressum