Emissionsfreie Mobilität gestalten: Mit Open Source Technologien zur Green Cityconfluent
Im Webinar wird eine bewährte Softwarearchitektur vorgestellt, die ihre Bewährungsprobe mit einer konkreten Praxisumsetzung in einer Landeshauptstadt bestanden hat. Die Kombination und Integration der unterschiedlichen Open Source Komponenten gewährleistet eine hoch integrierte und skalierbare IoT Plattform.
batbern43 Fraud Detection mit Stream AnalyticsBATbern
Die Postfinance hat zusammen mit ELCA die bestehende Betrugserkennung-Lösung auf eine neue Stream Analytics Plattform mit BigData Stack (Apache Kafka, Apache Spark Streaming, Cloudian S3 Storage und Kubernetes) migriert. In der Präsentation wird die neue Lösung sowie Erfahrungen und Erkenntnisse mit den neuen Technologien vorgestellt.
BATbern42 Large-scale Frontends mit Mixed RealityBATbern
Frontends sind dank Augmented- und Mixed Reality immer öfters in der reellen Welt eingebettet und werden sich in Zukunft mehr und mehr von Screens lösen. Traditionelle GUIs werden so durch Mixed Reality kombiniert mit AI-basierten virtuellen Assistenten erweitert oder ersetzt. Dies gilt insbesondere für Firstline-Workers welche nur sporadisch an einem festen Arbeitsplatz sitzen. So entsteht ein neues Interaktions-Paradigma mit geringerem 'cognitive load' für die Benutzer. Diese neuartigen Frontends erleichtern für viele Mitarbeiter den Zugang zu Informationen und Funktionalitäten. Simon Scheidegger und Paul Affentranger zeigen anhand eines konkreten Projekts bei CSL Behring Möglichkeiten, erste Erfahrungen, Limitierungen und werfen einen Blick auf die Zukunft von Mixed Reality Frontends.
BPMN, BPEL oder vielleicht doch Java? Oder auch noch ESB?Guido Schmutz
Have you already asked yourself at the beginning of a SOA or Integration project about the technology you want to use? How and by which protocols do the systems to be integrated communicate? Is it a proprietary protocol or should a standard such as SOAP or RESTful web services be used? What are the disadvantages of one or the other? Is it feasible to implement the integration layer completely in Java or do modern integration platforms such as Oracle Service Bus or Oracle SOA Suite provide the important benefits to get closer to the often proposed IT flexibility and agility? Apart from answering other important questions we will also discuss service categorization and virtualization and present the advantages/disadvantages of a pure and programmatic Java-based approach compared to more declarative approach using languages such as BPEL and/or BPMN.
Webinar - Sehr empfehlenswert: wie man aus Daten durch maschinelles Lernen We...Cloudera, Inc.
Unternehmen sind heutzutage in der Lage ihre Daten mit relativer Leichtigkeit aufzunehmen und zu verwalten. Die Herausforderung besteht nun darin, die verborgenen Muster in den Daten zu erkennen und diese zu verstehen, um einen Mehrwert zu generieren. Aufgrund der großen Datenmengen gelingt dies mit traditionelle Ansätzen zumeist nicht. Das Ergebnis: Organisationen kämpfen, um wirklich zu innovieren und sich zu differenzieren.
Emissionsfreie Mobilität gestalten: Mit Open Source Technologien zur Green Cityconfluent
Im Webinar wird eine bewährte Softwarearchitektur vorgestellt, die ihre Bewährungsprobe mit einer konkreten Praxisumsetzung in einer Landeshauptstadt bestanden hat. Die Kombination und Integration der unterschiedlichen Open Source Komponenten gewährleistet eine hoch integrierte und skalierbare IoT Plattform.
batbern43 Fraud Detection mit Stream AnalyticsBATbern
Die Postfinance hat zusammen mit ELCA die bestehende Betrugserkennung-Lösung auf eine neue Stream Analytics Plattform mit BigData Stack (Apache Kafka, Apache Spark Streaming, Cloudian S3 Storage und Kubernetes) migriert. In der Präsentation wird die neue Lösung sowie Erfahrungen und Erkenntnisse mit den neuen Technologien vorgestellt.
BATbern42 Large-scale Frontends mit Mixed RealityBATbern
Frontends sind dank Augmented- und Mixed Reality immer öfters in der reellen Welt eingebettet und werden sich in Zukunft mehr und mehr von Screens lösen. Traditionelle GUIs werden so durch Mixed Reality kombiniert mit AI-basierten virtuellen Assistenten erweitert oder ersetzt. Dies gilt insbesondere für Firstline-Workers welche nur sporadisch an einem festen Arbeitsplatz sitzen. So entsteht ein neues Interaktions-Paradigma mit geringerem 'cognitive load' für die Benutzer. Diese neuartigen Frontends erleichtern für viele Mitarbeiter den Zugang zu Informationen und Funktionalitäten. Simon Scheidegger und Paul Affentranger zeigen anhand eines konkreten Projekts bei CSL Behring Möglichkeiten, erste Erfahrungen, Limitierungen und werfen einen Blick auf die Zukunft von Mixed Reality Frontends.
BPMN, BPEL oder vielleicht doch Java? Oder auch noch ESB?Guido Schmutz
Have you already asked yourself at the beginning of a SOA or Integration project about the technology you want to use? How and by which protocols do the systems to be integrated communicate? Is it a proprietary protocol or should a standard such as SOAP or RESTful web services be used? What are the disadvantages of one or the other? Is it feasible to implement the integration layer completely in Java or do modern integration platforms such as Oracle Service Bus or Oracle SOA Suite provide the important benefits to get closer to the often proposed IT flexibility and agility? Apart from answering other important questions we will also discuss service categorization and virtualization and present the advantages/disadvantages of a pure and programmatic Java-based approach compared to more declarative approach using languages such as BPEL and/or BPMN.
Webinar - Sehr empfehlenswert: wie man aus Daten durch maschinelles Lernen We...Cloudera, Inc.
Unternehmen sind heutzutage in der Lage ihre Daten mit relativer Leichtigkeit aufzunehmen und zu verwalten. Die Herausforderung besteht nun darin, die verborgenen Muster in den Daten zu erkennen und diese zu verstehen, um einen Mehrwert zu generieren. Aufgrund der großen Datenmengen gelingt dies mit traditionelle Ansätzen zumeist nicht. Das Ergebnis: Organisationen kämpfen, um wirklich zu innovieren und sich zu differenzieren.
BARC Studie Webinar: Ausgereifte Analysen mit Apache HadoopCloudera, Inc.
Sowohl die Technologie Hadoop als auch das Konzept Data Lake sind erst seit kurzer Zeit im Enterprise-Kontext im Einsatz. Entsprechend fällt es Unternehmen häufig schwer, zwischen medialer Überhöhung und tatsächlich realisierbaren Mehrwert zu unterscheiden. Ob es Unternehmen gelingt, sich die Vorteile zunutze zu machen, untersucht diese Studie zum Stand und zur zukünftigen Entwicklung von Big Data und dessen Anwendungsfälle in Unternehmen. Mit weltweit über 380 Teilnehmern bei einer breit gefächerten Branchenverteilung gehört die vorliegende Studie „Hadoop und Data Lakes“ zu den größten Untersuchungen, die sich speziell den Herausforderungen bei der Datenanalyse mit Hadoop widmen.
Freie Fahrt für die Reisendeninformation mit Kafka Streamsconfluent
Speakers: Axel Löhn, Deutsche Bahn AG + Uwe Eisele, Novatec
Public transport is becoming more and more popular and is used by more and more people every day. As a result, the demands on the quality of traveler information are also increasing. In order to do justice to this, Deutsche Bahn has launched the "Traveler Information" project as part of its "Zukunft Bahnl" strategy. The aim is to provide travellers with reliable and consistent information across all information channels. Situations such as the display of different departure tracks in the DB Navigator and on the departure board for the same journey should be a thing of the past. In Saxony, this is already a reality for travellers. During the first pilot phase, we were able to successfully connect the stations to the new platform.
The platform was implemented on the basis of a streaming architecture in which the individual processing steps are implemented via microservices. This integrates movement and master data of all public transport in Germany from various sources and consolidates them in real time. The platform is based on Apache Kafka®, which as a distributed streaming platform is an ideal solution for our requirements for real-time processing and reliability. Kafka is complemented by Kafka Streams, which we now use in almost all of our microservices for data processing. The entire platform is also operated by us productively in the AWS cloud. A particular challenge was the requirement not only to run the applications itself but also Apache Kafka in the cloud.
In this presentation we would like to share our experiences with you and show you how we use Apache Kafka and Kafka Streams in our project.
https://www.meetup.com/Frankfurt-Apache-Kafka-Meetup-by-Confluent/events/260776071/
Users leave thousands of traces per second on a successful ecommerce site. It’s very pragmatic to analyse and react on this trace event stream in realtime. This is called clickstream analysis. In the talk I’ll present a software architecture based on Apache Spark which is able to process thousands of clickstream events per second. A product based on this architecture is in production since mid 2015 and is still performing well. The building blocks of the architecture beside Spark are Kafka to handle the inbound event stream, Spark Streaming for initial stream processing and Parquet as serialization format. I argue why we’ve chosen these technologies and what experiences we had in developing, launching and operating the product.
DSGVO-Compliance schneller erreichen – mit Talend und ClouderaCloudera, Inc.
Die Uhr läuft: Spätestens bis Mai 2018 müssen Unternehmen die DSGVO (GDPR) umsetzen. Auch für Sie wird es höchste Zeit, Ihr Datenmanagement- und Data Governance-Konzept auf den neuesten Stand zu bringen.
Realtime BigData Step by Step mit Lambda, Kafka, Storm und HadoopValentin Zacharias
Vorstellung der Lambda Architektur, ihrer Motivation und einer konkreten technischen Umsetzung mit den Open Source Technologien Hadoop 2, Kafka und Storm.
Eine Referenzarchitektur für das Digitale ProduktIntelliact AG
Lückenlose Digitalisierung und durchgängige Vernetzung arbeiten heute mit flexibler und schlanker IT-Architektur, die die Anforderungen aus dem Business mit Funktionen, Services und klar beschriebenen APIs erfüllen.
-
In diesem Webinar wird eine Referenzarchitektur des Digitalen Produktes eingeführt, welche eine massgeschneiderte Umsetzung der funktionellen Anforderungen aus User Stories ermöglicht. Dazu werden Beispiele aus der Praxis bzw. praxisnahen Szenarien präsentiert.
-
Referent: Marco Egli, Senior Consultant, Intelliact AG
****
Besuchen Sie die nächste PLM Open Hour! Mehr Informationen und Termine: https://intelliact.ch/events/plm-open-hours
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...inovex GmbH
Die großen Public-Cloud-Anbieter locken inzwischen mit vielversprechenden Platform-as-a-Service-Angeboten um Daten jeglicher Art performant und kosteneffizient zu speichern und zu verarbeiten. Neben unterschiedlichen Datenbanken gibt es dazu Dienste für Batch- und Realtime-Processing. In diesem Vortrag werden einige der wichtigen Data Driven Services anhand eines typischen IoT-Szenarios aus der Praxis beleuchtet. Dazu gehen drei Schwergewichte des Cloud Business ins Rennen: Microsoft Azure vs. Amazon Web Services vs. Google Cloud Platform.
Event: inovex Meetup: "Let's talk about the Cloud!", 22.06.2016
Speaker: Thomas Neureuther, Stefan Kirner, inovex GmbH
Mehr Technologie-Vorträge: https://www.inovex.de/de/content-pool/vortraege/
Die Public Cloud bietet Innovationen, die Unternehmen in den nächsten Jahren dringend brauchen. So hat Amazon Web Services allein im vergangenen Jahr über 700 neue, hilfreiche und produktive Dienste bereitgestellt.
Allerdings ist die Transformation vom eigenen Rechenzentrum hin zur Public Cloud nicht immer einfach. Neben der technischen Vorgehensweise stellen sich Fragen zu Sicherheit, Datenschutz, Monitoring, Reporting und Support.
Hilfe beim Einstieg in die Cloud-Angebote von AWS leisten Managed Public Cloud Provider (MPCP) wie Claranet. Erst mit ihnen lässt sich das volle Potenzial der Public Cloud ausschöpfen. Das Webinar zeigt Ihnen konkret, wie MPCP Sie auf dem Weg in die Cloud unterstützen.
Learning Objectives:
• Das kann die Public Cloud für Ihr Unternehme leisten.
• Das sind die Herausforderungen auf dem Weg in die Cloud.
• So helfen Managed Public Cloud Provider (MPCP), die Dienste von AWS zu nutzen.
• So haben andere Unternehmen ihre Projekte dank MPCP bereits erfolgreich in die Cloud gebracht.
Who Should Attend:
CTOs, CIOs, CISOs, IT-Leiter, IT Administrator, IT Architects and IT Security Engineers
ENGINEERING Cyber Security für Public, Energy, Health Feb. 2023.pdfHans Peter Knaust
Die Engineering ITS GmbH unterstützt Städte und Gemeinden bei der Entwicklung moderner, offener Smart City-Strategien in Deutschland. Zusammen entwickeln wir Konzepte wie sich IT-Infrastrukturen, Smart City-Anwendungen und Fachverfahren gegen Cyberangriffe optimal schützen lassen.
Die Herausforderungen der Digitalen Transformation im Öffentlichen Sektor. Chancen und Risiken in der Umsetzung neuer Geschäftsmodelle. – Karl Heinz Mayer (Hewlett Packard Enterprise)
Besuchen Sie die nächste PLM Open Hour! Mehr Informationen und Termine: https://intelliact.ch/events/plm-open-hours
****
In den letzten Jahre haben neue technologische Möglichkeiten in der Digitalisierung neue Themenfelder im Product Lifecycle Management (PLM) hervorgebracht. Dazu gehören unter anderem die Entwicklungen in der Cloud, die breitere Nutzung von 3D-Daten ausserhalb der Entwicklungsabteilungen sowie die Sustainability.
In dieser Open Hour erhielten Sie einen Überblick über die Trends im PLM und einen Einblick in weitere spannende Themen.
Digitale Kommunikation in Fertigungsnetzwerken neu gedachtGeorg Guentner
Digitale Kommunikation in Fertigungsnetzwerken neu gedacht - Welche Sprache sprechen digitale Zwillinge?
Infolge der industriellen Digitalisierung nimmt die Vernetzung von Produktionsanlagen und Fertigungs-IT-Systemen
rasant zu. Die digitalen Abbilder der Maschinen („digitale Zwillinge“) sind auf unterschiedliche IT Systeme (z.B. ERP, MES, CMMS) verteilt.
Wie aber kommunizieren die IT
Systeme mit den Anlagen?
Welche Sprache sprechen digitale Zwillinge?
Sind dafür immer hohe Integrationsaufwände und aufwändige Schnittstellen
Programmierung erforderlich?
In dem von Salzburg Research koordinierten Forschungsprojekt i
Twin stellen wir mit den „Semantic Integration Patterns“ ein Konzept vor, wie diese Kommunikation standardisiert werden kann.
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...Fabian Hardt
Lange Zeit wichen Architekturen von Analytics Systemen stark von modernen Software-Architekturen ab. Während die letzten Jahre oft von Domain Driven Design die Rede war und immer mehr Monolithen in Microservices zerschlagen wurden, blieben Analytics Plattformen wie Data Lake und Data Warehouse weiterhin schwerfällig. Doch nun ist auch hier die Rede von Data Mesh und Data Products. Doch inwiefern unterscheiden sich diese Konzepte nun eigentlich noch und was ist der Unterschied zwischen Microservice und Data Product? Werden hier nicht doch ähnliche Frameworks und Architekturpatterns benötigt? Diese Einordnung soll dieser Vortrag bieten und ein Beispiel bringen, wie eine noch engere Verzahnung im Unternehmen erfolgen kann und somit echte Mehrwerte für Ihre IT-Landschaften schaffen kann.
IoT-X Platform von prodot - Daten sammeln, analysieren und auswertenprodot GmbH
Eine Lösung für alle Daten: Die prodot IoT-X Platform
ermöglicht das Sammeln, Verknüpfen, Analysieren und
Auswerten von Daten aus Tausenden von Sensoren oder
Geräten an einer zentralen Stelle – herstellerunabhängig,
übergreifend und weltweit. Das trägt zur Reduzierung
des Ressourcenaufwands und zur Optimierung in vielen
Bereichen bei und erhöht so die Wettbewerbsfähigkeit.
BARC Studie Webinar: Ausgereifte Analysen mit Apache HadoopCloudera, Inc.
Sowohl die Technologie Hadoop als auch das Konzept Data Lake sind erst seit kurzer Zeit im Enterprise-Kontext im Einsatz. Entsprechend fällt es Unternehmen häufig schwer, zwischen medialer Überhöhung und tatsächlich realisierbaren Mehrwert zu unterscheiden. Ob es Unternehmen gelingt, sich die Vorteile zunutze zu machen, untersucht diese Studie zum Stand und zur zukünftigen Entwicklung von Big Data und dessen Anwendungsfälle in Unternehmen. Mit weltweit über 380 Teilnehmern bei einer breit gefächerten Branchenverteilung gehört die vorliegende Studie „Hadoop und Data Lakes“ zu den größten Untersuchungen, die sich speziell den Herausforderungen bei der Datenanalyse mit Hadoop widmen.
Freie Fahrt für die Reisendeninformation mit Kafka Streamsconfluent
Speakers: Axel Löhn, Deutsche Bahn AG + Uwe Eisele, Novatec
Public transport is becoming more and more popular and is used by more and more people every day. As a result, the demands on the quality of traveler information are also increasing. In order to do justice to this, Deutsche Bahn has launched the "Traveler Information" project as part of its "Zukunft Bahnl" strategy. The aim is to provide travellers with reliable and consistent information across all information channels. Situations such as the display of different departure tracks in the DB Navigator and on the departure board for the same journey should be a thing of the past. In Saxony, this is already a reality for travellers. During the first pilot phase, we were able to successfully connect the stations to the new platform.
The platform was implemented on the basis of a streaming architecture in which the individual processing steps are implemented via microservices. This integrates movement and master data of all public transport in Germany from various sources and consolidates them in real time. The platform is based on Apache Kafka®, which as a distributed streaming platform is an ideal solution for our requirements for real-time processing and reliability. Kafka is complemented by Kafka Streams, which we now use in almost all of our microservices for data processing. The entire platform is also operated by us productively in the AWS cloud. A particular challenge was the requirement not only to run the applications itself but also Apache Kafka in the cloud.
In this presentation we would like to share our experiences with you and show you how we use Apache Kafka and Kafka Streams in our project.
https://www.meetup.com/Frankfurt-Apache-Kafka-Meetup-by-Confluent/events/260776071/
Users leave thousands of traces per second on a successful ecommerce site. It’s very pragmatic to analyse and react on this trace event stream in realtime. This is called clickstream analysis. In the talk I’ll present a software architecture based on Apache Spark which is able to process thousands of clickstream events per second. A product based on this architecture is in production since mid 2015 and is still performing well. The building blocks of the architecture beside Spark are Kafka to handle the inbound event stream, Spark Streaming for initial stream processing and Parquet as serialization format. I argue why we’ve chosen these technologies and what experiences we had in developing, launching and operating the product.
DSGVO-Compliance schneller erreichen – mit Talend und ClouderaCloudera, Inc.
Die Uhr läuft: Spätestens bis Mai 2018 müssen Unternehmen die DSGVO (GDPR) umsetzen. Auch für Sie wird es höchste Zeit, Ihr Datenmanagement- und Data Governance-Konzept auf den neuesten Stand zu bringen.
Realtime BigData Step by Step mit Lambda, Kafka, Storm und HadoopValentin Zacharias
Vorstellung der Lambda Architektur, ihrer Motivation und einer konkreten technischen Umsetzung mit den Open Source Technologien Hadoop 2, Kafka und Storm.
Eine Referenzarchitektur für das Digitale ProduktIntelliact AG
Lückenlose Digitalisierung und durchgängige Vernetzung arbeiten heute mit flexibler und schlanker IT-Architektur, die die Anforderungen aus dem Business mit Funktionen, Services und klar beschriebenen APIs erfüllen.
-
In diesem Webinar wird eine Referenzarchitektur des Digitalen Produktes eingeführt, welche eine massgeschneiderte Umsetzung der funktionellen Anforderungen aus User Stories ermöglicht. Dazu werden Beispiele aus der Praxis bzw. praxisnahen Szenarien präsentiert.
-
Referent: Marco Egli, Senior Consultant, Intelliact AG
****
Besuchen Sie die nächste PLM Open Hour! Mehr Informationen und Termine: https://intelliact.ch/events/plm-open-hours
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...inovex GmbH
Die großen Public-Cloud-Anbieter locken inzwischen mit vielversprechenden Platform-as-a-Service-Angeboten um Daten jeglicher Art performant und kosteneffizient zu speichern und zu verarbeiten. Neben unterschiedlichen Datenbanken gibt es dazu Dienste für Batch- und Realtime-Processing. In diesem Vortrag werden einige der wichtigen Data Driven Services anhand eines typischen IoT-Szenarios aus der Praxis beleuchtet. Dazu gehen drei Schwergewichte des Cloud Business ins Rennen: Microsoft Azure vs. Amazon Web Services vs. Google Cloud Platform.
Event: inovex Meetup: "Let's talk about the Cloud!", 22.06.2016
Speaker: Thomas Neureuther, Stefan Kirner, inovex GmbH
Mehr Technologie-Vorträge: https://www.inovex.de/de/content-pool/vortraege/
Die Public Cloud bietet Innovationen, die Unternehmen in den nächsten Jahren dringend brauchen. So hat Amazon Web Services allein im vergangenen Jahr über 700 neue, hilfreiche und produktive Dienste bereitgestellt.
Allerdings ist die Transformation vom eigenen Rechenzentrum hin zur Public Cloud nicht immer einfach. Neben der technischen Vorgehensweise stellen sich Fragen zu Sicherheit, Datenschutz, Monitoring, Reporting und Support.
Hilfe beim Einstieg in die Cloud-Angebote von AWS leisten Managed Public Cloud Provider (MPCP) wie Claranet. Erst mit ihnen lässt sich das volle Potenzial der Public Cloud ausschöpfen. Das Webinar zeigt Ihnen konkret, wie MPCP Sie auf dem Weg in die Cloud unterstützen.
Learning Objectives:
• Das kann die Public Cloud für Ihr Unternehme leisten.
• Das sind die Herausforderungen auf dem Weg in die Cloud.
• So helfen Managed Public Cloud Provider (MPCP), die Dienste von AWS zu nutzen.
• So haben andere Unternehmen ihre Projekte dank MPCP bereits erfolgreich in die Cloud gebracht.
Who Should Attend:
CTOs, CIOs, CISOs, IT-Leiter, IT Administrator, IT Architects and IT Security Engineers
ENGINEERING Cyber Security für Public, Energy, Health Feb. 2023.pdfHans Peter Knaust
Die Engineering ITS GmbH unterstützt Städte und Gemeinden bei der Entwicklung moderner, offener Smart City-Strategien in Deutschland. Zusammen entwickeln wir Konzepte wie sich IT-Infrastrukturen, Smart City-Anwendungen und Fachverfahren gegen Cyberangriffe optimal schützen lassen.
Die Herausforderungen der Digitalen Transformation im Öffentlichen Sektor. Chancen und Risiken in der Umsetzung neuer Geschäftsmodelle. – Karl Heinz Mayer (Hewlett Packard Enterprise)
Besuchen Sie die nächste PLM Open Hour! Mehr Informationen und Termine: https://intelliact.ch/events/plm-open-hours
****
In den letzten Jahre haben neue technologische Möglichkeiten in der Digitalisierung neue Themenfelder im Product Lifecycle Management (PLM) hervorgebracht. Dazu gehören unter anderem die Entwicklungen in der Cloud, die breitere Nutzung von 3D-Daten ausserhalb der Entwicklungsabteilungen sowie die Sustainability.
In dieser Open Hour erhielten Sie einen Überblick über die Trends im PLM und einen Einblick in weitere spannende Themen.
Digitale Kommunikation in Fertigungsnetzwerken neu gedachtGeorg Guentner
Digitale Kommunikation in Fertigungsnetzwerken neu gedacht - Welche Sprache sprechen digitale Zwillinge?
Infolge der industriellen Digitalisierung nimmt die Vernetzung von Produktionsanlagen und Fertigungs-IT-Systemen
rasant zu. Die digitalen Abbilder der Maschinen („digitale Zwillinge“) sind auf unterschiedliche IT Systeme (z.B. ERP, MES, CMMS) verteilt.
Wie aber kommunizieren die IT
Systeme mit den Anlagen?
Welche Sprache sprechen digitale Zwillinge?
Sind dafür immer hohe Integrationsaufwände und aufwändige Schnittstellen
Programmierung erforderlich?
In dem von Salzburg Research koordinierten Forschungsprojekt i
Twin stellen wir mit den „Semantic Integration Patterns“ ein Konzept vor, wie diese Kommunikation standardisiert werden kann.
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...Fabian Hardt
Lange Zeit wichen Architekturen von Analytics Systemen stark von modernen Software-Architekturen ab. Während die letzten Jahre oft von Domain Driven Design die Rede war und immer mehr Monolithen in Microservices zerschlagen wurden, blieben Analytics Plattformen wie Data Lake und Data Warehouse weiterhin schwerfällig. Doch nun ist auch hier die Rede von Data Mesh und Data Products. Doch inwiefern unterscheiden sich diese Konzepte nun eigentlich noch und was ist der Unterschied zwischen Microservice und Data Product? Werden hier nicht doch ähnliche Frameworks und Architekturpatterns benötigt? Diese Einordnung soll dieser Vortrag bieten und ein Beispiel bringen, wie eine noch engere Verzahnung im Unternehmen erfolgen kann und somit echte Mehrwerte für Ihre IT-Landschaften schaffen kann.
IoT-X Platform von prodot - Daten sammeln, analysieren und auswertenprodot GmbH
Eine Lösung für alle Daten: Die prodot IoT-X Platform
ermöglicht das Sammeln, Verknüpfen, Analysieren und
Auswerten von Daten aus Tausenden von Sensoren oder
Geräten an einer zentralen Stelle – herstellerunabhängig,
übergreifend und weltweit. Das trägt zur Reduzierung
des Ressourcenaufwands und zur Optimierung in vielen
Bereichen bei und erhöht so die Wettbewerbsfähigkeit.
Die Ausprägungen des digitalen Zwillings und deren NutzenTransaction-Network
Der digitale Zwilling, das digitale Abbild einer Maschine aus der realen in die digitale Welt, gewinnt im Industrie 4.0 Umfeld an entscheidender Bedeutung und bildet insbesondere im Maschinenbau die Basis für die Digitalisierung der Branche. In den folgenden Ausführungen der Präsentation zweige ich die Bedeutung und die verschiedenen Formen des digitalen Zwillings auf und welche Mehrwerte dieser geben kann.
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“OPEN KNOWLEDGE GmbH
„Cloud is the new Normal”, so Andrew R. Jassy (CIO AWS). Was also liegt näher, als genau jetzt den Schritt in die Cloud zu wagen? Denn schließlich wollen wir ja alle irgendwie ein klein wenig „normal“ sein. Aber ist dieser Schritt wirklich so einfach, wie uns die verschiedenen Cloudanbieter glauben machen? Lässt sich eine klassische Enterprise-Architektur einfach so in die Cloud überführen oder bedarf es neuer cloud-spezifischer Architekturmuster? Und was steckt eigentlich hinter Akronymen wie IaaS, PaaS, BaaS, SaaS und FaaS?
Im Rahmen der Session werden ich Schritt für Schritt eine bestehende Enterprise-Anwendung in die Cloud migrieren. Angefangen bei der Nutzung von Cloudinfrastruktur (IaaS) über die Anbindung von Cloudplattformkomponenten (PaaS) und Backend-Services (BaaS) bis hin zu Serverless Functions (FaaS) werden wir für die unterschiedlichen Anwendungsszenarien unserer Applikation passende Architekturansätze entwerfen und deren Vor- und Nachteile diskutieren. Natürlich sprechen wir dabei auch Themen wie Testing, Monitoring und automatisiertes Deployment an.
BATbern52 InnoQ on Data Mesh 2019 2023 2024++BATbern
Data Mesh ist ein soziotechnischer Ansatz für die Erstellung einer dezentralen Datenarchitektur. Zhamak Dehghani hat den Begriff Data Mesh und die Theorie dahinter mit ihren Blog-Beiträgen in 2019 bereits geprägt und dann mit ihrem Buch noch etwas ausführlicher beschrieben. Diese Theorie möchte ich kurz vorstellen, um für den Abend ein Begriffsfundament zu giessen. Seit 2019 ist jedoch viel passiert. Viele haben das Konzept gelesen und einige haben ihre Data Mesh Reise bereits begonnen. Ich möchte auf 2023 zurückblicken und den aktuellen Stand der Praxis beschreiben. Enden möchte ich mit einem Ausblick über die Top 5 Entwicklungen in Data Mesh, die dich total überraschen werden.
Information über IBM Watson Analytics und Import der durch SPSS generierten Prognosen, und eine Darstellung der Ergebnisse in repräsentativen Dashboards.
Für alle Fragen stehe ich ihnen gerne zur Verfügung unter: http://www.ibm.com/connect/ibm/de/de/resources/clara_ogwuazor_mbamalu/
Ähnlich wie Clash of Cultures: Agile Microservices & Business Intelligence (Frank Schmidt, b.telligent) Frankfurt 2019 Confluent Streaming Event (20)
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...confluent
In our exclusive webinar, you'll learn why event-driven architecture is the key to unlocking cost efficiency, operational effectiveness, and profitability. Gain insights on how this approach differs from API-driven methods and why it's essential for your organization's success.
Santander Stream Processing with Apache Flinkconfluent
Flink is becoming the de facto standard for stream processing due to its scalability, performance, fault tolerance, and language flexibility. It supports stream processing, batch processing, and analytics through one unified system. Developers choose Flink for its robust feature set and ability to handle stream processing workloads at large scales efficiently.
Unlocking the Power of IoT: A comprehensive approach to real-time insightsconfluent
In today's data-driven world, the Internet of Things (IoT) is revolutionizing industries and unlocking new possibilities. Join Data Reply, Confluent, and Imply as we unveil a comprehensive solution for IoT that harnesses the power of real-time insights.
Workshop híbrido: Stream Processing con Flinkconfluent
El Stream processing es un requisito previo de la pila de data streaming, que impulsa aplicaciones y pipelines en tiempo real.
Permite una mayor portabilidad de datos, una utilización optimizada de recursos y una mejor experiencia del cliente al procesar flujos de datos en tiempo real.
En nuestro taller práctico híbrido, aprenderás cómo filtrar, unir y enriquecer fácilmente datos en tiempo real dentro de Confluent Cloud utilizando nuestro servicio Flink sin servidor.
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...confluent
Our talk will explore the transformative impact of integrating Confluent, HiveMQ, and SparkPlug in Industry 4.0, emphasizing the creation of a Unified Namespace.
In addition to the creation of a Unified Namespace, our webinar will also delve into Stream Governance and Scaling, highlighting how these aspects are crucial for managing complex data flows and ensuring robust, scalable IIoT-Platforms.
You will learn how to ensure data accuracy and reliability, expand your data processing capabilities, and optimize your data management processes.
Don't miss out on this opportunity to learn from industry experts and take your business to the next level.
La arquitectura impulsada por eventos (EDA) será el corazón del ecosistema de MAPFRE. Para seguir siendo competitivas, las empresas de hoy dependen cada vez más del análisis de datos en tiempo real, lo que les permite obtener información y tiempos de respuesta más rápidos. Los negocios con datos en tiempo real consisten en tomar conciencia de la situación, detectar y responder a lo que está sucediendo en el mundo ahora.
Eventos y Microservicios - Santander TechTalkconfluent
Durante esta sesión examinaremos cómo el mundo de los eventos y los microservicios se complementan y mejoran explorando cómo los patrones basados en eventos nos permiten descomponer monolitos de manera escalable, resiliente y desacoplada.
Q&A with Confluent Experts: Navigating Networking in Confluent Cloudconfluent
This document discusses networking options and best practices for Confluent Cloud. It provides an overview of public endpoints, private link, and peering options. It then discusses best practices for private networking architectures on Azure using hub-and-spoke and private link designs. Finally, it addresses networking considerations and challenges for Kafka Connect managed connectors, as well as planned enhancements for DNS peering and outbound private link support.
Purpose of the session is to have a dive into Apache, Kafka, Data Streaming and Kafka in the cloud
- Dive into Apache Kafka
- Data Streaming
- Kafka in the cloud
Build real-time streaming data pipelines to AWS with Confluentconfluent
Traditional data pipelines often face scalability issues and challenges related to cost, their monolithic design, and reliance on batch data processing. They also typically operate under the premise that all data needs to be stored in a single centralized data source before it's put to practical use. Confluent Cloud on Amazon Web Services (AWS) provides a fully managed cloud-native platform that helps you simplify the way you build real-time data flows using streaming data pipelines and Apache Kafka.
Q&A with Confluent Professional Services: Confluent Service Meshconfluent
No matter whether you are migrating your Kafka cluster to Confluent Cloud, running a cloud-hybrid environment or are in a different situation where data protection and encryption of sensitive information is required, Confluent Service Mesh allows you to transparently encrypt your data without the need to make code changes to you existing applications.
Citi Tech Talk: Event Driven Kafka Microservicesconfluent
Microservices have become a dominant architectural paradigm for building systems in the enterprise, but they are not without their tradeoffs. Learn how to build event-driven microservices with Apache Kafka
Confluent & GSI Webinars series - Session 3confluent
An in depth look at how Confluent is being used in the financial services industry. Gain an understanding of how organisations are utilising data in motion to solve common problems and gain benefits from their real time data capabilities.
It will look more deeply into some specific use cases and show how Confluent technology is used to manage costs and mitigate risks.
This session is aimed at Solutions Architects, Sales Engineers and Pre Sales, and also the more technically minded business aligned people. Whilst this is not a deeply technical session, a level of knowledge around Kafka would be helpful.
This document discusses moving to an event-driven architecture using Confluent. It begins by outlining some of the limitations of traditional messaging middleware approaches. Confluent provides benefits like stream processing, persistence, scalability and reliability while avoiding issues like lack of structure, slow consumers, and technical debt. The document then discusses how Confluent can help modernize architectures, enable new real-time use cases, and reduce costs through migration. It provides examples of how companies like Advance Auto Parts and Nord/LB have benefitted from implementing Confluent platforms.
This session will show why the old paradigm does not work and that a new approach to the data strategy needs to be taken. It aims to show how a Data Streaming Platform is integral to the evolution of a company’s data strategy and how Confluent is not just an integration layer but the central nervous system for an organisation
Vous apprendrez également à :
• Créer plus rapidement des produits et fonctionnalités à l’aide d’une suite complète de connecteurs et d’outils de gestion des flux, et à connecter vos environnements à des pipelines de données
• Protéger vos données et charges de travail les plus critiques grâce à des garanties intégrées en matière de sécurité, de gouvernance et de résilience
• Déployer Kafka à grande échelle en quelques minutes tout en réduisant les coûts et la charge opérationnelle associés
Confluent Partner Tech Talk with Synthesisconfluent
A discussion on the arduous planning process, and deep dive into the design/architectural decisions.
Learn more about the networking, RBAC strategies, the automation, and the deployment plan.
5. Clash of Cultures:
Wie bringe ich Microservices und Business Intelligence zusammen?
Microservices
• Microservices sind klein, bleiben übersichtlich und
weiterentwickelbar
• Microservices können unabhängig entwickelt und betrieben werden
• Teams sind unabhängig und agil, Kommunikationsaufwand geringer
DWH & Business Intelligence
• Klassische DWH-Ansätze können die Daten der unabhängigen
Microservices nicht verarbeiten
Microservice
Microservice
Microservice
Microservice
Microservice
Microservice
Microservice
Microservice
MicroserviceMicroservice
• Aktuelle Herausforderungen in BI & DWH:
• Anforderungen müssen schnell und kostengünstig umgesetzt
werden
• Daten-Infrastrukturen sind aufwendig im Betrieb
• Höhere Anforderungen durch Compliance und Regulatoren
• Rasante technologische Entwicklung in AI, Cloud und Big Data
• Mangel an qualifizierten Entwicklern
Lösungsansatz: Standardisierte und automatisierte Data Integration
Prozesse
Und was passiert mit den Daten:
• Datenhaltung ist dezentral in den einzelnen Microservices und
Verantwortlichkeiten für Daten oft unklar
• Datenaustausch erfolgt über APIs (oder Kafka) – Komplexität steigt
im Zeitablauf, je mehr Microservices, desto mehr Schnittstellen
(exponentiell)
6. Microservice Streaming Platform
Streaming Data Platform:
Die ersten Schritte der Microservices mit Kafka ...
Data Sources
Microservices
Microservice I
Microservice II
Microservice III
Microservice …
Microservice …
Microservice …
Microservice …
Kafka
Data
Ingest
Service
7. Microservice Streaming Platform
Streaming Data Platform:
REST-Proxy und Schema Registry bringen etwas Ordnung ...
Data Sources
Microservices
Microservice I
Microservice II
Microservice III
Microservice …
Microservice …
Microservice …
Microservice …
Kafka
R
E
S
T
Data
Metadata
Metadata
confluent
Schema Registry
R
E
S
T
Ingest
Service
9. Data Governance Framework
Woher stammen
die Daten: Data
Lineage
Wer ist für die
Daten
verantwortlich?
Wie werden die
Daten
verarbeitet bzw.
berechnet?
In welchen
Geschäfts-
prozessen werden
Daten verarbeitet
und genutzt.
In welchen
Systemen
werden die
Daten
gespeichert?
Wer nutzt die
Daten und wo?
Prozesse,
Reports etc.
Data Governance Framework
10. Metadaten & Data Governance – die Brücke zwischen den Welten
Microservice
(Data Producer)
Metadaten Business Intelligence
(Data Consumer)
Metadaten
(Schema Registry)
Data Producer
Analytics &
Reporting
Data Quality
Monitoring (DQM)
Data Lineage
Data Usage
Validierung
12. Microservice Streaming Platform
Streaming Data Platform:
Architektur mit Schema Registry & REST Proxy als Ausgangspunkt...
Data Sources
Microservices
Microservice I
Microservice II
Microservice III
Microservice …
Microservice …
Microservice …
Microservice …
Kafka
R
E
S
T
Data
Metadata
Metadata
confluent
Schema Registry
R
E
S
T
Ingest
Service
13. DWH & Business IntelligenceMicroservice Streaming Platform
Streaming Data Platform:
Der Weg vom Streaming zu Data Lake und BI Platform ...
Data Sources
Microservices
Microservice I
Microservice II
Microservice III
Microservice …
Microservice …
Microservice …
Microservice …
Kafka
(Near-)Real-Time Applications
Apps & Use Cases Dashboards
R
E
S
T
Data Lake
Data
Metadata
Stream
Processing
Metadata
confluent
Schema Registry
R
E
S
T
Ingest
Service
14. DWH & Business IntelligenceMicroservice Streaming Platform
Streaming Data Platform:
Der Weg vom Streaming zu Data Lake und BI Platform ...
Data Sources
Microservices
Microservice I
Microservice II
Microservice III
Microservice …
Microservice …
Microservice …
Microservice …
Kafka
(Near-)Real-Time Applications
Apps & Use Cases Dashboards
Raw
Vault
R
E
S
T
Data Lake
Storage
Data
Metadata
Business
Vault
Information
Mart
GDPR
StreamingApp
Stream
Processing
Metadata
confluent
Schema Registry
R
E
S
T
Ingest
Service
Reporting
Operative
Systeme
Ergänzung der Schema
Registry um Metadaten
15. Ausgangspunkt:
JSON für Schema Registry – Ausgangskonfiguration
{
"type": "record",
"namespace": "com.example.department1",
"name": "userInfo",
"doc": "User information for newly registered or updated
users",
"service_metadata": {
"sourceSystem": "exampleService",
"docs":
"https://exampleservice.department1.example.com/swagger/"
},
"storage_configuration": {
"min_rows": 100000,
"min_mb": 128,
"min_time_s": 900
},
"fields": [
{
"name": "firstname",
"type": "string",
"doc": "First and optional middlename,
"gdpr": {
"action": "mask_1st_diget"
}
},
{
"name": "lastname",
"type": "string",
"doc": "Last name of user",
"gdpr": {
"action": "mask_1st_diget"
}
},
{
"name": "city",
"type": "string",
"doc": "Current city of residence",
"gdpr": {
"action": "none"
}
},
{
"name": "mail_address",
"type": "string",
"doc": "Currently city of residence",
"gdpr": {
"action": "pseudonymizer",
"pseudonymize_key": "email"
}
}
]
}
16. Konfiguration via JSON:
Erweiterung um GDPR & Prozessinformationen
{
"type": "record",
"namespace": "com.example.department1",
"name": "userInfo",
"doc": "User information for newly registered or updated
users",
"service_metadata": {
"sourceSystem": "exampleService",
"docs":
"https://exampleservice.department1.example.com/swagger/"
},
"storage_configuration": {
"min_rows": 100000,
"min_mb": 128,
"min_time_s": 900
},
"fields": [
{
"name": "firstname",
"type": "string",
"doc": "First and optional middlename,
"gdpr": {
"action": "mask_1st_diget"
}
},
{
"name": "lastname",
"type": "string",
"doc": "Last name of user",
"gdpr": {
"action": "mask_1st_diget"
}
},
{
"name": "city",
"type": "string",
"doc": "Current city of residence",
"gdpr": {
"action": "none"
}
},
{
"name": "mail_address",
"type": "string",
"doc": "Currently city of residence",
"gdpr": {
"action": "pseudonymizer",
"pseudonymize_key": "email"
}
}
]
}
17. DWH & Business IntelligenceMicroservice Streaming Platform
Streaming Data Platform: Job Generation & Orchestration
kann (fast) alle Arbeitsschritte automatisieren
Data Sources
Microservices
Microservice I
Microservice II
Microservice III
Microservice …
Microservice …
Microservice …
Microservice …
Kafka
(Near-)Real-Time Applications
Apps & Use Cases Dashboards
Raw
Vault
R
E
S
T
Data Lake
Storage
Data
Metadata
Business
Vault
Information
Mart
GDPR
StreamingApp
Stream
Processing
Job Generation & OrchestrationMetadata
confluent
Schema Registry
(& Metadaten)
Dynamic
Job Manager
Data Lake & Data Vault
Code & Job Generation
R
E
S
T
Ingest
Service
Reporting
Operative
Systeme
Job & Code
Builder
19. Aufgabe:
Darstellung Microservice Repository & Data Dictionary
Schema Registry
Microservice Metadata
Enterprise Architecture
Metadata
Microservice Repository
• Index der Microservices und ihrer Funktion
• Verständnis von Schnittstellen und
Zusammenhängen
• Ansprechpartner und Verantwortlichkeiten
• Daten – welche Daten halt der Microservice
führend bzw. exklusiv
Data Dictionary (via Schema Registry)
• Verständnis auf Feldebene
• GDPR Informationen
• Informationsklassifizierung
• Index der Felder
• Unterschiedliche Versionen von
Events im Zeitablauf
20. Dokumentation via JSON:
Erweiterung um Doku, Links & weitere Informationen
{
"type": "record",
"namespace": "com.example.department1",
"name": "userInfo",
"doc": "User information for newly registered or updated
users",
"service_metadata": {
"sourceSystem": "exampleService",
"docs":
"https://exampleservice.department1.example.com/swagger/"
},
"storage_configuration": {
"min_rows": 100000,
"min_mb": 128,
"min_time_s": 900
},
"fields": [
{
"name": "firstname",
"type": "string",
"doc": "First and optional middlename,
"gdpr": {
"action": "mask_1st_diget"
}
},
{
"name": "lastname",
"type": "string",
"doc": "Last name of user",
"gdpr": {
"action": "mask_1st_diget"
}
},
{
"name": "city",
"type": "string",
"doc": "Current city of residence",
"gdpr": {
"action": "none"
}
},
{
"name": "mail_address",
"type": "string",
"doc": "Currently city of residence",
"gdpr": {
"action": "pseudonymizer",
"pseudonymize_key": "email"
}
}
]
}
21. DWH & Business IntelligenceMicroservice Streaming Platform
Streaming Data Platform:
Ergänzung um Microservice Repository & Microservice Wiki
Data Sources
Microservices
Microservice I
Microservice II
Microservice III
Microservice …
Microservice …
Microservice …
Microservice …
Kafka
(Near-)Real-Time Applications
Apps & Use Cases Dashboards
Raw
Vault
R
E
S
T
Data Lake
Storage
Data
Metadata
Business
Vault
Information
Mart
GDPR
StreamingApp
Stream
Processing
Job Generation & OrchestrationMetadata
confluent
Schema Registry
(& Metadaten)
Dynamic
Job Manager
Data Lake & Data Vault
Code & Job Generation
R
E
S
T
Ingest
Service
Reporting
Operative
Systeme
Job & Code
Builder
Wiki & Documentation
Microservice Wiki
Micro-
service
Repository
Laufzeitdaten
22. Microservice Wiki: Alle Kernfunktionen eines Data Catalog sowie
weitere Funktionalitäten sind im Microservice Wiki enthalten
Microservice
Wiki
Data Lineage
Versionierung &
Historisierung
Suche & Collaboration
Automatisierter
Data Catalog
24. Zusammenfassung
Clash of Cultures – wir müssen eine agile & unabhängige Microservice-Welt und eine
standardisierte & automatisierte BI Welt zusammenbringen
Schema Registry und die Anreicherung mit weiteren Metadaten ist die Brücke zwischen
unabhängigen Events (der Microservices) und standardisierten Prozessen (in der BI Platform)
Job Generation & Orchestration – eine konsequente Verwendung der prozessualen Metadaten
stellt eine durchgehende Prozessautomatisierung für Streaming Platform, Data Lake & BI sicher
Microservice Wiki – alle Metadaten und das Micoservice Repository ermöglichen einen auto-
matisierten Data Catalog, Suche & Collaboration, Versionierung & Historising und Data Lineage
25. b.telligent
GmbH & Co. KG
Walter-Gropius-Straße 17
80807 München
+49 89 122 281 110
www.btelligent.com
MUC • DUS • FRA • HH • STR • ZHR
Frank Schmidt
Leiter Competence Center
Big Data & CloudOps
frank.schmidt@btelligent.com