Mehrwerte von Cloud-Services in hybriden DWH-Architekturen

•

0 gefällt mir•309 views

Der Trend, IT-Infrastruktur aus dem eigenen Rechenzentrum in eine (Public) Cloud zu verschieben, ist derzeit unumstritten: Gründe sind niedrigere Kosten, schnellere Time-to-market und Effizienz des Kapitaleinsatzes, um nur die Wichtigsten zu nennen. Um diese Vorteile auch bei Business-Intelligence-Systemen nutzen zu können, bei überschaubarem Aufwand und Risiken, setzt man hier auf hybride Data-Warehouse-Architekturen, welche selektiv Cloud-Dienste nutzen und dabei die on-premises und Cloud-Datenbestände intelligent integrieren. Im seinem Vortrag auf dem IBI Symposium am 29.11.2018 stellte Stefan Kirner den spezifische Nutzen von Cloud Services für Data-Management-und-Analytics-Aufgaben anhand von Architektur-Beispielen aus der Praxis vor. Speaker: Stefan Kirner Event: IBI Symposium, 29.11.2018 Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Software

Mehrwerte von Cloud-Services
in hybriden DWH-Architekturen
Stefan Kirner Stuttgart, 29.11.2018

2
Stefan Kirner
Teamleiter Business Intelligence Solutions
bei der inovex GmbH
› Mehr als 17 Jahre Erfahrung in Business Intelligence
› Microsoft Certified Systems Expert (MCSE) Data
Management & Analytics sowie Cloud Platform &
Infrastructure
› Microsoft P-TSP Data Platform
› Leitung SQL PASS e.V. Community Karlsruhe
› Sprecher bei Konferenzen und User Groups zu BI- und
Cloud-Themen
› Mail: stefan.kirner@inovex.de
Twitter: @KirnerKa

› Einfacher Start möglich
› Skalierbarkeit
› Technologievielfalt
› Agiles Setup
› Entlastung IT
› Schnelle Innovationszyklen
› Optimierung von Betriebskosten
› Globale Szenarien
› Erhöhte Ausfallsicherheit
› Flexibilität für Testumgebungen
Plattformvorteile Cloud BI
Was spricht für die Nutzung von Cloud?

Connectivity in die Cloud
Einfacher Start möglich
• Virtual Private Network vs
Gateways
• Bei GW veinfachtes Setup
da dedizierte Funktion
• Sicherheit durch
verschlüsselte
Verbindungen
• Nutzung Standard-Ports
• Initiales Laden über Abhol-
Service möglich
4
SAP
Data Gateway

Skalierbarkeit in der Cloud
big data != big IT problems
• Skalierung fast gegen
unendlich möglich
• Oft genutzt für Cloud-
born Data
• Ergebnisse auch on-prem
nutzbar
• Hoher Abstraktionsgrad
erleichtert Einstieg auch
in komplexe Systeme
5
SAP

Optimierung von Betriebskosten
Synergieeffekte und Elastizität
• Keine hohen Start-
Investitionen / geringe
Kapitalbindung
• Managed Services sparen
IT-Betrieb
• Kostenoptimierung durch
zeitliche Steuerung von
Resourcenbedarf
• Beispiel Auslagerung
Historie in die Cloud
6
DWH: Hot Data
DWH: Cold Data
data
data
data
data
data
data
data
data
data
data
$
$$$

Globale Sammlung und Nutzung von Daten
Für die Entwicklung von Datenprodukten
• Dezentrale Daten zentral
nutzen und anreichern
durch verbundene RZs
• Zentrales Management der
Business Logic
• Optimale Basis für Machine
Learning- Trainingsdaten
• Z.B. Predictive
Maintenance Modelle für
Maschinenbauer
7
North US India
Europe

Cloud
Edge Computing
Echtzeit-Szenarien im IIoT Bereich
• Verwendung gleicher
Analytics Technologien &
Code Cloud/on-prem
• Bei geringer Latenz
• Management über
Container-Technologien
(Docker & Co.)
• In der Cloud trainierte
Modelle on-prem einsetzen
8
Edge device

› Viele Datentöpfe on-premises
› Datenschutz Diskussion
› Schnelle Weiterentwicklung –
teilweise geringerer Reifegrad
› Evergreening führt zu Verwirrungen
› Neue Pattern und Tools notwendig
› Intransparenz & erschwerte
Fehlersuche durch Abstraktion
› Finanzierungsmodell teils
kaufmännisch schwierig
Plattform-“Herausforderungen“ Cloud BI
Wo Licht ist…

Fazit
• Erweiterung des Business Intelligence Spielfelds
• Schneller Einstieg auch in komplexe Technologien
• Erschwingliches Ausprobieren hoch skalierender
Systeme
• Schnelle Weiterentwicklung der Dienste als Garant für
Innovation
Cloud BI - Give it a try!
10

Buch: BI und Analytics in der Cloud
Architektur, Vorgehen und Praxis
• Neu-Erscheinung im Oktober
2018, 262 Seiten
• Sammlung von Autorenbeiträgen
zum Thema
• Kapitel: „Mehrwerte von Cloud
Services in hybriden Data-
Warehouses“ von Stefan Kirner
https://www.dpunkt.de/buecher/13158/9783864905919-bi-%26-analytics-in-der-cloud.html11

12
inovex ist ein IT-Projekthaus
mit dem Schwerpunkt „Digitale Transformation“:
Product Ownership · Datenprodukte
Web · Apps · Smart Devices · BI
Big Data · Data Science · Search
Replatforming · Cloud · DevOps
Data Center Automation & Hosting
Trainings · Coachings
Wir nutzen Technologien,
um unsere Kunden glücklich zu machen.
Und uns selbst.
inovex gibt es in Karlsruhe · Pforzheim ·
Stuttgart · München · Köln · Hamburg
Und natürlich unter www.inovex.de

Weitere ähnliche Inhalte

Mehr von inovex GmbH

Der Talk auf der Konferenz „Talk4Nerds“ der R+V Versicherung bot eine Einführung in Prometheus als Monitoring-Lösung. Dabei ging inovexler Christoph auf die Anforderungen an ein modernes Monitoring Tool ein, wie Prometheus diesen Anforderungen entspricht und warum es zum defacto Standard im Kubernetes-Umfeld geworden ist. Abschließen beleuchtete Christoph die Non-Goals und wie man diese mit zusätzlichen Tools dennoch erreichen kann. Speaker: Christoph Petrausch (inovex) Event: Talk4Nerds Datum: 29.04.2019 Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Prometheus on Kubernetes

inovex GmbH

Recommender systems support the decision making processes of customers with personalized suggestions. These widely used systems influence the daily life of almost everyone across domains like ecommerce, social media, and entertainment. However, the efficient generation of relevant recommendations in large-scale systems is a very complex task. In order to provide personalization, engines and algorithms need to capture users’ varying tastes and find mostly nonlinear dependencies between them and a multitude of items. Enormous data sparsity and ambitious real-time requirements further complicate this challenge. At the same time, deep learning has been proven to solve complex tasks like object or speech recognition where traditional machine learning failed or showed mediocre performance. Join Marcel Kurovski to explore a use case for vehicle recommendations at mobile.de, Germany’s biggest online vehicle market. Marcel shares a novel regularization technique for the optimization criterion and evaluates it against various baselines. To achieve high scalability, he combines this method with strategies for efficient candidate generation based on user and item embeddings—providing a holistic solution for candidate generation and ranking. The proposed approach outperforms collaborative filtering and hybrid collaborative-content-based filtering by 73% and 143% for MAP@5. It also scales well for millions of items and users returning recommendations in tens of milliseconds. Event: O'Reilly Artificial Intelligence Conference, New York, 18.04.2019 Speaker: Marcel Kurovski, inovex GmbH Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Deep Learning for Recommender Systems

inovex GmbH

In seinem Meetup Talk berichtete Maximilian von den aktuellen Problemen von Cloud Computing – insbesondere im Internet of Things – und wie diese durch Edge Computing mitigiert werden können. Er erklärte, wie eine generische Edge-Computing-Architektur aussehen kann und zeigte Anwendungsfälle, von denen manche auch schon in existierenden Produkten umgesetzt sind. Im Anschluss stellte er Azure IoT Edge vor und erläuterte, wie es das bestehende IoT Framework von Microsoft erweitert sowie die Grundkonzepte, die IoT Edge bereitstellt. Auch die Probleme in dem noch jungen Produkt wurden angesprochen, aber auch die Vorteile und Features, die es liefert. In der gemeinsamen Demo mit Eli haben dann beide Speaker die technischen Details von Azure IoT Edge gezeigt und demonstriert, beispielsweise wie Code automatisiert von einer CI/CD-Pipeline in Azure DevOps auf ein IoT-Gerät deployed werden kann. Event: inovex Meetup, 12.03.& 19.03.2019 Speaker: Maximilian Bischoff, inovex Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Azure IoT Edge

inovex GmbH

Es liegt in der Natur des Menschen das Unvorhersehbare vorherzusagen: Wetter, Aktienkurse, Krankheitsverläufe, die Reaktion eines Menschen. Neueste Deep Learning Ansätze sind in der Lage solche sequentielle Sachverhalte immer genauer zu prognostizieren, setzen aber auch immer größere Datenmengen und Rechenleistungen voraus, die sowohl in Forschung als auch in der Praxis häufig nicht vorliegen. Wie kann man gute Ergebnisse erreichen, wenn nur wenig Daten vorliegen? Marisa Mohr stellte in ihrem Vortrag einen neuen und vielversprechenden informationstheoretischen Ansatz zum Feature Learning von sequentiellen Daten vor, der potenziell auch mit wenigen Daten auskommt. Dabei ging es speziell um ordinale Muster in Zeitreihen, wie sie beispielsweise als Veränderung von Emotionen im Gesprächsverlauf zu finden sind. Eine solche Entwicklung ist für Menschen in der Regel leicht zu erkennen. Chatbots hingegen können nicht intuitiv auf solche Emotionsverläufe reagieren, sondern müssen entsprechend programmiert werden. Details: Deep-Learning-Ansätze wie LSTMs, RNNs oder TCNs haben sich im Umgang mit sequentiellen Daten bewährt. Neuronale Netzwerke sind tief im technischen Sinn, weil sie mehrere (verborgene) Schichten besitzen, aber nicht weil sie ein tiefes Verständnis von Problemen entwickeln. In diesem Vortrag stellte Marisa einen symbolischen informationstheoretischen Ansatz des Representation Learnings von Zeitreihen vor und damit eine Möglichkeit, konzeptionelle Schichten zu konstruieren. Die Idee hinter der sogenannten Permutationsentropie besteht darin, anstelle der Werte einer Zeitreihe die Ordnungsrelation zwischen den Werten zu betrachten, und so auf das natürliche Auf und Ab des zugrundeliegenden dynamischen Systems zurückzugreifen. Event: inovex Meetup: Das Unvorhersehbare vorhersagen: Zeitreihen und Chatbots, 26.03.2019 Speakerin: Marisa Mohr (inovex) Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Representation Learning von Zeitreihen

inovex GmbH

Menschliche Kommunikation folgt zwar einer ganzen Reihe von Regeln, diese lassen sich aber schwer formalisieren. Nicht zuletzt deshalb, weil in unseren Interaktionen immer auch eine Fülle von Welt- und implizitem Kontextwissen eine Rolle spielt. Rein regelbasierte Chatbots sind daher nicht nur äußert komplex in der Programmierung, sondern stoßen in vielen Anwendungsbereichen schnell an ihre Grenzen. In diesem Vortrag gab Anna Weißhaar einen Überblick über die aktuellen Lösungen und Herausforderungen im Bereich digitale Assistenten. Der Fokus lag dabei auf Ansätzen, die Chatbots „chatty“ machen, sie also möglichst adäquat auf im Voraus unbekannte Nutzereingaben reagieren zu lassen. Event: inovex Meetup: Das Unvorhersehbare vorhersagen: Zeitreihen und Chatbots, 26.03.2019 Speaker: Anna Weißhaar (inovex) Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Talk to me – Chatbots und digitale Assistenten

inovex GmbH

Nicht zuletzt durch die medienwirksame Erfolge des maschinellen Lernens durch DeepMind, OpenAI und Kollegen ist Künstliche Intelligenz im Moment wieder in aller Munde. Einerseits locken zahlreiche neue, vorher undenkbare Anwendungen wie die automatische Diagnose von Krankheiten, autonome Fahrzeuge und Drohnen, oder die automatische Übersetzung gesprochener Wörter. Andererseits warnen mahnenden Stimmen wird vor dem zunehmendem Einflussnahme der „Algorithmen“ auf fast alle Bereiche unseres Lebens sowie vor unerwünschten Folgen von sich verselbstständigenden Computern gewarnt. Einige träumen von – oder fürchten sich vor – der vermeintlich unausweichlichen Singularität, an der sich nichts weniger als das Schicksal der gesamten Menschheit entscheiden wird. Doch was verbirgt sich hinter dem Begriff Künstliche Intelligenz? Je nachdem, wen man fragt, erhält man unterschiedliche, bisweilen gegensätzliche Antworten. Dieser Vortrag stellt einige dieser Antworten vor und versucht sie (nicht nur) anhand von Beispielen aus Forschung und Anwendung einzuordnen. Event: Business Analytics Day, 07.03.2019 Speaker: Dr. Matthias Richter, Dr. Stefan Igel (inovex) Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Künstlich intelligent?

inovex GmbH

In den letzten drei Jahren haben wir die Infrastruktur der Fernseh-Plattform waipu.tv gebaut. Dabei haben wir angefangen Tools für den Betrieb in Golang zu schreiben. Aus einigen der Tools wurden Core-Services, die auch die Last einer Fußball-WM-Übertragung locker wegstecken. Wir wollen euch zeigen, wie wir mit der selben Tool-Chain (Golang & Co) Betriebs-Probleme lösen und kritische Business-Applikationen entwickeln. Klassisch DevOps oder Golden Hammer? Speaker: Christoph Petrausch, Igor Lankin (beide inovex) Event: DevOpsConference, 04.12.2018 Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Dev + Ops = Go

inovex GmbH

Das Android Open Source Project, kurz AOSP, ist das Betriebssystem, das auf den meisten heutigen und wahrscheinlich auch auf deinem Smartphone läuft. Es ist die Basis für das Android-App-Universum und wird von Millionen Nutzern und Entwicklern auf der Welt verwendet. Wegen der offenen Verfügbarkeit des Source Codes ist es auch die Basis für bekannte Custom ROMs wie LineageOS. Der erste Teil des Talks gab eine Übersicht über die Architektur des Betriebssystems, das App-Ökosystem, den Hardware Abstraction Layer (HAL), die Sicherheitskonzepte und einige neue Betriebssystementwicklungen wie Project Treble in Android 8.0. Der zweite Teil des Talks gab einen Einblick in den Quellcode und die Struktur des AOSP: Wie lädt man sich den Source Code herunter, wie baut man das AOSP für unterstützte Geräte und wie kann man die eigenen ROMs auf ein Smartphone flashen? Zum Spaß wurde auch noch in einige Implementierungsdetails von Android-App-API-Funktionen geblickt, die man als App Developer schon aufgerufen hat. Speaker: Stefan Lengfeld, inovex Event: inovex Meetup Köln, 23.10.2018 Mehr Tech-Vorträge: www.inovex.de/vortraege Mehr Tech-Artikel: www.inovex.de/blog

Das Android Open Source Project

inovex GmbH

Interpretable Machine Learning describes the process of revealing causes of predictions and explaining a derived decision in a way that is understandable to humans. The ability to understand the causes that lead to a certain prediction enables data scientists to ensure that the model is consistent to the domain knowledge of an expert. Furthermore, interpretability is critical to obtain trust in a model and to be able to tackle problems like unfair biases or discrimination against particular subgroups. This talk covers an introduction to the concept of interpretability and an overview of popular interpretability techniques. Speaker: Marcel Spitzer, inovex Event: Kaggle Munich Meetup, 20.11.2018 Mehr Tech-Vorträge: www.inovex.de/vortraege Mehr Tech-Artikel: www.inovex.de/blog

Machine Learning Interpretability

inovex GmbH

Online vehicle marketplaces are embracing artificial intelligence to ease the process of selling a vehicle on their platform. The tedious work of copying information from the vehicle registration document into some web form can be automated with the help of smart text-spotting systems, in which the seller takes a picture of the document, and the necessary information is extracted automatically. Florian Wilhelm details the components of a text-spotting system, including the subtasks of object detection and optical character recognition (OCR). Florian elaborates on the challenges of OCR in documents with various distortions and artifacts, which rule out off-the-shelf products for this task. After offering an overview of semisupervised learning based on generative adversarial networks (GANs), Florian evaluates the performance gains of this method compared to supervised learning. More specifically, for a varying amount of labeled data, he compares the accuracy of a convolution neural network (CNN) to a GANthat uses additional unlabeled data during the training phase, showing that GANs significantly outperform classical CNNs in use cases with a lack of labeled data. What you'll learn: Understand how semisupervised learning with GANs works Explore beneficial semisupervised methods based on GANs for use cases with a limited amount of labeled data Gain insight into an interesting OCR use case of an online vehicle marketplace Event: O'Reilly Artificial Intelligence Conference, London, 11.10.2018 Speaker: Dr. Florian Wilhelm Mehr Tech-Vorträge: www.inovex.de/vortraege Mehr Tech-Artikel: www.inovex.de/blog

Performance evaluation of GANs in a semisupervised OCR use case

inovex GmbH

IT im 21. Jahrhundert – What a time to be alive! Es gibt einen (unüberschaubaren) Zoo an Methoden und Produkten die uns so viel Freude an der Arbeit bereiten! Sie sind modern, weil sie neu sind. Sie fordern unser Können heraus, weil sie komplex sind. Sie lösen einige Probleme, die wir vorher nicht hatten. Jeder will sie verwenden, weil Google, Netflix & Co. sie propagieren und Hand auf’s Herz: Will nicht jeder gerne so arbeiten wie Google, Netflix & Co.? Aber macht das wirklich Sinn? In diesem Vortrag blicken wir auf diverse Erkenntnisse aus dem Einsatz agiler Produktentwicklung, DevOps, Continuous Integration/Delivery, Infrastructure as Code, Immutable Infrastructure (bspw. Docker/Kubernetes), Application Logging und Service Monitoring. Learning Goals: - Wir müssen den Einsatz von Methoden und Tools an die Menschen ausrichten, die sie (weiter-)entwickeln und benutzen sollen. - Manchmal lösen wir mit neuen Tools Probleme, die wir vorher nicht hatten. - Die Suche nach einfachen Lösungen für komplexe Probleme ist essentiell, aber nicht immer einfach. Event: Continuous Lifecycle, 15.11.2018 Speaker: Arnold Bechtoldt Mehr Tech-Vorträge: www.inovex.de/vortraege Mehr Tech-Artikel: www.inovex.de/blog

People & Products – Lessons learned from the daily IT madness

inovex GmbH

Pulumi (pulumi.io) offers an open source platform to create/manage and deploy your infrastructure in realy programming languages like JavaScript/TypeScript, Go and Python. As Cloud platforms the major 3 cloud providers are supported and additionally you can also use Pulumi with OpenStack and Kubernetes to deploy your applications in the cloud. In this talk we will take a look how Pulumi is different to traditional solutions like Terraform or the Cloud Provider specific solutions (e.g. CloudFormation). The main focus will be on deploying your services on top of Kubernetes. The talk will contain a little theory part about Pulumi, the rest of the talk is more focused on demos and practical parts. One focus of the talk is the difference of Pulumi to kubectl and helm (or to be precise how they complement each other. As a takeaway of this talk you should understand the basics of Pulumi and know what are the differences to the traditional deployment tools. Event: CNCF Meetup Hamburg & Stuttgart, 29.10.2018 & 07.11.2018 Speaker: Johannes M. Scheuermann, inovex Mehr Tech-Vorträge: https://www.inovex.de/de/content-pool/vortraege/ Mehr Tech-Artikel: https://www.inovex.de/blog/

Infrastructure as (real) Code – Manage your K8s resources with Pulumi

inovex GmbH

Am besten Softwareprojekt der Welt mitarbeiten, egal, wo man sich gerade befindet? Architektur- und Designentscheidungen treffen, obwohl man gerade nicht zusammen vor einem Whiteboard mit Filzstiften steht? Knifflige Probleme im Produktionsbetrieb ad hoc zusammen lösen, obwohl man sich nicht mal schnell was über den Tisch zurufen kann? Daily, Review, Retro – von zu Hause aus? Nichts verpassen, obwohl man sich nicht in einem Büro mit anderen Kollegen aufhält? Arbeit erledigt bekommen, obwohl einem der Chef nicht über die Schulter gucken kann? Dieser Talk stellt den Remote-First-Ansatz in unserem Projekt vor, mit dem wir offenbar einen Weg gefunden haben, all diese Fragen mit "ja" beantworten zu können. Event: W-JAX 2018 Speaker: Tobias Bayer, inovex Mehr Tech-Vorträge: https://www.inovex.de/de/content-pool/vortraege/ Mehr Tech-Artikel: https://www.inovex.de/blog/

Remote First – Der Arbeitsplatz in der Cloud

inovex GmbH

Wer professionell Datenprodukte bereitstellen möchte, benötigt Plattformen für Data Science, Machine Learning und AI, die Nachvollziehbarkeit, Reproduzierbarkeit, Flexibilität und Skalierbarkeit gewährleisten. Dazu werden skalierbare Storage- und Compute-Kapazitäten genauso benötigt wie eine Workflowsteuerung für ML-Pipelines, ein Analysefrontend oder ein Metadatenmanagement. Wir zeigen, wie auf Basis von Kubernetes eine solche Plattformen aufgebaut werden kann, die sich durch CI/CD-Pipelines flexibel konfigurieren lässt und verschiedene ML-Frameworks und Programmiersprachen unterstützt. Vorkenntnisse Grundlegendes Verständnis von Daten, Data-Science-Prozessen und Container-Plattformen ist hilfreich. Lernziele Die Zuhörer haben einen Überblick über die Anforderungen an Data-Science-Plattformen und wie eine Architektur mit Kubernetes aussehen kann. Event: data2day, 26.09.2018 Speaker: Dr. Stefan Igel, Hans-Peter Zorn Mehr Tech-Vorträge: https://www.inovex.de/de/content-pool/vortraege/ Mehr Tech-Artikel: https://www.inovex.de/blog/

Data Science und Machine Learning im Kubernetes-Ökosystem

inovex GmbH

Der Deutschen liebstes Kind ist nicht etwa der Hund oder das Auto, sondern ganz eindeutig der Tatort am Sonntagabend. Wenn man die App waipu.tv entwickelt, mit der die Kund*innen fernsehen und Aufnahmen machen können, ist diese Erkenntnis von entscheidender Bedeutung. Denn wie stellt man es an, dass sowohl das Backend als auch die Entwickler*innen während dieser Lastspitzen nicht ins Schwitzen kommen? Der Vortrag zeigt einige Best Practices aus dem realen Leben und könnte dabei Spuren von Microservices, DevOps, AWS, Monitoring, GitLab CI, Terraform etc. enthalten. Speaker: Michael Bruns, inovex Event: x-celerate, 09.10.2018 Mehr Tech-Vorträge: https://www.inovex.de/de/content-pool/vortraege/ Mehr Tech-Artikel: https://www.inovex.de/blog/

TTD Tatort-driven Development

inovex GmbH

The requirements of many modern data platforms develop along two directions: (1) Low latency, i.e. the shift from batch-oriented to event-driven processes, which facilitate much more timely and reactive insights; and (2) complex analytics, i.e. the ability to efficiently apply analytic functions or models to the incoming data streams. However, many companies don't start from scratch, and already have well-established data infrastructure and processes with various degrees of affinity and compatibility to these novel paradigms. Based on extensive experience of building data platforms with customers, we describe in this talk some key challenges and aspects of introducing streaming-based approaches in real-world productive environments. These include e.g. integrating existing batch-oriented data sources and APIs, checking consistency when using event sourcing to exchange data, and building realtime analytical visualizations. For all cases, architectural options are discussed, and the final solution is explained, including technologies like Apache Nifi, Airflow, Phoenix, Druid and the Confluent Platform. We close the talk by describing non-technical aspects like building up an event-driven mindset among analysts. Speaker: Dr. Dominik Benz, inovex Event: Confluent Meetup, 08.10.2018 Mehr Tech-Vorträge: https://www.inovex.de/de/content-pool/vortraege/ Mehr Tech-Artikel: https://www.inovex.de/blog/

Down the event-driven road: Experiences of integrating streaming into analyti...

inovex GmbH

In seiner Brownbag sprach inovexler Johann über die Verwendung von TypeScript in einer React-Anwendung. Als Java-Land Immigrant mit Typisierungshintergrund, fällt es einem in der neuen JavaScript-Welt erstmal schwer auf etablierte Refactoring-Traditionen und die gute, alte Code-Literatur zu verzichten. TypeScript bringt verloren geglaubte Möglichkeiten zurück und ist auch zu React eine willkommene Bereicherung. In diesem Vortrag wird gezeigt, wie man möglichst einfach ein React-Projekt mit TypeScript aufsetzt, einfache Typisierungsregeln etabliert und bekannte Bibliotheken integriert. Event: Brownbag bei inovex Speaker: Johann Böhler, inovex Datum: 25.06.2018 Weitere Tech-Vorträge: https://www.inovex.de/de/content-pool/vortraege/ Weitere Tech-Artikel: www.inovex.de/blog

React mit TypeScript – eine glückliche Ehe

inovex GmbH

If you want to provide Kubernetes on your bare-metal infrastructure you need to configure and manage multiple components, like PKI, DHCP, iPXE and some more. Deploying your infrastructure as immutable without SSH access will confront you with some additional challenges, because traditional configuration management tools like Puppet or Ansible require SSH access to each node. Within the scope of this workshop we will present you a practicable way to manage your bare-metal Kubernetes clusters by the use of a CI/CD-driven approach, including Gitlab CI, Terraform, Confd, Vault and some others. As an extra we will keep a fully functional local development setup ready, so you can gain real hands-on experience. The whole configuration is written in code (Infrastructure as Code – IaC) and will automatically update all components the moment you update your configuration. Der komplette Workshop ist hier zu finden: https://github.com/inovex/fluffy-unicorn Speaker: Johannes M. Scheuermann Event: ContainerDays 2018 Mehr Tech-Vorträge: https://www.inovex.de/de/content-pool/vortraege/ Mehr Tech-Artikel: https://www.inovex.de/blog/

Manage your bare-metal infrastructure with a CI/CD-driven approach

inovex GmbH

Heutzutage soll eigentlich alles, was einen Stecker hat, über die Cloud vernetzt werden. Wir haben professionelle Küchengeräte mit Hilfe von MQTT an die Wolke angeschlossen und stellen unsere Vorgehensweise und Lessons Learned beim Einsatz des Protokolls vor. Außerdem erzählen wir ein wenig darüber, wie traditionelle Geräteentwicklung und agile Softwareentwicklung zusammenarbeiten und was man vielleicht noch verbessern könnte. Gekocht wird weltweit, und MQTT als Kommunikationsprotokoll erfüllt hierbei einige der notwendigen Bedürfnisse. Stolpersteine im Konzept gibt's aber auch dort, so dass man nie Langeweile verspürt. Ein Ausblick zu MQTT 5 zeigt, dass die Probleme erkannt wurden. Vorkenntnisse Keine besonderen Vorkenntnisse erforderlich. Besucher sollten an Erfahrungen bei der Umsetzung von IoT-Projekten interessiert sein und z.B. potentiell planen, MQTT im eigenen Projekt einzusetzen. Lernziele * Zusammenarbeit zwischen Hardwareentwicklung und SW-Entwicklung ist einer der Erfolgsfaktoren. Einige der Herausforderungen beim Einsatz von MQTT werden verdeutlicht. * Der Open-Source-MQTT-Broker emq kann produktiv eingesetzt werden. Speaker: Gerrit Brehmer, inovex Event: buildingIoT 2018 Mehr Tech-Vorträge: https://www.inovex.de/de/content-pool/vortraege/ Mehr Tech-Artikel: https://www.inovex.de/blog/

Connected Cooking powered by MQTT

inovex GmbH

Für unsere Kunden entwickeln wir in Projekten Applikationen und die dafür notwendige Infrastruktur. Oft betreiben wir diese Infrastruktur auch über mehrere Monate oder Jahre hinweg und entwickeln diese technologisch weiter. Dabei sammeln wir viele wertvolle und teils unerwartete Erfahrungen. In einem dieser Projekte haben wir eng mit dem MQTT-Spezialisten dc-square (HiveMQ) zusammengearbeitet um für den Kunden ein Broker-Cluster als zentrale geschäftskritische Messaging-Plattform aufzusetzen und zu etablieren. Das Sammeln und Visualisieren der vielen Monitoring-Metriken sowie Logs war für uns von Anfang an eine wichtige Herangehensweise um, mit den durchwachsenen Anforderungen des Kunden, die Clients und Workflows zu verstehen und den Problemen im Tagesgeschäft Herr zu werden. Dieser Vortrag beleuchtet zentrale “Lessons Learned” und teils offene Fragestellungen aus ca. 2 Jahren MQTT-Broker-Betrieb in Production. Vorkenntnisse Grundlegendes Verständnis über Anforderungen und Eigenschaften moderner Webapplikationen bzw. web-basierten IT-Architekturen. Lernziele In diesem Vortrag werden wichtige Aspekte und Herausforderungen + Lösungen beim Aufsetzen und den Betrieb eines MQTT Message Brokers (HiveMQ) vorgestellt. Speaker: Arnold Bechtoldt, inovex Event: buildingIoT 2018 Mehr Tech-Vorträge: https://www.inovex.de/de/content-pool/vortraege/ Mehr Tech-Artikel: https://www.inovex.de/blog/

MQTT in the Enterprise – How to successfully run an MQTT Message Broker

inovex GmbH

Mehr von inovex GmbH (20)

Prometheus on Kubernetes

Deep Learning for Recommender Systems

Azure IoT Edge

Representation Learning von Zeitreihen

Talk to me – Chatbots und digitale Assistenten

Künstlich intelligent?

Dev + Ops = Go

Das Android Open Source Project

Machine Learning Interpretability

Performance evaluation of GANs in a semisupervised OCR use case

People & Products – Lessons learned from the daily IT madness

Infrastructure as (real) Code – Manage your K8s resources with Pulumi

Remote First – Der Arbeitsplatz in der Cloud

Data Science und Machine Learning im Kubernetes-Ökosystem

TTD Tatort-driven Development

Down the event-driven road: Experiences of integrating streaming into analyti...

React mit TypeScript – eine glückliche Ehe

Manage your bare-metal infrastructure with a CI/CD-driven approach

Connected Cooking powered by MQTT

MQTT in the Enterprise – How to successfully run an MQTT Message Broker

Mehrwerte von Cloud-Services in hybriden DWH-Architekturen

1. Mehrwerte von Cloud-Services in hybriden DWH-Architekturen Stefan Kirner Stuttgart, 29.11.2018

2. 2 Stefan Kirner Teamleiter Business Intelligence Solutions bei der inovex GmbH › Mehr als 17 Jahre Erfahrung in Business Intelligence › Microsoft Certified Systems Expert (MCSE) Data Management & Analytics sowie Cloud Platform & Infrastructure › Microsoft P-TSP Data Platform › Leitung SQL PASS e.V. Community Karlsruhe › Sprecher bei Konferenzen und User Groups zu BI- und Cloud-Themen › Mail: stefan.kirner@inovex.de Twitter: @KirnerKa

3. › Einfacher Start möglich › Skalierbarkeit › Technologievielfalt › Agiles Setup › Entlastung IT › Schnelle Innovationszyklen › Optimierung von Betriebskosten › Globale Szenarien › Erhöhte Ausfallsicherheit › Flexibilität für Testumgebungen Plattformvorteile Cloud BI Was spricht für die Nutzung von Cloud?

4. Connectivity in die Cloud Einfacher Start möglich • Virtual Private Network vs Gateways • Bei GW veinfachtes Setup da dedizierte Funktion • Sicherheit durch verschlüsselte Verbindungen • Nutzung Standard-Ports • Initiales Laden über Abhol- Service möglich 4 SAP Data Gateway

5. Skalierbarkeit in der Cloud big data != big IT problems • Skalierung fast gegen unendlich möglich • Oft genutzt für Cloud- born Data • Ergebnisse auch on-prem nutzbar • Hoher Abstraktionsgrad erleichtert Einstieg auch in komplexe Systeme 5 SAP

6. Optimierung von Betriebskosten Synergieeffekte und Elastizität • Keine hohen Start- Investitionen / geringe Kapitalbindung • Managed Services sparen IT-Betrieb • Kostenoptimierung durch zeitliche Steuerung von Resourcenbedarf • Beispiel Auslagerung Historie in die Cloud 6 DWH: Hot Data DWH: Cold Data data data data data data data data data data data $ $$$

7. Globale Sammlung und Nutzung von Daten Für die Entwicklung von Datenprodukten • Dezentrale Daten zentral nutzen und anreichern durch verbundene RZs • Zentrales Management der Business Logic • Optimale Basis für Machine Learning- Trainingsdaten • Z.B. Predictive Maintenance Modelle für Maschinenbauer 7 North US India Europe

8. Cloud Edge Computing Echtzeit-Szenarien im IIoT Bereich • Verwendung gleicher Analytics Technologien & Code Cloud/on-prem • Bei geringer Latenz • Management über Container-Technologien (Docker & Co.) • In der Cloud trainierte Modelle on-prem einsetzen 8 Edge device

9. › Viele Datentöpfe on-premises › Datenschutz Diskussion › Schnelle Weiterentwicklung – teilweise geringerer Reifegrad › Evergreening führt zu Verwirrungen › Neue Pattern und Tools notwendig › Intransparenz & erschwerte Fehlersuche durch Abstraktion › Finanzierungsmodell teils kaufmännisch schwierig Plattform-“Herausforderungen“ Cloud BI Wo Licht ist…

10. Fazit • Erweiterung des Business Intelligence Spielfelds • Schneller Einstieg auch in komplexe Technologien • Erschwingliches Ausprobieren hoch skalierender Systeme • Schnelle Weiterentwicklung der Dienste als Garant für Innovation Cloud BI - Give it a try! 10

11. Buch: BI und Analytics in der Cloud Architektur, Vorgehen und Praxis • Neu-Erscheinung im Oktober 2018, 262 Seiten • Sammlung von Autorenbeiträgen zum Thema • Kapitel: „Mehrwerte von Cloud Services in hybriden Data- Warehouses“ von Stefan Kirner https://www.dpunkt.de/buecher/13158/9783864905919-bi-%26-analytics-in-der-cloud.html11

12. 12 inovex ist ein IT-Projekthaus mit dem Schwerpunkt „Digitale Transformation“: Product Ownership · Datenprodukte Web · Apps · Smart Devices · BI Big Data · Data Science · Search Replatforming · Cloud · DevOps Data Center Automation & Hosting Trainings · Coachings Wir nutzen Technologien, um unsere Kunden glücklich zu machen. Und uns selbst. inovex gibt es in Karlsruhe · Pforzheim · Stuttgart · München · Köln · Hamburg Und natürlich unter www.inovex.de

Mehrwerte von Cloud-Services in hybriden DWH-Architekturen

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Mehr von inovex GmbH

Mehr von inovex GmbH (20)

Mehrwerte von Cloud-Services in hybriden DWH-Architekturen