Vorgehensmodelle - Methoden der WirtschaftsinformatikClaus Brell
Vorgehensmodelle sind fester Bestandteil der Methodik der Softwareentwicklung. Kenntnisse über Vorgehensmodelle gehören zum selbstverständlichen Handwerkszeug des Wirtschaftsinformatikers. An der Hochschule Niederrhein lernen Studierende Vorgehensmodell im zweiten Semester kennen. Wichtig ist, den grundsätzlichen Unterschied von phasenorientierten und nahtlos zu klassischem Projektmanagement passenden Vorgehensmodellen und agilen Vorgehensweisen herauszuarbeiten.
Maschinelles Lernen (ML / Machine Learning) ist ein essentielles Kernstück der modernen Künstlichen Intelligenz (KI) und hilft unseren Programmen immer besser ("intelligenter") zu werden indem man wiederkehrend Erfahrungen (Daten) sammelt, die durch geschickte ML-Algorithmen viele nützliche Aufgaben wie z.B. Stimmungsanalyse, Objekt-Erkennung und Klassifikation, Preis- bzw. Verkaufsvorhersage uvm. erledigen lassen. Aber was muss man machen, um all das in einem .NET Programm zu ermöglichen - Python lernen, KI-Dienst konsumieren? Nicht unbedingt! Es gibt einen kürzeren Weg - ML.NET als ein open-source und plattformübergreifendes Framework für maschinelles Lernen, das speziell für .NET Entwickler gebaut ist. Damit kann jeder eigene ML-Modelle bauen, ohne vertrautes .NET Eco-System verlassen zu müssen. Teilnehmer dieser Session werden erfahren wie man typische KI-Aufgaben mit ML.NET schnell und einfach löst, spezifische Modelle mit einem brandneuen AutoML-Werkzeug ML.NET Model Builder erstellt und eine Brücke zu populären ML-Frameworks wie z.B. Tensorflow, Infer.NET, ONNX uvm. baut.
Analytics meets Big Data – R/Python auf der Hadoop/Spark-PlattformRising Media Ltd.
Big Data verändert nicht nur die Unternehmens-IT fundamental, sondern auch die Arbeit des Analysten. Die klassischen Analysten sehen sich im Zuge des Wandels zu einer datengetriebenen Unternehmenskultur mit neuen Anforderungen und ungewohnten technologischen Plattformen konfrontiert. Sie müssen als Data Scientist fachliche Fragestellungen unter dem Aspekt der Big Data-Technologien umsetzen, visualisieren und aus den Daten Werte generieren. Anhand eines konkreten Use Cases, der Programmierung eines Recommender-Systems, zeigen wir Ansätze, wie sich die gewohnten Vorgehensweisen und Werkzeuge eines Analysten (namentlich R und Python) mit einer Big Data-Technologie (Spark) kombinieren lassen. Ziel ist es, dem Analysten den Einstieg in die Big Data-Welt zu erleichtern. Wir demonstrieren die Arbeit mit diesem Toolset an anschaulichen Beispielen in einem interaktiven Workshop-Format und laden zur Diskussion und Nachahmung dieser Vorgehensweise ein. Der Workshop richtet sich an Teilnehmer mit Grundkenntnissen aus den Bereichen analytische Methoden und Machine Learning sowie R oder Python. Der Workshop wird auf der Spark-Plattform durchgeführt. Zu Spark werden keine Kenntnisse vorausgesetzt.
Machine Learning ist eine Art von Software-Entwicklung, bei der man nicht direkt Code schreibt, sondern ein Modell anhand von Daten trainiert. Das kann in Situationen von Vorteil sein, in denen man keinen passenden Code schreiben kann oder dieser extrem komplex werden würde. TensorFlow ist das bekannteste Framework im Bereich Neuronaler Netzwerke mit dem man solche Modell erzeugen und nutzen kann. TensorFlow.js (https://js.tensorflow.org/api/latest/) implementiert die volle API von TensorFlow mit JavaScript und erlaubt sowohl die Ausführung, als auch das Training von Neuronalen Netzwerken auf jeder GPU.
Im ersten Teil des Workshops werden wir ein Modell zur Bilderkennung in einer grafischen Webanwendung trainieren und in einer eigenen Anwendung zum Laufen bringen. Hier geht es um die Grundlagen von Machine Learning und den Teil der TensorFlow.js API zum Ausführen eines Modells.
Im zweiten Teil werden wir ein eigenes Modell mit der TensorFlow.js API trainieren und als Teil einer JS-Anwendung integrieren.
Es sind keine Vorkenntnisse nötig und zur Teilnahme wird lediglich eine beliebige IDE zur Entwicklung von JavaScript benötigt.
Agile Oracle database modeling and development - APEX Connect 2020Torsten Kleiber
We try to develop our features agile in branches and to merge them when they are ready for use.
Test Driven Development is on everyone's lips in Java and other languages.
Whether we develop ADF or JET or Spring, we try to apply these techniques in many places.
But what is the real foundation of most of our applications?
That is the Oracle database with its data model and its programming language PL/SQL!
Again and again you hear that merging data model scripts and PL/SQL programs are not practical.
But how are we supposed to develop our frontend according to these techniques if we don't start with it in the backend?
In the presentation I will show you how you can develop your data model and your programs in the database in an agile and test-driven way from the request to the refactoring.
You will see how tools like Git, Liquibase and utPLSQL work together.
Applikationsmodernisierung: Der Weg von Legacy in die CloudAarno Aukia
Stell Dir vor: Du willst einen 6000er besteigen. Eine gute Vorbereitung, gutes Material und professionelles Wissen sind dabei unabdingbar.
Du schnappst Dir einen Berg-Guide, der Dich bei schwierigen Passagen unterstützt und Dir das passende Know-How weitergibt. Das schwere Material kannst Du auf ein Team aufteilen, das genau weiss, welche Pakete Du am sinnvollsten schnürst. Sie zeigen Dir zudem, welchen unnötigen Ballast Du abwerfen kannst.
Am Ende stehst Du am Ziel – Dich erwartet ein grossartiges Resultat und die Zufriedenheit des Vollbrachten.
Genau so fühlt sich die Reise Deiner Legacy Applikation an.
Im Webinar zeigen Dir die drei Partnerfirmen Object Engineering, Puzzle und VSHN, wie Du Deine Applikationen fit hältst. Dabei geben sie Dir einen Einblick, wie Experten die Applikationen analysieren, aufpeppen und den Betrieb sicherstellen können.
Ich will agil testen! was muss ich können iqnite 2014 - verison 2.0Michael Fischlein
Welche Auswirkung hat eine agiler Softwareentwicklungsprozess auf den Softwaretest und die Qualitätssicherung? Welche Änderungen muss man beachten und wie muss und kann man Softwaretester auf diese Veränderungen vorbereiten.
Dieser Vortrag wurde auf der iqnite 2014 von Michael Fischlein gehalten.
Vorgehensmodelle - Methoden der WirtschaftsinformatikClaus Brell
Vorgehensmodelle sind fester Bestandteil der Methodik der Softwareentwicklung. Kenntnisse über Vorgehensmodelle gehören zum selbstverständlichen Handwerkszeug des Wirtschaftsinformatikers. An der Hochschule Niederrhein lernen Studierende Vorgehensmodell im zweiten Semester kennen. Wichtig ist, den grundsätzlichen Unterschied von phasenorientierten und nahtlos zu klassischem Projektmanagement passenden Vorgehensmodellen und agilen Vorgehensweisen herauszuarbeiten.
Maschinelles Lernen (ML / Machine Learning) ist ein essentielles Kernstück der modernen Künstlichen Intelligenz (KI) und hilft unseren Programmen immer besser ("intelligenter") zu werden indem man wiederkehrend Erfahrungen (Daten) sammelt, die durch geschickte ML-Algorithmen viele nützliche Aufgaben wie z.B. Stimmungsanalyse, Objekt-Erkennung und Klassifikation, Preis- bzw. Verkaufsvorhersage uvm. erledigen lassen. Aber was muss man machen, um all das in einem .NET Programm zu ermöglichen - Python lernen, KI-Dienst konsumieren? Nicht unbedingt! Es gibt einen kürzeren Weg - ML.NET als ein open-source und plattformübergreifendes Framework für maschinelles Lernen, das speziell für .NET Entwickler gebaut ist. Damit kann jeder eigene ML-Modelle bauen, ohne vertrautes .NET Eco-System verlassen zu müssen. Teilnehmer dieser Session werden erfahren wie man typische KI-Aufgaben mit ML.NET schnell und einfach löst, spezifische Modelle mit einem brandneuen AutoML-Werkzeug ML.NET Model Builder erstellt und eine Brücke zu populären ML-Frameworks wie z.B. Tensorflow, Infer.NET, ONNX uvm. baut.
Analytics meets Big Data – R/Python auf der Hadoop/Spark-PlattformRising Media Ltd.
Big Data verändert nicht nur die Unternehmens-IT fundamental, sondern auch die Arbeit des Analysten. Die klassischen Analysten sehen sich im Zuge des Wandels zu einer datengetriebenen Unternehmenskultur mit neuen Anforderungen und ungewohnten technologischen Plattformen konfrontiert. Sie müssen als Data Scientist fachliche Fragestellungen unter dem Aspekt der Big Data-Technologien umsetzen, visualisieren und aus den Daten Werte generieren. Anhand eines konkreten Use Cases, der Programmierung eines Recommender-Systems, zeigen wir Ansätze, wie sich die gewohnten Vorgehensweisen und Werkzeuge eines Analysten (namentlich R und Python) mit einer Big Data-Technologie (Spark) kombinieren lassen. Ziel ist es, dem Analysten den Einstieg in die Big Data-Welt zu erleichtern. Wir demonstrieren die Arbeit mit diesem Toolset an anschaulichen Beispielen in einem interaktiven Workshop-Format und laden zur Diskussion und Nachahmung dieser Vorgehensweise ein. Der Workshop richtet sich an Teilnehmer mit Grundkenntnissen aus den Bereichen analytische Methoden und Machine Learning sowie R oder Python. Der Workshop wird auf der Spark-Plattform durchgeführt. Zu Spark werden keine Kenntnisse vorausgesetzt.
Machine Learning ist eine Art von Software-Entwicklung, bei der man nicht direkt Code schreibt, sondern ein Modell anhand von Daten trainiert. Das kann in Situationen von Vorteil sein, in denen man keinen passenden Code schreiben kann oder dieser extrem komplex werden würde. TensorFlow ist das bekannteste Framework im Bereich Neuronaler Netzwerke mit dem man solche Modell erzeugen und nutzen kann. TensorFlow.js (https://js.tensorflow.org/api/latest/) implementiert die volle API von TensorFlow mit JavaScript und erlaubt sowohl die Ausführung, als auch das Training von Neuronalen Netzwerken auf jeder GPU.
Im ersten Teil des Workshops werden wir ein Modell zur Bilderkennung in einer grafischen Webanwendung trainieren und in einer eigenen Anwendung zum Laufen bringen. Hier geht es um die Grundlagen von Machine Learning und den Teil der TensorFlow.js API zum Ausführen eines Modells.
Im zweiten Teil werden wir ein eigenes Modell mit der TensorFlow.js API trainieren und als Teil einer JS-Anwendung integrieren.
Es sind keine Vorkenntnisse nötig und zur Teilnahme wird lediglich eine beliebige IDE zur Entwicklung von JavaScript benötigt.
Agile Oracle database modeling and development - APEX Connect 2020Torsten Kleiber
We try to develop our features agile in branches and to merge them when they are ready for use.
Test Driven Development is on everyone's lips in Java and other languages.
Whether we develop ADF or JET or Spring, we try to apply these techniques in many places.
But what is the real foundation of most of our applications?
That is the Oracle database with its data model and its programming language PL/SQL!
Again and again you hear that merging data model scripts and PL/SQL programs are not practical.
But how are we supposed to develop our frontend according to these techniques if we don't start with it in the backend?
In the presentation I will show you how you can develop your data model and your programs in the database in an agile and test-driven way from the request to the refactoring.
You will see how tools like Git, Liquibase and utPLSQL work together.
Applikationsmodernisierung: Der Weg von Legacy in die CloudAarno Aukia
Stell Dir vor: Du willst einen 6000er besteigen. Eine gute Vorbereitung, gutes Material und professionelles Wissen sind dabei unabdingbar.
Du schnappst Dir einen Berg-Guide, der Dich bei schwierigen Passagen unterstützt und Dir das passende Know-How weitergibt. Das schwere Material kannst Du auf ein Team aufteilen, das genau weiss, welche Pakete Du am sinnvollsten schnürst. Sie zeigen Dir zudem, welchen unnötigen Ballast Du abwerfen kannst.
Am Ende stehst Du am Ziel – Dich erwartet ein grossartiges Resultat und die Zufriedenheit des Vollbrachten.
Genau so fühlt sich die Reise Deiner Legacy Applikation an.
Im Webinar zeigen Dir die drei Partnerfirmen Object Engineering, Puzzle und VSHN, wie Du Deine Applikationen fit hältst. Dabei geben sie Dir einen Einblick, wie Experten die Applikationen analysieren, aufpeppen und den Betrieb sicherstellen können.
Ich will agil testen! was muss ich können iqnite 2014 - verison 2.0Michael Fischlein
Welche Auswirkung hat eine agiler Softwareentwicklungsprozess auf den Softwaretest und die Qualitätssicherung? Welche Änderungen muss man beachten und wie muss und kann man Softwaretester auf diese Veränderungen vorbereiten.
Dieser Vortrag wurde auf der iqnite 2014 von Michael Fischlein gehalten.
ASQF Dresden: Benötigen wir mit SCRUM noch einen Testmanager?René Spengler
Das Testmanagement wird im agilen Entwicklungsprozess wie Scrum vom Team getragen. Doch kann das Scrum-Team die Aufgaben eines Testmanagers vollumfänglich wahrnehmen? Der Vortrag folgt den Aufgaben des Testmanagers und vergleicht die Umsetzung in klassischen und agilen Arbeitsumfeldern. Am Ende steht die Frage, ob man in Scrum noch einen Testmanager braucht.
Referenten:
Kay Grebenstein, Saxonia Systems AG
René Spengler, ANECON Software Design und Beratung GmbH
Entwurfsmuster sind bewährte Lösungsschablonen für wiederkehrende Entwurfsprobleme in der Softwareentwicklung. Diese Entwurfsmuster können auch in ABAP eingesetzt werden.
In diesem Webinar haben wir einen Einblick in die Entwurfsmuster gegeben und anhand von 3 Praxisbeispielen deren Anwendung in ABAP veranschaulicht.
Die zunehmende Komplexität von Baugruppen erschwert die Qualitätssicherung. Klassische Messverfahren sind aufwändig oder stoßen technisch an ihre Grenzen. Hier kann Digitalisierung helfen, flexibler und effizienter zu produzieren.
KI-basierte Anwendungen werden zunehmend in der Produktion und in der Qualitätssicherung eingesetzt. So untersucht das DIN-Normungsinstitut aktuell auch, welche Normen Berührungspunkte zu KI-Technologien haben, welche auf den KI-Einsatz vorbereitet sind und welche dahingehend überarbeitet werden müssen.
Um im Produktionsumfeld schnell starten zu können, gibt es KI vielfältig als digitalen Service, der über das Internet of Things (IoT) direkt in den Shopfloor eingebunden werden kann.
Das Webinar am 30. Nov. 2022 um 10 Uhr zeigt auf, welche Grundlagen und Einführungsmethoden es braucht und welche typischen KI-Anwendungen möglich sind. Am Beispiel Getriebeprüfung wird ein KI-Service zur Schwingungsanalyse in ein SAP Cloud MES (SAP DMC) integriert.
DevDay 2016 Keynote - Die Evolution agiler Software EntwicklungMarc Müller
DevOps ist derzeit in aller Munde und das IT-Buzzword schlecht hin. Doch was verbirgt sich genau hinter diesem Begriff? Es ist definitiv viel mehr als nur die verbesserte Zusammenarbeit zwischen Entwicklung und Betrieb. Agile Planung, kurze Releasezyklen, Automatisierung und das kontinuierliche Feedback sind zentrale Themen, mit denen sich jedes Entwicklungsteam heutzutage auseinandersetzen muss. Der Vortrag zeigt die Anforderungen und Herausforderungen an einen modernen und effizienten DevOps Prozess auf und untermauert diese mit Praxisbeispielen aus unserer langjährigen Beratertätigkeit.
Sören Krasel, Consultant für e-Learning und Mediengestaltung bei der Daimler AG, spricht auf dem Confluence & JIRA Community Day am 20. September 2012 in Frankfurt/Main zum Thema "Wissensmanagement @MPS".
Mehr Informationen zum CCD 2012 gibt es in unserem Techblog: http://www.communardo.de/home/?s=ccd2012
In der CON•ECT Business Academy bieten wir Ihnen ein umfassendes Programm an hochkarätigen Events mit Topspeakern aus Österreich, Deutschland und der Schweiz. Angeboten werden zertifizierte Ausbildungsprogramme wie z.B Prozessmanagement, Requirements Engineering nach IREB, VeriSM™, DevOps nach EXIN, SCRUM, SAFe Agilist, CISSP & CSSLP , IT Servicekatalog und Pricing, Service Desk , Angular, Multiprovidermanagement und IT Sourcing , Design Thinking.
Speaker: Michael Ferber, Head of Consulting
Über 170 Kunden setzen auf Camunda Enterprise zur Automatisierung ihrer Geschäftsprozesse. Die meisten wurden in ihren Projekten durch unsere Berater begleitet. Basierend auf diesem Erfahrungsschatz wird Michael Ferber die folgenden Fragen beantworten:
Wann macht der Einsatz von Camunda überhaupt Sinn? Welche Probleme lassen sich damit lösen?
Welche personellen Ressourcen brauche ich für erfolgreiche Camunda-Projekte?
Wie aufwendig ist die Projektumsetzung mit Camunda? Wie kann ich einen Business Case rechnen?
DevOps + Continuous Delivery + Cloud: The Three Drivers of Enterprise Agility...Schlomo Schapiro
More than just buzzwords, true agility depends on the successful combination of DevOps, Continuous Delivery and Cloud platforms. Learn which technology choices have the greatest impact on the company culture. Take DevOps adoption to the next level by introducing DevOps key performance indicators as a measure of your company’s progress. This session presents current developments and projects at DB Systel, the IT company of Deutsche Bahn.
Präsentation über die Zusammenhänge bei DevOps, Scrum/Agile, Continuous Delivery, Cloud/Container & Microservices und worauf es bei der Umsetzung ankommt.
Speaker: Alexander Pacnik, inovex GmbH
Datum: 29.09.2016
Weitere Vorträge auch auf https://www.inovex.de/de/content-pool/vortraege/
Vortrag beim Workshop „Komponenten und Virtualisierung in der Modellbildung und Simulation“ an der Universität der Bundeswehr München am 21.-22.01.2013.
Der Vortrag beleuchtet Chancen und aktuelle Entwicklungen bei der Standardisierung von M&S-Komponenten (insbesondere bei Simulationen im Umfeld von Bundeswehr und NATO).
Folien zum Vortrag "Agile Skalierung" beim Scrum-Club von ImmobilienScout24 in Berlin am 25.03.2014.
Enthält agile Skalierungsprinzipien sowie den Agile Scaling Cycle und exemplarische Skalierungspraktiken, z.B. zur Organisation von Product Ownership.
Big Data Discovery + Analytics = Datengetriebene Innovation!Harald Erb
Vortrag von der DOAG 2015-Konferenz: Die Umsetzung von Datenprojekten muss man nicht zwangsläufig den sog. Data Scientists allein überlassen werden. Daten- und Tool-Komplexität im Umgang mit Big Data sind keine unüberwindbaren Hürden mehr für die Teams, die heute im Unternehmen bereits für Aufbau und Bewirtschaftung des Data Warehouses sowie dem Management bzw. der Weiterentwicklung der Business Intelligence-Plattform zuständig sind. In einem interdisziplinären Team bringen neben den technischen Rollen auch Fachanwender und Business Analysten von Anfang an ihr Domänenwissen in das Datenprojekt mit ein,
ASQF Dresden: Benötigen wir mit SCRUM noch einen Testmanager?René Spengler
Das Testmanagement wird im agilen Entwicklungsprozess wie Scrum vom Team getragen. Doch kann das Scrum-Team die Aufgaben eines Testmanagers vollumfänglich wahrnehmen? Der Vortrag folgt den Aufgaben des Testmanagers und vergleicht die Umsetzung in klassischen und agilen Arbeitsumfeldern. Am Ende steht die Frage, ob man in Scrum noch einen Testmanager braucht.
Referenten:
Kay Grebenstein, Saxonia Systems AG
René Spengler, ANECON Software Design und Beratung GmbH
Entwurfsmuster sind bewährte Lösungsschablonen für wiederkehrende Entwurfsprobleme in der Softwareentwicklung. Diese Entwurfsmuster können auch in ABAP eingesetzt werden.
In diesem Webinar haben wir einen Einblick in die Entwurfsmuster gegeben und anhand von 3 Praxisbeispielen deren Anwendung in ABAP veranschaulicht.
Die zunehmende Komplexität von Baugruppen erschwert die Qualitätssicherung. Klassische Messverfahren sind aufwändig oder stoßen technisch an ihre Grenzen. Hier kann Digitalisierung helfen, flexibler und effizienter zu produzieren.
KI-basierte Anwendungen werden zunehmend in der Produktion und in der Qualitätssicherung eingesetzt. So untersucht das DIN-Normungsinstitut aktuell auch, welche Normen Berührungspunkte zu KI-Technologien haben, welche auf den KI-Einsatz vorbereitet sind und welche dahingehend überarbeitet werden müssen.
Um im Produktionsumfeld schnell starten zu können, gibt es KI vielfältig als digitalen Service, der über das Internet of Things (IoT) direkt in den Shopfloor eingebunden werden kann.
Das Webinar am 30. Nov. 2022 um 10 Uhr zeigt auf, welche Grundlagen und Einführungsmethoden es braucht und welche typischen KI-Anwendungen möglich sind. Am Beispiel Getriebeprüfung wird ein KI-Service zur Schwingungsanalyse in ein SAP Cloud MES (SAP DMC) integriert.
DevDay 2016 Keynote - Die Evolution agiler Software EntwicklungMarc Müller
DevOps ist derzeit in aller Munde und das IT-Buzzword schlecht hin. Doch was verbirgt sich genau hinter diesem Begriff? Es ist definitiv viel mehr als nur die verbesserte Zusammenarbeit zwischen Entwicklung und Betrieb. Agile Planung, kurze Releasezyklen, Automatisierung und das kontinuierliche Feedback sind zentrale Themen, mit denen sich jedes Entwicklungsteam heutzutage auseinandersetzen muss. Der Vortrag zeigt die Anforderungen und Herausforderungen an einen modernen und effizienten DevOps Prozess auf und untermauert diese mit Praxisbeispielen aus unserer langjährigen Beratertätigkeit.
Sören Krasel, Consultant für e-Learning und Mediengestaltung bei der Daimler AG, spricht auf dem Confluence & JIRA Community Day am 20. September 2012 in Frankfurt/Main zum Thema "Wissensmanagement @MPS".
Mehr Informationen zum CCD 2012 gibt es in unserem Techblog: http://www.communardo.de/home/?s=ccd2012
In der CON•ECT Business Academy bieten wir Ihnen ein umfassendes Programm an hochkarätigen Events mit Topspeakern aus Österreich, Deutschland und der Schweiz. Angeboten werden zertifizierte Ausbildungsprogramme wie z.B Prozessmanagement, Requirements Engineering nach IREB, VeriSM™, DevOps nach EXIN, SCRUM, SAFe Agilist, CISSP & CSSLP , IT Servicekatalog und Pricing, Service Desk , Angular, Multiprovidermanagement und IT Sourcing , Design Thinking.
Speaker: Michael Ferber, Head of Consulting
Über 170 Kunden setzen auf Camunda Enterprise zur Automatisierung ihrer Geschäftsprozesse. Die meisten wurden in ihren Projekten durch unsere Berater begleitet. Basierend auf diesem Erfahrungsschatz wird Michael Ferber die folgenden Fragen beantworten:
Wann macht der Einsatz von Camunda überhaupt Sinn? Welche Probleme lassen sich damit lösen?
Welche personellen Ressourcen brauche ich für erfolgreiche Camunda-Projekte?
Wie aufwendig ist die Projektumsetzung mit Camunda? Wie kann ich einen Business Case rechnen?
DevOps + Continuous Delivery + Cloud: The Three Drivers of Enterprise Agility...Schlomo Schapiro
More than just buzzwords, true agility depends on the successful combination of DevOps, Continuous Delivery and Cloud platforms. Learn which technology choices have the greatest impact on the company culture. Take DevOps adoption to the next level by introducing DevOps key performance indicators as a measure of your company’s progress. This session presents current developments and projects at DB Systel, the IT company of Deutsche Bahn.
Präsentation über die Zusammenhänge bei DevOps, Scrum/Agile, Continuous Delivery, Cloud/Container & Microservices und worauf es bei der Umsetzung ankommt.
Speaker: Alexander Pacnik, inovex GmbH
Datum: 29.09.2016
Weitere Vorträge auch auf https://www.inovex.de/de/content-pool/vortraege/
Vortrag beim Workshop „Komponenten und Virtualisierung in der Modellbildung und Simulation“ an der Universität der Bundeswehr München am 21.-22.01.2013.
Der Vortrag beleuchtet Chancen und aktuelle Entwicklungen bei der Standardisierung von M&S-Komponenten (insbesondere bei Simulationen im Umfeld von Bundeswehr und NATO).
Folien zum Vortrag "Agile Skalierung" beim Scrum-Club von ImmobilienScout24 in Berlin am 25.03.2014.
Enthält agile Skalierungsprinzipien sowie den Agile Scaling Cycle und exemplarische Skalierungspraktiken, z.B. zur Organisation von Product Ownership.
Big Data Discovery + Analytics = Datengetriebene Innovation!Harald Erb
Vortrag von der DOAG 2015-Konferenz: Die Umsetzung von Datenprojekten muss man nicht zwangsläufig den sog. Data Scientists allein überlassen werden. Daten- und Tool-Komplexität im Umgang mit Big Data sind keine unüberwindbaren Hürden mehr für die Teams, die heute im Unternehmen bereits für Aufbau und Bewirtschaftung des Data Warehouses sowie dem Management bzw. der Weiterentwicklung der Business Intelligence-Plattform zuständig sind. In einem interdisziplinären Team bringen neben den technischen Rollen auch Fachanwender und Business Analysten von Anfang an ihr Domänenwissen in das Datenprojekt mit ein,
Mit den passenden Algorithmen lassen sich aus Daten Erkenntnisse, Muster und Schlüsse gewinnen. Data Scientists steigen tief in die Welt der Daten und Algorithmen ein und entwerfen die zum Anwendungsfall passende Lösung.
Auch Führungskräfte sollten ein Grundwissen über die wichtigsten Begriffe und Zusammenhänge der Welt der Data Science haben.
Unser Vortrag gibt einen Überblick über Möglichkeiten von Big Data und Machine Learning und zeigt, wie mit agilen Mitteln und den richtigen Skills der Einstig in die neue Welt gelingt
Der Vortrag zeigt die Grenzen bisheriger Lösungen und gibt einen Überblick über neue Lösungen.
Er zeigt, wie Systemlandschaften weltweit tätiger (Internet-)Konzerne aussehen und leitet daraus herunterskalierte, praktikable Lösungen auch für kleinere Unternehmen mit weit weniger Datenvorkommen ab.
Unser Vortrag gibt einen Überblick über Möglichkeiten von Big Data und Machine Learning und zeigt, wie mit agilen Mitteln und den richtigen Skills der Einstig in die neue Welt gelingt.
Unser Vortrag gibt einen Überblick über Möglichkeiten von Big Data und Machine Learning und zeigt, wie mit agilen Mitteln und den richtigen Skills der Einstig in die neue Welt gelingt
Der Vortrag zeigt die Grenzen bisheriger Lösungen und gibt einen Überblick über neue Lösungen.
Er zeigt, wie Systemlandschaften weltweit tätiger (Internet-)Konzerne aussehen und leitet daraus herunterskalierte, praktikable Lösungen auch für kleinere Unternehmen mit weit weniger Datenvorkommen ab.
Mit den passenden Algorithmen lassen sich aus Daten Erkenntnisse, Muster und Schlüsse gewinnen. Data Scientists steigen tief in die Welt der Daten und Algorithmen ein und entwerfen die zum Anwendungsfall passende Lösung.
Auch Führungskräfte sollten ein Grundwissen über die wichtigsten Begriffe und Zusammenhänge der Welt der Data Science haben.
Unser Vortrag gibt einen Überblick über Möglichkeiten von Big Data und Machine Learning und zeigt, wie mit agilen Mitteln und den richtigen Skills der Einstig in die neue Welt gelingt.
Mit den passenden Algorithmen lassen sich aus Daten Erkenntnisse, Muster und Schlüsse gewinnen. Data Scientists steigen tief in die Welt der Daten und Algorithmen ein und entwerfen die zum Anwendungsfall passende Lösung.
Auch Führungskräfte sollten ein Grundwissen über die wichtigsten Begriffe und Zusammenhänge der Welt der Data Science haben.
Der Vortrag zeigt die Grenzen bisheriger Lösungen und gibt einen Überblick über neue Lösungen.
Er zeigt, wie Systemlandschaften weltweit tätiger (Internet-)Konzerne aussehen und leitet daraus herunterskalierte, praktikable Lösungen auch für kleinere Unternehmen mit weit weniger Datenvorkommen ab.
Unser Vortrag gibt einen Überblick über Möglichkeiten von Big Data und Machine Learning und zeigt, wie mit agilen Mitteln und den richtigen Skills der Einstig in die neue Welt gelingt.
Mehr von IKS Gesellschaft für Informations- und Kommunikationssysteme mbH (20)
Big Data und Machine Learning - Wer braucht das schon!
Thementag 2022 03 Ein Modell ist trainiert - und jetzt.pdf
1. Ein Modell ist trainiert – und jetzt?
1 | 66
Projekte. Beratung. Spezialisten.
Ein Modell ist trainiert – und jetzt?
Thementag „Ist mein Zug pünktlich?“
16.08.2022
Autor: Philipp Steinweg / Christoph Schmidt-Casdorff
2. Ein Modell ist trainiert – und jetzt?
2 | 66
Agenda
Data-Science-Modelle als Softwaresysteme
MLOps und Data Science
MLOps und CI/CD
MLOps und produktive Laufzeitumgebung
Take Home
Alles dreht sich um Daten | Data Science 'at Laptop' | Data Science 'at Scale'
3. Ein Modell ist trainiert – und jetzt?
3 | 66
Agenda
Data-Science-Modelle als Softwaresysteme
MLOps und Data Science
MLOps und CI/CD
MLOps und produktive Laufzeitumgebung
Take Home
Alles dreht sich um Daten | Data Science 'at Laptop' | Data Science 'at Scale'
4. Ein Modell ist trainiert – und jetzt?
4 | 66
ML-Modelle unter Laborbedingungen
ML-Modelle werden auf begrenztem und statischem Datenbestand
trainiert
u Insbesondere können keine Echtzeitdaten verarbeitet werden
Training findet typischer Weise mit explorativen Werkzeugen statt
ML-Modelle basieren auf Testdaten
Im Labor trainierte ML-Modelle sind ein erster Schritt …
… aber wie wird aus ihnen lauffähige Software?
5. Ein Modell ist trainiert – und jetzt?
5 | 66
ML-Modelle als Softwaresysteme
Softwaresysteme nutzen ML-Modelle und leiten Entscheidungen ab
u ML-Modelle sind Teil eines Softwaresystem
u Die Entscheidungen werden auf Basis von Realdaten getroffen
ML-Modelle müssen zu einem Teil eines Softwaresystems werden …
… was bedeutet das?
6. Ein Modell ist trainiert – und jetzt?
6 | 66
ML-Modelle als Teil von Softwaresystemen
ML-Modelle müssen automatisiert ausgeführt werden
u Wie erreicht man ML-Modelle programmatisch?
u ML-Modelle müssen Schnittstellen anbieten
7. Ein Modell ist trainiert – und jetzt?
7 | 66
ML-Modelle als Teil von Softwaresystemen
ML-Modelle müssen automatisiert ausgeführt werden
ML-Modelle müssen in Produktion überführt werden
u Wie integrieren sich ML-Modelle in Deployment und CI/CD-Pipelines?
8. Ein Modell ist trainiert – und jetzt?
8 | 66
ML-Modelle als Teil von Softwaresystemen
ML-Modelle müssen automatisiert ausgeführt werden
ML-Modelle müssen in Produktion überführt werden
ML-Modelle müssen versioniert werden
u Was gehört zu einem ML-Modell?
u Was wird versioniert?
9. Ein Modell ist trainiert – und jetzt?
9 | 66
ML-Modelle als Teil von Softwaresystemen
ML-Modelle müssen automatisiert ausgeführt werden
ML-Modelle müssen in Produktion überführt werden
ML-Modelle müssen versioniert werden
ML-Modelle müssen systematisch getestet und verglichen werden
u Wie stelle ich Vergleichbarkeit von ML-Modellen her?
u Wie bewerte ich die Qualität von ML-Modellen?
10. Ein Modell ist trainiert – und jetzt?
10 | 66
Was unterscheidet ML-Modelle von Softwaresystemen
Die Qualität von ML-Modellen ändert sich im Laufe der Zeit
u ML-Modelle sind nur so gut wie die Realdaten
u Realdaten und Trainingsdaten laufen i.d.R. auseinander
u Bleibt mein ML-Modell über die Zeit so gut wie zum Trainingszeitpunkt?
§ Kann es sogar besser werden?
u ML-Modelle können falsch sein/werden, ohne dass ein Fehler geworfen wird !!!!!!
11. Ein Modell ist trainiert – und jetzt?
11 | 66
Was unterscheidet ML-Modelle von Softwaresystemen
Die Qualität von ML-Modellen ändert sich im Laufe der Zeit
ML-Modelle entstehen im Labor
u Wie kann ich ML-Modelle unterschiedlicher Entwickler*innen vergleichen?
12. Ein Modell ist trainiert – und jetzt?
12 | 66
Was unterscheidet ML-Modelle von Softwaresystemen
Die Qualität von ML-Modellen ändert sich im Laufe der Zeit!!!
ML-Modelle entstehen im Labor
Wie bringe ich eine ML-Modell in Produktion
u Wie bietet ein ML-Modell Schnittstellen an?
u Wie verpacke ich ein ML-Modell?
u Warum kann ich mein ML-Modell nicht einfach in Produktionsumgebung kopieren?
u Wie automatisiere ich Schritte wie Cleaning, Feature Extraction, etc. … ?
13. Ein Modell ist trainiert – und jetzt?
13 | 66
MLOps
With Machine Learning Model Operationalization Management (MLOps), we want
to provide an end-to-end machine learning development process to design, build
and manage reproducible, testable, and evolvable ML-powered software.
https://ml-ops.org/
14. Ein Modell ist trainiert – und jetzt?
14 | 66
Überblick über den gesamten MLOps-Prozess
Runtime
• Daten einspeisen
• Daten präparieren
• Modell bereitstellen
• System monitoren
CI/CD
• verpacken
• testen
Experimente
Daten
Data Science
• explorative
Validierung
• model engineering
Deployment
Modell
Trigger bei Verschlechterung
des Modells
neue Trainingsdaten
Code
15. Ein Modell ist trainiert – und jetzt?
15 | 66
Agenda
Data-Science-Modelle als Softwaresysteme
MLOps und Data Science
MLOps und CI/CD
MLOps und produktive Laufzeitumgebung
Take Home
Alles dreht sich um Daten | Data Science 'at Laptop' | Data Science 'at Scale'
16. Ein Modell ist trainiert – und jetzt?
16 | 35
Data Science unter Laborbedingungen
17. Tieferer Einstieg in den Data-Science-Teil
Runtime
CI/CD
Experimente
Daten
Data Science
Deployment
Modell
Trigger bei Verschlechterung
des Modells
neue Trainingsdaten
Exploration & Validierung
Datenaufbereitung
Modelldaten bereitstellen
– Trainingsdaten
Model engineering
18. Ein Modell ist trainiert – und jetzt?
18 | 66
Modelle entwickeln
Entwicklung durch
Experimente, z.B.:
u Daten bereinigen
u Hinzufügen neuer Features
u Ausprobieren verschiedener
Algorithmen
u Hyperparameter-Tuning
Ø Wie gehe ich mit diesen
Experimenten um?
19. Ein Modell ist trainiert – und jetzt?
19 | 66
Bausteine eines ML-Modells
Änderung einer Achse
u Ggf. neues Modell
u Ggf. neues Deployment
20. Ein Modell ist trainiert – und jetzt?
20 | 66
Experimente
Experiment = „Neuanordnung" der Bausteine
Experimente sind idealerweise
u transparent
u nachvollziehbar
u reproduzierbar
u vergleichbar
-> Experimente müssen versioniert/getrackt werden
-> Experimente müssen zentral zur Verfügung gestellt werden
21. Ein Modell ist trainiert – und jetzt?
21 | 66
Transparenz von Experimenten
Durchgeführte Experimente
sollten an zentraler Stelle
einsehbar sein
u für andere Data Scientisten
u für andere Entwickler
u für Business User
§ Data Governance
§ Process Governance
§ Risiko Management
22. Ein Modell ist trainiert – und jetzt?
22 | 66
Nachvollziehbarkeit von Experimenten
„Anordnung" der Bausteine
sollte von außen
nachvollziehbar sein
Wünschenswert:
Nachvollziehbarkeit von
Vorhersagen eines deployten
Modells
u Explainable/Interpretable AI
23. Ein Modell ist trainiert – und jetzt?
23 | 66
Reproduzierbarkeit von Experimenten
Experimente sollen reproduzierbar sein
u um später etwa erneut trainieren zu können
u auch durch andere Teammitglieder (z.B. für Code Reviews)
§ „Bausteine" müssen versioniert werden
24. Ein Modell ist trainiert – und jetzt?
24 | 66
Vergleichbarkeit von Experimenten
Durchgeführte Experimente müssen miteinander vergleichbar sein
u z.B. durch vorher definierte Metriken
25. Ein Modell ist trainiert – und jetzt?
25 | 66
Deployment von Experimenten
26. Ein Modell ist trainiert – und jetzt?
26 | 66
Deployment von Experimenten
Wann ist ein Experiment
„produktionsreif"?
Wie überwache ich in
Produktion deployte Modelle?
27. Ein Modell ist trainiert – und jetzt?
27 | 66
Modelle in Produktion
ML-Modelle trainieren mit Daten -> Realität/Daten ändert sich aber stetig
ML-Modelle „veralten" mit der Zeit -> Model Drift
u Concept Drift
u Data Drift
MLOps muss Drifts erkennen & idealerweise Neutraining des Modells
anstoßen
28. Ein Modell ist trainiert – und jetzt?
28 | 66
Concept Drift
Zusammenhang Features & Zielvariable ändert sich im zeitlichen Verlauf
Beispiele
u Es ändert sich die Nutzung des Nahverkehrs
u Kunden wollen vermehrt Fahrräder mitnehmen
29. Ein Modell ist trainiert – und jetzt?
29 | 66
Data Drift
Daten „in Produktion" ändern sich im Vergleich zu Trainings-/Testdaten
Beispiele:
u Es kommen neue Bahnlinien hinzu
u Der Fahrplan/Taktung ändert sich
u Kurzfristige Trends entstehen durch z.B. Baustellen oder 9-€-Ticket
u Die Schnittstelle der Bahn-API ändert sich und liefert weitere Daten
30. Ein Modell ist trainiert – und jetzt?
30 | 66
Agenda
Data-Science-Modelle als Softwaresysteme
MLOps und Data Science
MLOps und CI/CD
MLOps und produktive Laufzeitumgebung
Take Home
Alles dreht sich um Daten | Data Science 'at Laptop' | Data Science 'at Scale'
31. Ein Modell ist trainiert – und jetzt?
31 | 66
Tieferer Einstieg in den CI/CD-Teil
Runtime
• Daten einspeisen
• Daten präparieren
• Modell bereitstellen
• System monitoren
CI/CD
• verpacken
• testen
Experimente
Daten
Data Science
• explorative
validierung
• model engineering
Deployment
Modell
Trigger bei Verschlechterung
des Modells
neue Trainingsdaten
Code
32. Ein Modell ist trainiert – und jetzt?
32 | 66
Continuous Integration / Continuous Delivery
CI/CD ist ein kontinuierlicher Softwareentwicklungsprozess, der …
u das Systeme (und seine Teile) automatisiert baut, testet und ausliefert
u dies stetig und wiederholbar tut
u auf Versionierungen der einzelnen Teile achtet
u auch CI/CD Pipeline genannt wird
CI/CD -> Continuous Integration / Continuous Delivery
33. Ein Modell ist trainiert – und jetzt?
33 | 66
Continuous Integration / Continuous Delivery
CI/CD ist ein kontinuierlicher Softwareentwicklungsprozess
CI/CD beschleunigt
u Die Zyklen zwischen Entwicklung und Auslieferung werden kürzer
u Automatisierung entlastet Entwicklung
34. Ein Modell ist trainiert – und jetzt?
34 | 66
Continuous Integration / Continuous Delivery
CI/CD ist ein kontinuierlicher Softwareentwicklungsprozess
CI/CD beschleunigt die Auslieferung
CI/CD erhöht die Qualität des Systems
u Auslieferung ist stabiler und weniger fehleranfällig
u Austomatisierte Tests sind integraler Bestandteil des Prozesses
u Ausgelieferte Softwarestände sind nachvollziehbar und transparent
35. Ein Modell ist trainiert – und jetzt?
35 | 66
Was gehört zu einer Data-Science-Plattform?
Zu einer produktiven Data-Science-Plattform gehören
u ML-Modelle
u Infrastruktur, um Modell auszuführen
u weitere unterstützende Software
§ Untersuchen wir später…
All das spielt zusammen
… und sollte automatisiert getestet, gebaut und ausgeliefert werden
36. Ein Modell ist trainiert – und jetzt?
36 | 66
CI/CD und Data-Science-Plattform
Wer testet die einzelnen Komponenten?
u …. auch das ML-Modell muss getestet werden !!!
37. Ein Modell ist trainiert – und jetzt?
37 | 66
CI/CD und Data-Science-Plattform
Wer testet die einzelnen Komponenten?
Wer baut/verpackt die einzelnen Komponenten?
u ready to deploy
u Versionierung auch für ML-Modelle
38. Ein Modell ist trainiert – und jetzt?
38 | 66
CI/CD und Data-Science-Plattform
Wer testet die einzelnen Komponenten?
Wer verpackt die einzelnen Komponenten?
Wer testet das Zusammenspiel der einzelnen Komponenten?
39. Ein Modell ist trainiert – und jetzt?
39 | 66
CI/CD und Data-Science-Plattform
Wer testet die einzelnen Komponenten?
Wer verpackt die einzelnen Komponenten?
Wer testet das Zusammenspiel der einzelnen Komponenten?
Wer deployed das gesamte System?
=> CI/CD-Pipeline
40. Ein Modell ist trainiert – und jetzt?
40 | 66
Continuous Integration / Continuous Delivery
CI/CD – ein Paketband für Software
41. Ein Modell ist trainiert – und jetzt?
41 | 66
Deployment von Modellen
Deployment bedeutet, dass ein ML-Modell (standardisiert) verpackt wird
42. Ein Modell ist trainiert – und jetzt?
42 | 66
Deployment von Modellen
Deployment meint, dass
u … ein ML-Modell verpackt wird
u … und in unterschiedlichen Umgebungen reaktiviert/ausgeführt werden kann
43. Ein Modell ist trainiert – und jetzt?
43 | 66
Deployment von Modellen
Deployment meint, dass ein ML-Modell verpackt werden kann
ML Modell muss so „verpackt“ werden, dass
u … dem ML-Modell eine eindeutige und feste Version zugeordnet werden kann
44. Ein Modell ist trainiert – und jetzt?
44 | 66
Deployment von Modellen
Deployment meint, dass ein ML-Modell verpackt werden kann
ML Modell muss so „verpackt“ werden, dass
u … dem ML-Modell eine eindeutige und feste Version zugeordnet werden kann
u … jederzeit Test und Ausführung des Modells möglich ist
§ Metriken zur Prüfung der Performance müssen vorhanden sein
§ Trainings- und Testdaten müssen verfügbar sein
§ Software/ML Frameworks, in der das Modell geschrieben ist, ist verfügbar
§ Code zum Testen des Modells ist verfügbar
u „Paket“ muss all dies umfassen
45. Ein Modell ist trainiert – und jetzt?
45 | 66
Deployment von Modellen
Deployment meint, dass ein ML-Modell verpackt werden kann
ML-Modell muss so „verpackt“ werden, dass
u … dem ML-Modell eine eindeutige und feste Version zugeordnet werden kann
u … jederzeit ein Test des Modells möglich ist
u … das ML-Modell in der Produktions-Infrastruktur in Betrieb genommen werden kann
§ ML-Modell muss eine Schnittstelle anbieten
46. Ein Modell ist trainiert – und jetzt?
46 | 66
Verpackungsmaterial
Containerisierung
u Docker ist eine Format, welches alle Vorrausetzungen erfüllt
u Spezielles Konfiguration/Dockerfile für jedes ML Framework (+version)
u Es ist zusätzlicher Code notwendig, um …
§ das ML-Modell zugänglich zu machen
47. Ein Modell ist trainiert – und jetzt?
47 | 66
Verpackungsmaterial
Containerisierung
Universelle Paketierungsformate
u … wie in MLflow/DVC
u Paketierung ist unabhängig vom ML Framework
u Paketierung umfasst alles, was für Ausführung und Test notwendig ist
u Universelle Paketierung ermöglicht
§ … die Vergleichbarkeit von Modellen
§ … den Austausch und Installation von Modelle ‚as it is‘
48. Ein Modell ist trainiert – und jetzt?
48 | 66
Verpackungsmaterial
Containerisierung
Universelle Paketierungsformate
Sehr gut: Kombination von Docker und universellem Paketierungsformat
u alle Vorteile von Docker
u gleichförmiger Build- und Deploymentprozess
49. Ein Modell ist trainiert – und jetzt?
49 | 66
Ausführung von Modellen
Toolkette unterscheidet sich zwischen Labor und Produktion
u Häufig : Re-Implementierung der ML Modelle
§ Apache Spark, Apache Kafka, Apache Flink , ….
u Dies macht den Prozess träge und fehleranfällig
u Durchgängigkeit vom Labor bis in die Produktion fehlt
… möglichst vermeiden
50. Ein Modell ist trainiert – und jetzt?
50 | 66
Agenda
Data Science Modelle als Softwaresysteme
MLOps und Data Science
MLOps und CI/CD
MLOps und produktive Laufzeitumgebung
Take Home
Alles dreht sich um Daten | Data Science 'at Laptop' | Data Science 'at Scale'
51. Tieferer Einstieg in den Runtime-Teil
Runtime
CI/CD
Code
Daten
Data Science
Deployment
Modell
RT Data Pipeline
RT Model
Monitoring &
Modellmetriken
Trainingsdaten
Externe
Datenquellen
Vorhersagen
Überwachung
neue Trainingsdaten
Trigger bei Verschlechterung
des Modells
52. Ein Modell ist trainiert – und jetzt?
52 | 66
Welche Aufgaben erfüllt die Laufzeitumgebung?
Daten müssen aus unterschiedlichen Quelle eingesammelt werden
u Daten müssen an das Eingabe-Format des ML-Modells angepasst werden
u i.d.R. werden Daten nach Vorgaben der Data Science aufbereitet
Es müssen stetig neue Trainingsdaten gesammelt werden
u Data Science benötigt Trainingsdaten, um zu re-trainieren
53. Ein Modell ist trainiert – und jetzt?
53 | 66
Welche Aufgaben erfüllt die Laufzeitumgebung?
Daten müssen aus unterschiedlichen Quelle eingesammelt werden
Es müssen stetig neue Trainingsdaten gesammelt werden
Das ML-Modell muss Vorhersagen treffen können
u Es muss erreichbar sein …. z.B. als Webservice
u Es muss eine definierte Schnittstelle für die Daten anbieten
54. Ein Modell ist trainiert – und jetzt?
54 | 66
Welche Aufgaben erfüllt die Laufzeitumgebung?
Daten müssen aus unterschiedlichen Quelle eingesammelt werden
Es müssen stetig neue Trainingsdaten gesammelt werden
Das ML-Modell muss erreichbar sein
Die Qualität des ML-Modells muss überwacht werden
u Modell Degradation
55. Ein Modell ist trainiert – und jetzt?
55 | 66
Welche Aufgaben erfüllt die Laufzeitumgebung?
Daten müssen aus unterschiedlichen Quelle eingesammelt werden
Es müssen stetig neue Trainingsdaten gesammelt werden
Das ML-Modell muss erreichbar sein
Die Qualität des ML-Modells muss überwacht werden
u Modell Degradation
56. Ein Modell ist trainiert – und jetzt?
56 | 66
Data Pipeline
RT Data Pipeline gibt den Takt in einem Data Science Systems vor
57. Ein Modell ist trainiert – und jetzt?
57 | 66
RT Model – Mittelpunkt des Data Science Systems
… aber im Mittelpunkt steht das ML Modell
58. Tieferer Einstieg in den Runtime-Teil
Runtime
CI/CD
Code
Daten
Data Science
Deployment
Modell
RT Data Pipeline
RT Model
Monitoring &
Modellmetriken
Trainingsdaten
Externe
Datenquellen
Vorhersagen
Überwachung
neue Trainingsdaten
Trigger bei Verschlechterung
des Modells
59. Tieferer Einstieg in den Runtime-Teil
Runtime
CI/CD
Code
Daten
Data Science
Deployment
Modell
RT Data Pipeline
RT Model
Monitoring &
Modellmetriken
Trainingsdaten
Externe
Datenquellen
Vorhersagen
Überwachung
neue Trainingsdaten
Trigger bei Verschlechterung
des Modells
Regeln zur
preparation
Metriken
60. Ein Modell ist trainiert – und jetzt?
60 | 66
Vorbereitung der Data Pipeline
Adaption der vorbereitenden Schritte der Data Pipeline
u Weg der Daten von der Einspeisung bis zum ML-Modell
u Jede Art von Transformation wie Cleaning
u Werden durch Data Science vorgegeben
In Echtzeitsystemen oder Systemen mit echt großen Datenmengen,
u … kommen Tools wie Apache Hadoop, Apache Cassandra, S3 zur Datenhaltung ins
Spiel
u … kommen Tools wie Apache Kafka, Apache Spark zur Verarbeitung ins Spiel
u … müssen ggfs. diese Schritte der Data Pipeline reprogrammiert werden
Data Pipeline bringt die Daten zum ML-Modell
61. Ein Modell ist trainiert – und jetzt?
61 | 66
Qualität muss überwacht werden
62. Ein Modell ist trainiert – und jetzt?
62 | 66
Feedback Loop – Monitoring und re-Trainning
Die Qualität des ML-Modells muss überwacht werden
u Modell Degradation
Zyklische Bewertung Modellqualität mittels einer Metrik
u Eine Metrik zur Qualitätsmessung
§ nutzt Informationen, welche zur Laufzeit erhoben werden
u Prozess, der zyklisch die Modellqualität misst
u Regel, die besagt,
§ wann ein Modell zu schlecht ist
§ … und re-trainiert werden muss
Reaktion auf Model Degradation
u Stößt ggfs. eine neue Version des Modells an
§ entweder über Data Science oder vollautomatisch
u … basierend auf den neuen Trainingsdaten aus der Laufzeitumgebung
63. Ein Modell ist trainiert – und jetzt?
63 | 66
Agenda
Data Science Modelle als Softwaresysteme
MLOps und Data Science
MLOps und CI/CD
MLOps und produktive Laufzeitumgebung
Take Home
Alles dreht sich um Daten | Data Science 'at Laptop' | Data Science 'at Scale'
64. Tieferer Einstieg in den Runtime-Teil
Runtime
CI/CD
Code
Daten
Data Science
Deployment
Modell
RT Data Pipeline
RT Model
Monitoring &
Modellmetriken
Trainingsdaten
Externe
Datenquellen
Vorhersagen
Überwachung
neue Trainingsdaten
Trigger bei Verschlechterung
des Modells
Regeln zur
preparation
Metriken
Experimente
65. Ein Modell ist trainiert – und jetzt?
65 | 66
Take Home – MLOps
Durchgängiger Entwicklungsprozess für ML-Modelle
u Vergleichbarkeit von ML-Modellen in der Entwicklungsphase
u Integration in CI/CD
u Unterstützung von ML-Modellen in unterschiedlichen Laufzeitumgebungen
u Monitoring von Modellen
Vorrausetzung dazu sind …
u … universelles Modell-Paketierungsformat
66. Ein Modell ist trainiert – und jetzt?
66 | 66
Take Home – MLOps
Durchgängiger Entwicklungsprozess für ML-Modelle
Der MLOps-Entwicklungsprozess integriert sich in den Bestehenden
u … Integration in bestehender CI/CD-Tools
u … Integration in bestehende Laufzeitumgebungen
Der MLOps-Entwicklungsprozess ergänzt den Bestehenden
u … Umgang mit ML-Modellen in Data Science
u … Paketierung von ML-Modellen
u … Monitoring von ML-Modellen
67. Ein Modell ist trainiert – und jetzt?
67 | 66
Ein integrierter, automatisierter Entwicklungsprozess ist
in „normalen“ Softwareprojekten Standard
… dazu muss es in Data-Science-Systemen auch kommen
MLOps
69. Ein Modell ist trainiert – und jetzt?
69 | 66
WWW.IKS-GMBH.COM
70. Ein Modell ist trainiert – und jetzt?
70 | 66
ML Engineering
https://ml-ops.org/content/end-to-end-ml-workflow
71. Ein Modell ist trainiert – und jetzt?
71 | 66
Was will MLOps
MLOps aims to unify the release cycle for machine learning and
software application release.
MLOps enables automated testing of machine learning artifacts (e.g.
data validation, ML model testing, and ML model integration testing)
MLOps enables the application of agile principles to machine learning
projects.
MLOps enables supporting machine learning models and datasets to build
these models as first-class citizens within CI/CD systems.
MLOps reduces technical debt across machine learning models.
MLOps must be a language-, framework-, platform-, and
infrastructure-agnostic practice.
72. Ein Modell ist trainiert – und jetzt?
72 | 66
Rollen
•Provide business questions, goals, or KPIs
•Continually evaluate and ensure that model performance aligns with or resolves the initial need.
Business Experte
•Build models that address the business question
•Deliver operationalizable models
•Assess model quality
Data Scientist
•Optimize the retrieval and use of data to power ML models.
Data Engineer
•Integrates ML-Model and ensure that ML models work seamlessly with other non-machine-learning-based applications
Software Engineer
•Continuous Integration/Continuous Delivery (CI/CD) pipeline management.
DevOps
•Minimize overall risk to the company as a result of ML models in production.
•Ensure compliance with internal and external requirements before pushing ML models to production.
Model Risk Mngmt
•Ensure a scalable and flexible environment for ML model pipelines, from design to development and monitoring.
Maschine Learning Architect
73. Ein Modell ist trainiert – und jetzt?
73 | 66
Tieferer Einstieg in den Data Science-Teil
74. Ein Modell ist trainiert – und jetzt?
74 | 66
Rollen und ihr Zusammenspiel
75. Ein Modell ist trainiert – und jetzt?
75 | 66
Agenda
Data Science Modelle als Softwaresystemen
MLOps und DataScience
MLOps und Data Engineering
Alles dreht sich um Daten | Data Science 'at Laptop' | Data Science 'at Scale'
76. Ein Modell ist trainiert – und jetzt?
76 | 66
Was ist ein ML-Modell
ML-Modell besteht aus :
u Trainingsdaten
u Performancemetrik
u ML Algorithmus
u Hyperparameter
u Evaluation- oder Test-Datensatz
77. Ein Modell ist trainiert – und jetzt?
77 | 66
Vergleich von ML-Modellen
78. Ein Modell ist trainiert – und jetzt?
78 | 66
Versionierung und Reproduzierbarkeit
79. Ein Modell ist trainiert – und jetzt?
79 | 66
Qualitätssicherung
80. Ein Modell ist trainiert – und jetzt?
80 | 66
Governance und Risiko Management
Data Governance
u What is the data’s provenance?
u How was the original data collected and under what terms of use?
u Is the data accurate and up to date?
u Is there PII or other forms of sensitive data that should not be used?
Risikomanagement
u Welche Risiken gibt es ?
§ Unklare Datenherkunft , DSGVO-Verstoß, politisch inkorrekter Bias
Process Governance
81. Ein Modell ist trainiert – und jetzt?
81 | 66
Was kann mit ML-Modellen in Produktion passieren?
After deploying the ML model into a software system, we might recognize
that as time goes by, the model starts to decay and to behave abnormally,
so we would need new data to re-train our ML model.
After examining the available data, we might recognize that it’s difficult to
get the data needed to solve the problem we previously defined, so we
would need to re-formulate the problem.
In the ML project at some stages, we might go back in the process and
either collect more data, or collect different data and re-label training data.
This should trigger the re-training of the ML Model.
After serving the model to the end-users, we might recognize that the
assumptions we made for training the model are wrong, so we have to
change our model.
Sometimes the business objective might change while project
development and we decide to change the machine learning algorithm to
train the model.
82. Ein Modell ist trainiert – und jetzt?
82 | 66
Agenda
Data Science Modelle als Softwaresystemen
MLOps und DataScience
MLOps und Data Engineering
Alles dreht sich um Daten | Data Science 'at Laptop' | Data Science 'at Scale'
83. Ein Modell ist trainiert – und jetzt?
83 | 66
ML-Model Degradation
Modellverschlechterung muss durch ständiges Beobachten überwacht
werden
Ist die Modellverschlechterung zu groß, so muss (je nach Problem):
u Modell re-trainiert werden
u Hyperparameter angepasst werden
u Neues Modell entwickelt werden
Die aktuellen Daten werden als Trainings- und Testdaten bereit gestellt
Monitor und Feedback-Loop
84. Ein Modell ist trainiert – und jetzt?
84 | 66
Deployment Pipeline
Deployment meint, dass
u … ein ML-Modell verpackt wird
u … und in unterschiedlichen Umgebungen reaktiviert werden kann
ML Modell muss so ‚verpackt‘ werden, dass
u … dem ML-Modell eine eindeutige und feste Version zugeordnet werden kann
u … jederzeit ein Test des Modells möglich ist
§ Metriken müssen geprüft werden
§ Trainings- und Testdaten müssen verfügbar sein
§ Software, in der das Modell geschrieben ist, ist verfügbar
§ Code zum Testen des Modells ist verfügbar
u … das ML-Modell in der Produktions-Infrastruktur in Betrieb genommen werden kann
§ ML-Modell muss eine Schnittstelle anbieten
85. Ein Modell ist trainiert – und jetzt?
85 | 66
Deployment Pipeline
Anpassung der
86. Ein Modell ist trainiert – und jetzt?
86 | 66
Verpackungsmaterial
Containerisierung
u Docker …
Paketierungsformate
87. Ein Modell ist trainiert – und jetzt?
87 | 66
Model Degradation – Verschlechterung von ML-Modelle
Ground Truth Evaluation
u ML-Modelle mit labeling (das Ergebnis/Performance der Vorhersage wird im Prozess
ermittelt)
§ System stellt eigene Trainingsdaten her !!
§ … damit kann untersucht werden, ob das Modell noch zu den aktuellen Daten
passt
u Metriken, um die Qualität des ML-Modells zu messen, basieren auf neuen Daten
u Probleme:
§ Performance lässt sich erst nach langer Zeit ermitteln
§ Vorhersage und Performance lassen sich schwer oder gar nicht zuordnen
§ Technisch liegen die Daten in getrennten Systemen
§ Es ist sehr auswendig/teuer, die Performance zu ermitteln
88. Ein Modell ist trainiert – und jetzt?
88 | 66
Model Degradition – Verschlechterung von ML-Modelle
Input Drift Detection
u ML-Modelle ohne labeling (das Ergebnis/Performance der Vorhersage steht nicht
zur Verfügung)
u … untersuche die statischen Eigenschaften der Trainings- und der aktuellen Daten
u … oder ML-Modelle, um data drift zu erkennen
89. Ein Modell ist trainiert – und jetzt?
89 | 66
Monitor und Feedback-Loop
90. Ein Modell ist trainiert – und jetzt?
90 | 66
Agenda
Data Science Modelle als Softwaresystemen
MLOps und Data Science
MLOps und Data Engineering
Abschluss
Alles dreht sich um Daten | Data Science 'at Laptop' | Data Science 'at Scale'
91. Ein Modell ist trainiert – und jetzt?
91 | 66
Zusammenfassung - ML Engineering
https://ml-ops.org/content/end-to-end-ml-workflow
92. Ein Modell ist trainiert – und jetzt?
92 | 66
WWW.IKS-GMBH.COM