SlideShare ist ein Scribd-Unternehmen logo
1 von 55
Downloaden Sie, um offline zu lesen
Lothar Jöckel (SCI-API-PFI)
BAT – Berner-Architekten-Treffen.ch
29.06.2018 – Zentrum Paul Klee, Bern
Optische Zuglokalisation
mit Machine Learning
 Im Service-Center der SBB-Infrastruktur seit 2013
 Kleines Team mit unterschiedlichem Background
▪ Physik, Mathematik, Computer-Science, Neuro-Wissenschaften
 Wir bieten Proof of Concept’s, Offene Arbeitsumgebung und
Interaktion
 Zusammenarbeit mit Forschungseinrichtungen (Universität Potsdam)
 Aktuelle Themen
Störungsdauerprognose, Automatisches Zugdispatching,
Fahrplansimulation HPC/CUDA, Optimierungen mit ASP
PFI
Platform Forschung und Innovation
Smart-Rail 4.0
 Optische Spur-Lokalisation beim PKW ist möglich, geht das auch
beim Zug?
 Im ersten Schritt:
Mit welcher Genauigkeit lassen sich Aussagen zur Gleisposition, also
auf welchem Gleis befindet sich der Zug, machen?
 Im zweiten Schritt:
Ist es möglich die Position auf der Strecke zu ermitteln?
 PoC gestartet März 2018
Optische Zuglokalisation PoC
Welche Fragen stellen sich?
 Frontkamera Bilder von Diagnosefahrzeug (DFZ)
 Unterschiedliche Bildformate und Dimensionen
▪ RGB / GrayScale
▪ 1176 x 866
▪ 2352 x 1772
 Unterschiedlichen Kameras und Lichtbedingungen (Über/Unterbelichtung)
 Trennung der Bilder in «labels» und «validation»
Verwendete Daten
Images
Verwendete Daten
Images
Optische Lokalisierung – Idee?
Labeln die Gleise am untersten Bildrand
Optische Lokalisierung – Idee?
Labeln die Gleise am untersten Bildrand
Labeln
Gleise und anderer Objekte
 Erlaubt das Labeln von Images mit «Bounding Boxes»
▪ track, bau, signal, balise, km, zwerg, (prellbock, sektor)
 Basiert auf OpenSource Tool «labelImg» (Python / QT)
 Anpassungen zur Produktivitätssteigerung (Autosave, Autogenerate)
 Export der Bounding Boxes im passenden Netzwerkformat.
 Integration Neuronalem Netzwerk
Labeln
«Labelimg»
SSD321, DSSD321, R-FCN
SSD5 13, DSSD513, FPN FRCN
RetinaNet-101-500 / 800
etc………
Warum YOLO?
Weil wir bei PFI gerne unbekanntes ausprobieren
und
weil ich ein grosser James Bond Fan bin!
Netzwerkauswahl
So many options!
 Paper Juni 2015 https://arxiv.org/pdf/1612.08242v1.pdf
Joseph Redmon and Ali Farhadi from the University of Washington
 Object-Detection in Bounding Boxes
 Version 3 – Veröffentlicht am 25. März 2018
 Besser als realtime!
▪ Object detection
> 30 fps (YOLO v3 darknet), > 60 fps darknet_AlexB mit cuDNN
▪ TinyYolo mit bis zu 155 fps
YOLO
You Only Look Once
 Ähnlich SSD (Single Shot Detector)
 DNN Implementierung mit «darknet»
▪ C, CUDA, OpenCV, Python mit ctypes, Numpy
 Built-In Image Augmentation
▪ Scale, Rotation, Crop, Flip, Distort, Hue, Saturation, Exposure
YOLO Neural
You Only Look Once
YOLO
How it works
We apply a single neural network to the full image.
This network divides the image into regions and
predicts bounding boxes and probabilities for each
region. These bounding boxes are weighted by the
predicted probabilities.
YOLO
Netzwerk-Architektur
YOLO
Benchmarking
Nvidia DGX-1
Hardware
 8 x Tesla V100 GPU’s
 1 petaFLOPS
= 10^15 (1.000.000.000.000.000) FLOPS
 128 GB GPU-Memory
 40960 GPU-Cores
 5120 Tensor Cores
 Dual 20-Core Xeon
 512 GB System Memory
 4 x 1.92 TB SSD
Nvidia DGX-1
Software - Docker
Nvidia DGX-1
Software - Remote Desktop mit X2Go
 1449 Images mit Bounding-Boxes gelabelt
▪ track=3982 balise=576 signal=493 km=407 zwerg=369 bau=156
 Aufteilung: 80% für Training, 20% für Test
 Training auf Nvidia DGX-1 (Volta-GPU)
▪ Laufzeit auf einer GPU: 5 Tage -> Verkürzt auf 1 Tag bei 4 GPU’s
▪ Bester Fehler bisher 0.31 -> 0.03 wäre Ziel
 Führt zu Vollauslastung der GPU’s (bis 300 Watt pro GPU)
YOLO
Training
YOLO v3
Training - tp / fp / fn
Objekt Detection
Einspur
Objekt Detection
Starker Kontrast – Schatten
Objekt Detection
Zweispur
Objekt Detection
Zweispur im Nebel
Objekt Detection
Tunnel
 UI in Python und QT
 Verwendet generierte mp4’s
als INPUT Stream
 Object detection in realtime
Tools
YoloDetector
 Netzwerk Konfiguration
 OpenCV in Realtime
Tools
YoloDetector
Ergebnisse
Sonnenschein
Ergebnisse
Nebel
Ergebnisse
Einfahrt Bern
 Labeln von Images auf Basis erkannter Objekte
Tool Erweiterungen
LabelImg - Auto-Generate
Tool Erweiterungen
LabelImg - Ground Truth
Tool Erweiterungen
LabelImg - Ground Truth
Tool Erweiterungen
YoloDetector - Ground-Truth für Gleise
Name TP FP FN Acc Prec Recal F1
tunnel 714 9 59 0.9885 0.9875 0.9236 0.9545
zweispur 320 1 35 0.9847 0.9968 0.9014 0.9467
nebel 5108 88 49 0.9964 0.9830 0.9904 0.9867
schnee 2661 44 226 0.9871 0.9837 0.9217 0.9517
nacht 5313 2300 278 0.9501 0.6978 0.9502 0.8047
dämmerung 3869 29 243 0.9906 0.9925 0.9409 0.9660
einspur 544 1 0 0.9998 0.9981 1.0 0.9990
chiasso 794 12 60 0.9856 0.9851 0.9297 0.9566
Ground-Truth Gleise (thresh: 0.25, thresh_hier: 0.5, thresh_nms= 0.45
Auswertung von «validation»
Neue Daten - Untrainiert
Dämmerung / Schnee
Neue Daten - Untrainiert
Nacht
 Viel mehr Images labeln
 Kamerakalibration (Verzerrung, Brennweite, Auflösung, etc.)
 Positionsbestimmung horizontal
▪ Integration mit Topologiedaten
 Positionsbestimmung vertikal (Tafeln mit OCR, Masten zählen?)
 Optische Entfernungsberechnungen (Gleisbreite)
Was noch zu tun bleibt
PoC 2
 Alternative Netzwerkarchitekturen
▪ RetinaNet und andere SSD Varianten
▪ Re3 Tracker
 Bessere Training und Runtime performance?
▪ PyTorch, Tensorflow, tensorRT
 NVIDIA Jetson TX2
 Portierung Mobile-Net für Android/iOS
Was noch zu tun bleibt
PoC 2
 Horizontale Positionsbestimmung und Objekterkennung ist vom
Prinzip her möglich.
 Aufwand für Labeling viel höher als erwartet.
 Es gibt noch viel zu tun!
Fazit
 CSEM - Swiss Center for Electronics and Microtechnology (EPFL)
 Mehrere Diagnosezüge bei der SBB
▪ Messungen bis 160 km/h
▪ Mehrere High-Resolution Kameras und andere Sensoren (Laser,
etc.)
▪ Gleisoberflächen, Geometrie
Machine Learning Projekte bei der SBB
Railway Track Fault Detection
 SBB Cargo Wayside Projekt
▪ Prüfen der Wagen, Bremssattel, Aufstiege, Radprofil
 Mehrere Diagnosezüge bei der SBB
▪ Messungen bis 120 km/H
▪ Mehrere High-Resolution Kameras und andere Sensoren (Laser,
etc.)
Machine Learning Projekte
Was läuft noch so bei der SBB
 SBB Cargo Wayside Projekt
▪ Prüfen der Wagen, Bremssattel, Aufstiege, Radprofil
Machine Learning Projekte
Was läuft noch so bei der SBB
 Dispositionsassistent mit Re-Inforcement Learning
 Störungsdauerprognose (LSTM)
 Defekt-App
 Railway Track faults
Deep Learning of Railway Track Faults using GPUs
 Nathalie Rauschmayr (CSEM (Swiss Center for Electronics and
Microtechnology))
Swiss Federal Railways (SBB) operate a 'diagnosis' train fitted with multiple high-resolution cameras that obtain
images of tracks - all while traveling at a speed of 75 mph. Current data processing software conducted in real time
on the train produces a too high rate of false positives/negatives to the extent that railway experts still need to go
Machine Learning Projekte
Was läuft noch so bei der SBB
 Heute werden die Güterwagen mehrmals täglich durch
Fachspezialisten vor Ort vor der Abfahrt kontrolliert.
▪ Dies stellt ein sehr aufwendiges Produktionskonzept dar.
 Zukünftig sollen diese Kontrollen durch den Einsatz von
Kameratechnologie an verschiedenen Standorten vereinfacht werden
und Probleme dadurch einfacher und innovativ gelöst werden. In
anderen Worten: Der zu implementierende Algorithmus soll defekte
Komponenten am Zug im Bild erkennen können.
Machine Learning Projekte
Wayside Intelligence – Schadenserkennung am Güterwagen
 Smartphone-Kamera kann Objekte, wie einen Billettautomat oder ein
Graffiti, erkennen.
 Das Ziel ist es, dass die App alle nötigen Angaben eines Defektes via
Smartphone-Kamera automatisch erkennt und der Benutzer oder die
Benutzerin möglichst wenig Informationen selber eingeben muss.
Machine Learning Projekte
Defect-App – Objekterkennung auf Smartphone
Noch Fragen?
Bahnbetrieb.
Icon zum Kerngeschäft der SBB.
Schiene, Gleis
Ware, Güter
Integrierte Mobilität
Energie, Strom
Passagiere (Kunden)
Bauen, Baustelle
Verkehr
Mitarbeiter
Bahnbetrieb.
Icon zum Kerngeschäft der SBB.
Störung
Bahnnetz
Teilgebiet des Bahnnetzes
Messung
Zeit
Machine Learning
Icons für Machine Learning Ansätze
Trainierter Agent
Human Performance
Agent
Trainierter Agent
Super Human Performance
Trainierter Agent
Beobachtung
Lernen
Interaktion
Belohnung
Kostenfunktion
Software
Icons für Software.
PyCUDA
GPURechner / RCS
Big Data / Software
Allgemein.
Icons für Idee, Experimente, Ergebnisse.
Idee
Experiment
Zunahme
Kosten (Finanzieller Art)
Antifragil
Zuverlässigkeit, Vertrag/Abmachung
Allgemein.
Icons für spezielle und schematische Darstellungen.
Schlecht, geht nicht, …
Gut, geht (funktioniert)
Aber Achtung, unklar
Maske für Grafik
Atom, Universum
New York (So viele Einwohner wie …)
Twitter

Weitere ähnliche Inhalte

Ähnlich wie BAT40 SBB Jöckel Optische Zuglokalisation mit Machine Learning

Dr. Andreas Lattner - Aufsetzen skalierbarer Prognose- und Analysedienste mit...
Dr. Andreas Lattner - Aufsetzen skalierbarer Prognose- und Analysedienste mit...Dr. Andreas Lattner - Aufsetzen skalierbarer Prognose- und Analysedienste mit...
Dr. Andreas Lattner - Aufsetzen skalierbarer Prognose- und Analysedienste mit...AboutYouGmbH
 
Kraus sepp cv&projekte 14062016_p_kurz
Kraus sepp cv&projekte 14062016_p_kurzKraus sepp cv&projekte 14062016_p_kurz
Kraus sepp cv&projekte 14062016_p_kurzWincor Nixdorf
 
Splunk Discovery Köln - 17-01-2020 - Forschungszentrum Juelich Fin
Splunk Discovery Köln - 17-01-2020 - Forschungszentrum Juelich FinSplunk Discovery Köln - 17-01-2020 - Forschungszentrum Juelich Fin
Splunk Discovery Köln - 17-01-2020 - Forschungszentrum Juelich FinSplunk
 
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...inovex GmbH
 
Digitale Datenerfassung an der Maschine | Digitale Zukunft Mittelstand Baden-...
Digitale Datenerfassung an der Maschine | Digitale Zukunft Mittelstand Baden-...Digitale Datenerfassung an der Maschine | Digitale Zukunft Mittelstand Baden-...
Digitale Datenerfassung an der Maschine | Digitale Zukunft Mittelstand Baden-...Bechtle
 
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem VormarschVon Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem VormarschAndreas Koop
 
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem VormarschVon Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarschenpit GmbH & Co. KG
 
DB Infrastructure Challenge - Team 4M
DB Infrastructure Challenge - Team 4MDB Infrastructure Challenge - Team 4M
DB Infrastructure Challenge - Team 4MDBHackathon
 
Whitepaper: Indoor Positionsbestimmung in Industrie & Logistik
Whitepaper: Indoor Positionsbestimmung in Industrie & LogistikWhitepaper: Indoor Positionsbestimmung in Industrie & Logistik
Whitepaper: Indoor Positionsbestimmung in Industrie & Logistikinfsoft GmbH
 
Schnelles Denken - Maschinelles Lernen mit Apache Spark 2
Schnelles Denken - Maschinelles Lernen mit Apache Spark 2Schnelles Denken - Maschinelles Lernen mit Apache Spark 2
Schnelles Denken - Maschinelles Lernen mit Apache Spark 2JAVAPRO
 
Data Science - (K)eine Teenagerliebe
Data Science - (K)eine TeenagerliebeData Science - (K)eine Teenagerliebe
Data Science - (K)eine TeenagerliebeThilo Stadelmann
 
OpenStreetMap und amtliche Geodaten (Workshop-Präsentation)
OpenStreetMap und amtliche Geodaten (Workshop-Präsentation)OpenStreetMap und amtliche Geodaten (Workshop-Präsentation)
OpenStreetMap und amtliche Geodaten (Workshop-Präsentation)Stefan Keller
 
Public Cloud Erfahrungsbericht SBB
Public Cloud Erfahrungsbericht SBBPublic Cloud Erfahrungsbericht SBB
Public Cloud Erfahrungsbericht SBBBATbern
 
Best Practices für TDD in JavaScript
Best Practices für TDD in JavaScriptBest Practices für TDD in JavaScript
Best Practices für TDD in JavaScriptSebastian Springer
 

Ähnlich wie BAT40 SBB Jöckel Optische Zuglokalisation mit Machine Learning (17)

Dr. Andreas Lattner - Aufsetzen skalierbarer Prognose- und Analysedienste mit...
Dr. Andreas Lattner - Aufsetzen skalierbarer Prognose- und Analysedienste mit...Dr. Andreas Lattner - Aufsetzen skalierbarer Prognose- und Analysedienste mit...
Dr. Andreas Lattner - Aufsetzen skalierbarer Prognose- und Analysedienste mit...
 
Kraus sepp cv&projekte 14062016_p_kurz
Kraus sepp cv&projekte 14062016_p_kurzKraus sepp cv&projekte 14062016_p_kurz
Kraus sepp cv&projekte 14062016_p_kurz
 
Splunk Discovery Köln - 17-01-2020 - Forschungszentrum Juelich Fin
Splunk Discovery Köln - 17-01-2020 - Forschungszentrum Juelich FinSplunk Discovery Köln - 17-01-2020 - Forschungszentrum Juelich Fin
Splunk Discovery Köln - 17-01-2020 - Forschungszentrum Juelich Fin
 
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
 
Digitale Datenerfassung an der Maschine | Digitale Zukunft Mittelstand Baden-...
Digitale Datenerfassung an der Maschine | Digitale Zukunft Mittelstand Baden-...Digitale Datenerfassung an der Maschine | Digitale Zukunft Mittelstand Baden-...
Digitale Datenerfassung an der Maschine | Digitale Zukunft Mittelstand Baden-...
 
VDC Newsletter 2009-01
VDC Newsletter 2009-01VDC Newsletter 2009-01
VDC Newsletter 2009-01
 
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem VormarschVon Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
 
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem VormarschVon Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
 
JavaScript Performance
JavaScript PerformanceJavaScript Performance
JavaScript Performance
 
DB Infrastructure Challenge - Team 4M
DB Infrastructure Challenge - Team 4MDB Infrastructure Challenge - Team 4M
DB Infrastructure Challenge - Team 4M
 
Whitepaper: Indoor Positionsbestimmung in Industrie & Logistik
Whitepaper: Indoor Positionsbestimmung in Industrie & LogistikWhitepaper: Indoor Positionsbestimmung in Industrie & Logistik
Whitepaper: Indoor Positionsbestimmung in Industrie & Logistik
 
Schnelles Denken - Maschinelles Lernen mit Apache Spark 2
Schnelles Denken - Maschinelles Lernen mit Apache Spark 2Schnelles Denken - Maschinelles Lernen mit Apache Spark 2
Schnelles Denken - Maschinelles Lernen mit Apache Spark 2
 
Data Science - (K)eine Teenagerliebe
Data Science - (K)eine TeenagerliebeData Science - (K)eine Teenagerliebe
Data Science - (K)eine Teenagerliebe
 
GPUs — Vom spezialisierten Coprozessor zum Numbercruncher
GPUs — Vom spezialisierten Coprozessor zum NumbercruncherGPUs — Vom spezialisierten Coprozessor zum Numbercruncher
GPUs — Vom spezialisierten Coprozessor zum Numbercruncher
 
OpenStreetMap und amtliche Geodaten (Workshop-Präsentation)
OpenStreetMap und amtliche Geodaten (Workshop-Präsentation)OpenStreetMap und amtliche Geodaten (Workshop-Präsentation)
OpenStreetMap und amtliche Geodaten (Workshop-Präsentation)
 
Public Cloud Erfahrungsbericht SBB
Public Cloud Erfahrungsbericht SBBPublic Cloud Erfahrungsbericht SBB
Public Cloud Erfahrungsbericht SBB
 
Best Practices für TDD in JavaScript
Best Practices für TDD in JavaScriptBest Practices für TDD in JavaScript
Best Practices für TDD in JavaScript
 

Mehr von BATbern

BATbern52 Moderation Berner Architekten Treffen zu Data Mesh
BATbern52 Moderation Berner Architekten Treffen zu Data MeshBATbern52 Moderation Berner Architekten Treffen zu Data Mesh
BATbern52 Moderation Berner Architekten Treffen zu Data MeshBATbern
 
BATbern52 Swisscom's Journey into Data Mesh
BATbern52 Swisscom's Journey into Data MeshBATbern52 Swisscom's Journey into Data Mesh
BATbern52 Swisscom's Journey into Data MeshBATbern
 
BATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und KnacknüsseBATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und KnacknüsseBATbern
 
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data Mesh
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data MeshBATbern52 Mobiliar zu Skalierte Datenprodukte mit Data Mesh
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data MeshBATbern
 
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++BATbern
 
Embracing Serverless: reengineering a real-estate digital marketplace
Embracing Serverless: reengineering a real-estate digital marketplaceEmbracing Serverless: reengineering a real-estate digital marketplace
Embracing Serverless: reengineering a real-estate digital marketplaceBATbern
 
Serverless und Event-Driven Architecture
Serverless und Event-Driven ArchitectureServerless und Event-Driven Architecture
Serverless und Event-Driven ArchitectureBATbern
 
Serverless Dev(Ops) in der Praxis
Serverless Dev(Ops) in der PraxisServerless Dev(Ops) in der Praxis
Serverless Dev(Ops) in der PraxisBATbern
 
Serverless at Lifestage
Serverless at LifestageServerless at Lifestage
Serverless at LifestageBATbern
 
Keynote Gregor Hohpe - Serverless Architectures
Keynote Gregor Hohpe - Serverless ArchitecturesKeynote Gregor Hohpe - Serverless Architectures
Keynote Gregor Hohpe - Serverless ArchitecturesBATbern
 
BATbern51 Serverless?!
BATbern51 Serverless?!BATbern51 Serverless?!
BATbern51 Serverless?!BATbern
 
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen Partners
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen PartnersEin Rückblick anlässlich des 50. BAT aus Sicht eines treuen Partners
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen PartnersBATbern
 
MLOps journey at Swisscom: AI Use Cases, Architecture and Future Vision
MLOps journey at Swisscom: AI Use Cases, Architecture and Future VisionMLOps journey at Swisscom: AI Use Cases, Architecture and Future Vision
MLOps journey at Swisscom: AI Use Cases, Architecture and Future VisionBATbern
 
From Ideation to Production in 7 days: The Scoring Factory at Raiffeisen
From Ideation to Production in 7 days: The Scoring Factory at RaiffeisenFrom Ideation to Production in 7 days: The Scoring Factory at Raiffeisen
From Ideation to Production in 7 days: The Scoring Factory at RaiffeisenBATbern
 
The Future of Coaching in Sport with AI/ML
The Future of Coaching in Sport with AI/MLThe Future of Coaching in Sport with AI/ML
The Future of Coaching in Sport with AI/MLBATbern
 
Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar
Klassifizierung von Versicherungsschäden – AI und MLOps bei der MobiliarKlassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar
Klassifizierung von Versicherungsschäden – AI und MLOps bei der MobiliarBATbern
 
BATbern48_ZeroTrust-Konzept und Realität.pdf
BATbern48_ZeroTrust-Konzept und Realität.pdfBATbern48_ZeroTrust-Konzept und Realität.pdf
BATbern48_ZeroTrust-Konzept und Realität.pdfBATbern
 
BATbern48_How Zero Trust can help your organisation keep safe.pdf
BATbern48_How Zero Trust can help your organisation keep safe.pdfBATbern48_How Zero Trust can help your organisation keep safe.pdf
BATbern48_How Zero Trust can help your organisation keep safe.pdfBATbern
 
BATbern48_Zero Trust Architektur des ISC-EJPD.pdf
BATbern48_Zero Trust Architektur des ISC-EJPD.pdfBATbern48_Zero Trust Architektur des ISC-EJPD.pdf
BATbern48_Zero Trust Architektur des ISC-EJPD.pdfBATbern
 
Why did the shift-left end up in the cloud for Bank Julius Baer?
Why did the shift-left end up in the cloud for Bank Julius Baer?Why did the shift-left end up in the cloud for Bank Julius Baer?
Why did the shift-left end up in the cloud for Bank Julius Baer?BATbern
 

Mehr von BATbern (20)

BATbern52 Moderation Berner Architekten Treffen zu Data Mesh
BATbern52 Moderation Berner Architekten Treffen zu Data MeshBATbern52 Moderation Berner Architekten Treffen zu Data Mesh
BATbern52 Moderation Berner Architekten Treffen zu Data Mesh
 
BATbern52 Swisscom's Journey into Data Mesh
BATbern52 Swisscom's Journey into Data MeshBATbern52 Swisscom's Journey into Data Mesh
BATbern52 Swisscom's Journey into Data Mesh
 
BATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und KnacknüsseBATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und Knacknüsse
 
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data Mesh
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data MeshBATbern52 Mobiliar zu Skalierte Datenprodukte mit Data Mesh
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data Mesh
 
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
 
Embracing Serverless: reengineering a real-estate digital marketplace
Embracing Serverless: reengineering a real-estate digital marketplaceEmbracing Serverless: reengineering a real-estate digital marketplace
Embracing Serverless: reengineering a real-estate digital marketplace
 
Serverless und Event-Driven Architecture
Serverless und Event-Driven ArchitectureServerless und Event-Driven Architecture
Serverless und Event-Driven Architecture
 
Serverless Dev(Ops) in der Praxis
Serverless Dev(Ops) in der PraxisServerless Dev(Ops) in der Praxis
Serverless Dev(Ops) in der Praxis
 
Serverless at Lifestage
Serverless at LifestageServerless at Lifestage
Serverless at Lifestage
 
Keynote Gregor Hohpe - Serverless Architectures
Keynote Gregor Hohpe - Serverless ArchitecturesKeynote Gregor Hohpe - Serverless Architectures
Keynote Gregor Hohpe - Serverless Architectures
 
BATbern51 Serverless?!
BATbern51 Serverless?!BATbern51 Serverless?!
BATbern51 Serverless?!
 
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen Partners
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen PartnersEin Rückblick anlässlich des 50. BAT aus Sicht eines treuen Partners
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen Partners
 
MLOps journey at Swisscom: AI Use Cases, Architecture and Future Vision
MLOps journey at Swisscom: AI Use Cases, Architecture and Future VisionMLOps journey at Swisscom: AI Use Cases, Architecture and Future Vision
MLOps journey at Swisscom: AI Use Cases, Architecture and Future Vision
 
From Ideation to Production in 7 days: The Scoring Factory at Raiffeisen
From Ideation to Production in 7 days: The Scoring Factory at RaiffeisenFrom Ideation to Production in 7 days: The Scoring Factory at Raiffeisen
From Ideation to Production in 7 days: The Scoring Factory at Raiffeisen
 
The Future of Coaching in Sport with AI/ML
The Future of Coaching in Sport with AI/MLThe Future of Coaching in Sport with AI/ML
The Future of Coaching in Sport with AI/ML
 
Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar
Klassifizierung von Versicherungsschäden – AI und MLOps bei der MobiliarKlassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar
Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar
 
BATbern48_ZeroTrust-Konzept und Realität.pdf
BATbern48_ZeroTrust-Konzept und Realität.pdfBATbern48_ZeroTrust-Konzept und Realität.pdf
BATbern48_ZeroTrust-Konzept und Realität.pdf
 
BATbern48_How Zero Trust can help your organisation keep safe.pdf
BATbern48_How Zero Trust can help your organisation keep safe.pdfBATbern48_How Zero Trust can help your organisation keep safe.pdf
BATbern48_How Zero Trust can help your organisation keep safe.pdf
 
BATbern48_Zero Trust Architektur des ISC-EJPD.pdf
BATbern48_Zero Trust Architektur des ISC-EJPD.pdfBATbern48_Zero Trust Architektur des ISC-EJPD.pdf
BATbern48_Zero Trust Architektur des ISC-EJPD.pdf
 
Why did the shift-left end up in the cloud for Bank Julius Baer?
Why did the shift-left end up in the cloud for Bank Julius Baer?Why did the shift-left end up in the cloud for Bank Julius Baer?
Why did the shift-left end up in the cloud for Bank Julius Baer?
 

BAT40 SBB Jöckel Optische Zuglokalisation mit Machine Learning

  • 1. Lothar Jöckel (SCI-API-PFI) BAT – Berner-Architekten-Treffen.ch 29.06.2018 – Zentrum Paul Klee, Bern Optische Zuglokalisation mit Machine Learning
  • 2.  Im Service-Center der SBB-Infrastruktur seit 2013  Kleines Team mit unterschiedlichem Background ▪ Physik, Mathematik, Computer-Science, Neuro-Wissenschaften  Wir bieten Proof of Concept’s, Offene Arbeitsumgebung und Interaktion  Zusammenarbeit mit Forschungseinrichtungen (Universität Potsdam)  Aktuelle Themen Störungsdauerprognose, Automatisches Zugdispatching, Fahrplansimulation HPC/CUDA, Optimierungen mit ASP PFI Platform Forschung und Innovation
  • 4.  Optische Spur-Lokalisation beim PKW ist möglich, geht das auch beim Zug?  Im ersten Schritt: Mit welcher Genauigkeit lassen sich Aussagen zur Gleisposition, also auf welchem Gleis befindet sich der Zug, machen?  Im zweiten Schritt: Ist es möglich die Position auf der Strecke zu ermitteln?  PoC gestartet März 2018 Optische Zuglokalisation PoC Welche Fragen stellen sich?
  • 5.  Frontkamera Bilder von Diagnosefahrzeug (DFZ)  Unterschiedliche Bildformate und Dimensionen ▪ RGB / GrayScale ▪ 1176 x 866 ▪ 2352 x 1772  Unterschiedlichen Kameras und Lichtbedingungen (Über/Unterbelichtung)  Trennung der Bilder in «labels» und «validation» Verwendete Daten Images
  • 7. Optische Lokalisierung – Idee? Labeln die Gleise am untersten Bildrand
  • 8. Optische Lokalisierung – Idee? Labeln die Gleise am untersten Bildrand
  • 10.  Erlaubt das Labeln von Images mit «Bounding Boxes» ▪ track, bau, signal, balise, km, zwerg, (prellbock, sektor)  Basiert auf OpenSource Tool «labelImg» (Python / QT)  Anpassungen zur Produktivitätssteigerung (Autosave, Autogenerate)  Export der Bounding Boxes im passenden Netzwerkformat.  Integration Neuronalem Netzwerk Labeln «Labelimg»
  • 11. SSD321, DSSD321, R-FCN SSD5 13, DSSD513, FPN FRCN RetinaNet-101-500 / 800 etc……… Warum YOLO? Weil wir bei PFI gerne unbekanntes ausprobieren und weil ich ein grosser James Bond Fan bin! Netzwerkauswahl So many options!
  • 12.  Paper Juni 2015 https://arxiv.org/pdf/1612.08242v1.pdf Joseph Redmon and Ali Farhadi from the University of Washington  Object-Detection in Bounding Boxes  Version 3 – Veröffentlicht am 25. März 2018  Besser als realtime! ▪ Object detection > 30 fps (YOLO v3 darknet), > 60 fps darknet_AlexB mit cuDNN ▪ TinyYolo mit bis zu 155 fps YOLO You Only Look Once
  • 13.  Ähnlich SSD (Single Shot Detector)  DNN Implementierung mit «darknet» ▪ C, CUDA, OpenCV, Python mit ctypes, Numpy  Built-In Image Augmentation ▪ Scale, Rotation, Crop, Flip, Distort, Hue, Saturation, Exposure YOLO Neural You Only Look Once
  • 14. YOLO How it works We apply a single neural network to the full image. This network divides the image into regions and predicts bounding boxes and probabilities for each region. These bounding boxes are weighted by the predicted probabilities.
  • 17. Nvidia DGX-1 Hardware  8 x Tesla V100 GPU’s  1 petaFLOPS = 10^15 (1.000.000.000.000.000) FLOPS  128 GB GPU-Memory  40960 GPU-Cores  5120 Tensor Cores  Dual 20-Core Xeon  512 GB System Memory  4 x 1.92 TB SSD
  • 19. Nvidia DGX-1 Software - Remote Desktop mit X2Go
  • 20.  1449 Images mit Bounding-Boxes gelabelt ▪ track=3982 balise=576 signal=493 km=407 zwerg=369 bau=156  Aufteilung: 80% für Training, 20% für Test  Training auf Nvidia DGX-1 (Volta-GPU) ▪ Laufzeit auf einer GPU: 5 Tage -> Verkürzt auf 1 Tag bei 4 GPU’s ▪ Bester Fehler bisher 0.31 -> 0.03 wäre Ziel  Führt zu Vollauslastung der GPU’s (bis 300 Watt pro GPU) YOLO Training
  • 21. YOLO v3 Training - tp / fp / fn
  • 27.  UI in Python und QT  Verwendet generierte mp4’s als INPUT Stream  Object detection in realtime Tools YoloDetector
  • 28.  Netzwerk Konfiguration  OpenCV in Realtime Tools YoloDetector
  • 32.  Labeln von Images auf Basis erkannter Objekte Tool Erweiterungen LabelImg - Auto-Generate
  • 35. Tool Erweiterungen YoloDetector - Ground-Truth für Gleise
  • 36. Name TP FP FN Acc Prec Recal F1 tunnel 714 9 59 0.9885 0.9875 0.9236 0.9545 zweispur 320 1 35 0.9847 0.9968 0.9014 0.9467 nebel 5108 88 49 0.9964 0.9830 0.9904 0.9867 schnee 2661 44 226 0.9871 0.9837 0.9217 0.9517 nacht 5313 2300 278 0.9501 0.6978 0.9502 0.8047 dämmerung 3869 29 243 0.9906 0.9925 0.9409 0.9660 einspur 544 1 0 0.9998 0.9981 1.0 0.9990 chiasso 794 12 60 0.9856 0.9851 0.9297 0.9566 Ground-Truth Gleise (thresh: 0.25, thresh_hier: 0.5, thresh_nms= 0.45 Auswertung von «validation»
  • 37. Neue Daten - Untrainiert Dämmerung / Schnee
  • 38. Neue Daten - Untrainiert Nacht
  • 39.  Viel mehr Images labeln  Kamerakalibration (Verzerrung, Brennweite, Auflösung, etc.)  Positionsbestimmung horizontal ▪ Integration mit Topologiedaten  Positionsbestimmung vertikal (Tafeln mit OCR, Masten zählen?)  Optische Entfernungsberechnungen (Gleisbreite) Was noch zu tun bleibt PoC 2
  • 40.  Alternative Netzwerkarchitekturen ▪ RetinaNet und andere SSD Varianten ▪ Re3 Tracker  Bessere Training und Runtime performance? ▪ PyTorch, Tensorflow, tensorRT  NVIDIA Jetson TX2  Portierung Mobile-Net für Android/iOS Was noch zu tun bleibt PoC 2
  • 41.  Horizontale Positionsbestimmung und Objekterkennung ist vom Prinzip her möglich.  Aufwand für Labeling viel höher als erwartet.  Es gibt noch viel zu tun! Fazit
  • 42.  CSEM - Swiss Center for Electronics and Microtechnology (EPFL)  Mehrere Diagnosezüge bei der SBB ▪ Messungen bis 160 km/h ▪ Mehrere High-Resolution Kameras und andere Sensoren (Laser, etc.) ▪ Gleisoberflächen, Geometrie Machine Learning Projekte bei der SBB Railway Track Fault Detection
  • 43.  SBB Cargo Wayside Projekt ▪ Prüfen der Wagen, Bremssattel, Aufstiege, Radprofil  Mehrere Diagnosezüge bei der SBB ▪ Messungen bis 120 km/H ▪ Mehrere High-Resolution Kameras und andere Sensoren (Laser, etc.) Machine Learning Projekte Was läuft noch so bei der SBB
  • 44.  SBB Cargo Wayside Projekt ▪ Prüfen der Wagen, Bremssattel, Aufstiege, Radprofil Machine Learning Projekte Was läuft noch so bei der SBB
  • 45.  Dispositionsassistent mit Re-Inforcement Learning  Störungsdauerprognose (LSTM)  Defekt-App  Railway Track faults Deep Learning of Railway Track Faults using GPUs  Nathalie Rauschmayr (CSEM (Swiss Center for Electronics and Microtechnology)) Swiss Federal Railways (SBB) operate a 'diagnosis' train fitted with multiple high-resolution cameras that obtain images of tracks - all while traveling at a speed of 75 mph. Current data processing software conducted in real time on the train produces a too high rate of false positives/negatives to the extent that railway experts still need to go Machine Learning Projekte Was läuft noch so bei der SBB
  • 46.  Heute werden die Güterwagen mehrmals täglich durch Fachspezialisten vor Ort vor der Abfahrt kontrolliert. ▪ Dies stellt ein sehr aufwendiges Produktionskonzept dar.  Zukünftig sollen diese Kontrollen durch den Einsatz von Kameratechnologie an verschiedenen Standorten vereinfacht werden und Probleme dadurch einfacher und innovativ gelöst werden. In anderen Worten: Der zu implementierende Algorithmus soll defekte Komponenten am Zug im Bild erkennen können. Machine Learning Projekte Wayside Intelligence – Schadenserkennung am Güterwagen
  • 47.  Smartphone-Kamera kann Objekte, wie einen Billettautomat oder ein Graffiti, erkennen.  Das Ziel ist es, dass die App alle nötigen Angaben eines Defektes via Smartphone-Kamera automatisch erkennt und der Benutzer oder die Benutzerin möglichst wenig Informationen selber eingeben muss. Machine Learning Projekte Defect-App – Objekterkennung auf Smartphone
  • 48.
  • 50. Bahnbetrieb. Icon zum Kerngeschäft der SBB. Schiene, Gleis Ware, Güter Integrierte Mobilität Energie, Strom Passagiere (Kunden) Bauen, Baustelle Verkehr Mitarbeiter
  • 51. Bahnbetrieb. Icon zum Kerngeschäft der SBB. Störung Bahnnetz Teilgebiet des Bahnnetzes Messung Zeit
  • 52. Machine Learning Icons für Machine Learning Ansätze Trainierter Agent Human Performance Agent Trainierter Agent Super Human Performance Trainierter Agent Beobachtung Lernen Interaktion Belohnung Kostenfunktion
  • 54. Allgemein. Icons für Idee, Experimente, Ergebnisse. Idee Experiment Zunahme Kosten (Finanzieller Art) Antifragil Zuverlässigkeit, Vertrag/Abmachung
  • 55. Allgemein. Icons für spezielle und schematische Darstellungen. Schlecht, geht nicht, … Gut, geht (funktioniert) Aber Achtung, unklar Maske für Grafik Atom, Universum New York (So viele Einwohner wie …) Twitter