BAT40 SBB Jöckel Optische Zuglokalisation mit Machine Learning
•
1 gefällt mir•444 views
Die SBB hat in 2017 die «SmartRail 4.0» Initiative lanciert, mit der die Bahn die künftigen Herausforderungen im multimodalen Verkehr meistern will. Eine erwartete Zunahme des Fahrgastaufkommens um 30% in den nächsten Jahren, macht es erforderlich, die letzten Reserven, auf dem ohnehin schon am dichtest befahrenen Schienennetz der Welt, zu mobilisieren. Neben neuen Ansätzen zur automatisierten Erstellung von Fahrplänen, der Teilautomatisierung des Betriebs mit optimaler Zugsteuerung, und der Volldigitalisierung der Stellwerke, spielt die exakte und zuverlässige Positionsfeststellung eines Zuges, eine entscheidende Rolle. In Ergänzung zu den bekannten Satellitengestützten Verfahren, hat die SBB erste Experimente zur Optischen Lokalisation von Zügen gestartet. In dem Vortrag werden wir den Stand eines «Proof of Concept» vorstellen, mit dem wir die Gleisgenaue Position eines Zuges bestimmen können.
Empfohlen
Weitere ähnliche Inhalte
Ähnlich wie BAT40 SBB Jöckel Optische Zuglokalisation mit Machine Learning
Ähnlich wie BAT40 SBB Jöckel Optische Zuglokalisation mit Machine Learning (17)
Mehr von BATbern
Mehr von BATbern (20)
BAT40 SBB Jöckel Optische Zuglokalisation mit Machine Learning
- 1. Lothar Jöckel (SCI-API-PFI) BAT – Berner-Architekten-Treffen.ch 29.06.2018 – Zentrum Paul Klee, Bern Optische Zuglokalisation mit Machine Learning
- 2. Im Service-Center der SBB-Infrastruktur seit 2013 Kleines Team mit unterschiedlichem Background ▪ Physik, Mathematik, Computer-Science, Neuro-Wissenschaften Wir bieten Proof of Concept’s, Offene Arbeitsumgebung und Interaktion Zusammenarbeit mit Forschungseinrichtungen (Universität Potsdam) Aktuelle Themen Störungsdauerprognose, Automatisches Zugdispatching, Fahrplansimulation HPC/CUDA, Optimierungen mit ASP PFI Platform Forschung und Innovation
- 4. Optische Spur-Lokalisation beim PKW ist möglich, geht das auch beim Zug? Im ersten Schritt: Mit welcher Genauigkeit lassen sich Aussagen zur Gleisposition, also auf welchem Gleis befindet sich der Zug, machen? Im zweiten Schritt: Ist es möglich die Position auf der Strecke zu ermitteln? PoC gestartet März 2018 Optische Zuglokalisation PoC Welche Fragen stellen sich?
- 5. Frontkamera Bilder von Diagnosefahrzeug (DFZ) Unterschiedliche Bildformate und Dimensionen ▪ RGB / GrayScale ▪ 1176 x 866 ▪ 2352 x 1772 Unterschiedlichen Kameras und Lichtbedingungen (Über/Unterbelichtung) Trennung der Bilder in «labels» und «validation» Verwendete Daten Images
- 7. Optische Lokalisierung – Idee? Labeln die Gleise am untersten Bildrand
- 8. Optische Lokalisierung – Idee? Labeln die Gleise am untersten Bildrand
- 9. Labeln Gleise und anderer Objekte
- 10. Erlaubt das Labeln von Images mit «Bounding Boxes» ▪ track, bau, signal, balise, km, zwerg, (prellbock, sektor) Basiert auf OpenSource Tool «labelImg» (Python / QT) Anpassungen zur Produktivitätssteigerung (Autosave, Autogenerate) Export der Bounding Boxes im passenden Netzwerkformat. Integration Neuronalem Netzwerk Labeln «Labelimg»
- 11. SSD321, DSSD321, R-FCN SSD5 13, DSSD513, FPN FRCN RetinaNet-101-500 / 800 etc……… Warum YOLO? Weil wir bei PFI gerne unbekanntes ausprobieren und weil ich ein grosser James Bond Fan bin! Netzwerkauswahl So many options!
- 12. Paper Juni 2015 https://arxiv.org/pdf/1612.08242v1.pdf Joseph Redmon and Ali Farhadi from the University of Washington Object-Detection in Bounding Boxes Version 3 – Veröffentlicht am 25. März 2018 Besser als realtime! ▪ Object detection > 30 fps (YOLO v3 darknet), > 60 fps darknet_AlexB mit cuDNN ▪ TinyYolo mit bis zu 155 fps YOLO You Only Look Once
- 13. Ähnlich SSD (Single Shot Detector) DNN Implementierung mit «darknet» ▪ C, CUDA, OpenCV, Python mit ctypes, Numpy Built-In Image Augmentation ▪ Scale, Rotation, Crop, Flip, Distort, Hue, Saturation, Exposure YOLO Neural You Only Look Once
- 14. YOLO How it works We apply a single neural network to the full image. This network divides the image into regions and predicts bounding boxes and probabilities for each region. These bounding boxes are weighted by the predicted probabilities.
- 17. Nvidia DGX-1 Hardware 8 x Tesla V100 GPU’s 1 petaFLOPS = 10^15 (1.000.000.000.000.000) FLOPS 128 GB GPU-Memory 40960 GPU-Cores 5120 Tensor Cores Dual 20-Core Xeon 512 GB System Memory 4 x 1.92 TB SSD
- 18. Nvidia DGX-1 Software - Docker
- 19. Nvidia DGX-1 Software - Remote Desktop mit X2Go
- 20. 1449 Images mit Bounding-Boxes gelabelt ▪ track=3982 balise=576 signal=493 km=407 zwerg=369 bau=156 Aufteilung: 80% für Training, 20% für Test Training auf Nvidia DGX-1 (Volta-GPU) ▪ Laufzeit auf einer GPU: 5 Tage -> Verkürzt auf 1 Tag bei 4 GPU’s ▪ Bester Fehler bisher 0.31 -> 0.03 wäre Ziel Führt zu Vollauslastung der GPU’s (bis 300 Watt pro GPU) YOLO Training
- 21. YOLO v3 Training - tp / fp / fn
- 23. Objekt Detection Starker Kontrast – Schatten
- 25. Objekt Detection Zweispur im Nebel
- 27. UI in Python und QT Verwendet generierte mp4’s als INPUT Stream Object detection in realtime Tools YoloDetector
- 28. Netzwerk Konfiguration OpenCV in Realtime Tools YoloDetector
- 30. Ergebnisse Nebel
- 32. Labeln von Images auf Basis erkannter Objekte Tool Erweiterungen LabelImg - Auto-Generate
- 33. Tool Erweiterungen LabelImg - Ground Truth
- 34. Tool Erweiterungen LabelImg - Ground Truth
- 35. Tool Erweiterungen YoloDetector - Ground-Truth für Gleise
- 36. Name TP FP FN Acc Prec Recal F1 tunnel 714 9 59 0.9885 0.9875 0.9236 0.9545 zweispur 320 1 35 0.9847 0.9968 0.9014 0.9467 nebel 5108 88 49 0.9964 0.9830 0.9904 0.9867 schnee 2661 44 226 0.9871 0.9837 0.9217 0.9517 nacht 5313 2300 278 0.9501 0.6978 0.9502 0.8047 dämmerung 3869 29 243 0.9906 0.9925 0.9409 0.9660 einspur 544 1 0 0.9998 0.9981 1.0 0.9990 chiasso 794 12 60 0.9856 0.9851 0.9297 0.9566 Ground-Truth Gleise (thresh: 0.25, thresh_hier: 0.5, thresh_nms= 0.45 Auswertung von «validation»
- 37. Neue Daten - Untrainiert Dämmerung / Schnee
- 38. Neue Daten - Untrainiert Nacht
- 39. Viel mehr Images labeln Kamerakalibration (Verzerrung, Brennweite, Auflösung, etc.) Positionsbestimmung horizontal ▪ Integration mit Topologiedaten Positionsbestimmung vertikal (Tafeln mit OCR, Masten zählen?) Optische Entfernungsberechnungen (Gleisbreite) Was noch zu tun bleibt PoC 2
- 40. Alternative Netzwerkarchitekturen ▪ RetinaNet und andere SSD Varianten ▪ Re3 Tracker Bessere Training und Runtime performance? ▪ PyTorch, Tensorflow, tensorRT NVIDIA Jetson TX2 Portierung Mobile-Net für Android/iOS Was noch zu tun bleibt PoC 2
- 41. Horizontale Positionsbestimmung und Objekterkennung ist vom Prinzip her möglich. Aufwand für Labeling viel höher als erwartet. Es gibt noch viel zu tun! Fazit
- 42. CSEM - Swiss Center for Electronics and Microtechnology (EPFL) Mehrere Diagnosezüge bei der SBB ▪ Messungen bis 160 km/h ▪ Mehrere High-Resolution Kameras und andere Sensoren (Laser, etc.) ▪ Gleisoberflächen, Geometrie Machine Learning Projekte bei der SBB Railway Track Fault Detection
- 43. SBB Cargo Wayside Projekt ▪ Prüfen der Wagen, Bremssattel, Aufstiege, Radprofil Mehrere Diagnosezüge bei der SBB ▪ Messungen bis 120 km/H ▪ Mehrere High-Resolution Kameras und andere Sensoren (Laser, etc.) Machine Learning Projekte Was läuft noch so bei der SBB
- 44. SBB Cargo Wayside Projekt ▪ Prüfen der Wagen, Bremssattel, Aufstiege, Radprofil Machine Learning Projekte Was läuft noch so bei der SBB
- 45. Dispositionsassistent mit Re-Inforcement Learning Störungsdauerprognose (LSTM) Defekt-App Railway Track faults Deep Learning of Railway Track Faults using GPUs Nathalie Rauschmayr (CSEM (Swiss Center for Electronics and Microtechnology)) Swiss Federal Railways (SBB) operate a 'diagnosis' train fitted with multiple high-resolution cameras that obtain images of tracks - all while traveling at a speed of 75 mph. Current data processing software conducted in real time on the train produces a too high rate of false positives/negatives to the extent that railway experts still need to go Machine Learning Projekte Was läuft noch so bei der SBB
- 46. Heute werden die Güterwagen mehrmals täglich durch Fachspezialisten vor Ort vor der Abfahrt kontrolliert. ▪ Dies stellt ein sehr aufwendiges Produktionskonzept dar. Zukünftig sollen diese Kontrollen durch den Einsatz von Kameratechnologie an verschiedenen Standorten vereinfacht werden und Probleme dadurch einfacher und innovativ gelöst werden. In anderen Worten: Der zu implementierende Algorithmus soll defekte Komponenten am Zug im Bild erkennen können. Machine Learning Projekte Wayside Intelligence – Schadenserkennung am Güterwagen
- 47. Smartphone-Kamera kann Objekte, wie einen Billettautomat oder ein Graffiti, erkennen. Das Ziel ist es, dass die App alle nötigen Angaben eines Defektes via Smartphone-Kamera automatisch erkennt und der Benutzer oder die Benutzerin möglichst wenig Informationen selber eingeben muss. Machine Learning Projekte Defect-App – Objekterkennung auf Smartphone
- 49. Noch Fragen?
- 50. Bahnbetrieb. Icon zum Kerngeschäft der SBB. Schiene, Gleis Ware, Güter Integrierte Mobilität Energie, Strom Passagiere (Kunden) Bauen, Baustelle Verkehr Mitarbeiter
- 51. Bahnbetrieb. Icon zum Kerngeschäft der SBB. Störung Bahnnetz Teilgebiet des Bahnnetzes Messung Zeit
- 52. Machine Learning Icons für Machine Learning Ansätze Trainierter Agent Human Performance Agent Trainierter Agent Super Human Performance Trainierter Agent Beobachtung Lernen Interaktion Belohnung Kostenfunktion
- 53. Software Icons für Software. PyCUDA GPURechner / RCS Big Data / Software
- 54. Allgemein. Icons für Idee, Experimente, Ergebnisse. Idee Experiment Zunahme Kosten (Finanzieller Art) Antifragil Zuverlässigkeit, Vertrag/Abmachung
- 55. Allgemein. Icons für spezielle und schematische Darstellungen. Schlecht, geht nicht, … Gut, geht (funktioniert) Aber Achtung, unklar Maske für Grafik Atom, Universum New York (So viele Einwohner wie …) Twitter