Dank moderner Werkzeuge wie OpenDataCam ist Computer Vision, ein Teilbereich der KI, heute keine Raketenwissenschaft mehr. Mit ein wenig technischem Sachverstand kann man mit der Quantifizierung der Welt beginnen. Stephan Hochhaus gibt uns einen Einblick, wie man ohne Spezialkenntnisse Objekte erkennen, nachverfolgen und zählen kann. Dazu berichtet er von seinen Erfahrungen beim Zählen vor der eigenen Haustür mit einem nVidia Jetson und einer Webcam.

1. Wie ich einmal eine Viertelmillion Autos gezählt habe

2. Ich zähle und erzähle
Stephan Hochhaus
Digital Product Nerd
@codecentric
Stephan Hochhaus
Digital Product Professional am Tag
Computer Vision Enthusiast bei Nacht

3. Was ich zu erzählen habe
• Wie alles begann
• Computer Vision Basics
• OpenDataCam
• Basics
• Praxis
• Erkenntnisse
• Rahmenbedingungen
• Einsatzszenarien

4. Wie alles begann

5. Aber dann…

6. Computer Vision – Tools
Technik für lange Winterabende

7. Computer Vision: Was man so braucht

8. CV Tools: CUDA
GPUs sind für moderne KI-Methoden
um ein Vielfaches effizienter als CPUs.
CUDA ist eine von Nvidia entwickelte
Programmierplattform, mit der Programmteile
durch die GPU verarbeitet werden können.

9. CV Tools: Darknet
Darknet ist ein Open-Source-Framework für
Neuronale Netzwerke basierend auf C und CUDA.

10. CV Tools: You only look once
YOLO ist ein Echtzeitsystem
zur Objekterkennung
auf Basis von Darknet.
Wir fokussieren auf YOLOv4.

11. CV Tools: Common Objects in Context
COCO ist ein Dataset,
das zum Training für 80 Alltagsobjekte
genutzt werden kann.

12. CV Tools: OpenCV
OpenCV (englische Abk. für Open Computer Vision) ist eine freie
Programmbibliothek mit Algorithmen für Computer Vision.
OpenCV besteht aus Modulen für verschiedene Anwendungsfelder:
• Gesichtserkennung
• Gestenerkennung
• mobile Roboter
• Klassifizierung mit Hilfe der Viola-Jones-Methode
• Segmentierung und Erkennung
• optisches Tracking, Motion Compensation und Optischer Fluss
• Kalman-Filter zum Tracking
• …

13. Geht das nicht auch einfach?
Sonst könnt ihr ohne mich zählen

14. Auftritt: OpenDataCam

15. OpenDataCam – Einfach zählen
Was brauche ich?

16. Man nehme
• Zählumgebung
• Balkon
• Straße vor dem Küchenfenster*
• Kamera
• USB-Webcam
• IP-Cam
• Videodatei
• Computer
• CUDA-fähige Hardware, z.B. nVidia
Jetson Nano
• CUDA-fähige Cloud-Instanzen*
*dazu später mehr

17. Blick aus dem Küchenfenster

18. Hardware und Connectivity
• Logitech Webcam, ca. 70 Euro
• nVidia Jetson Nano, ca. 130 Euro*
• Sorry, no Raspberry
• Autarke Deployments mit PowerBank
• Keine Cloud-Anbindung
• 100% lokal
*oder andere nVidia-Hardware

19. Unter der Haube
• Linux + Jetpack
• Yolo + Weights
• Node.js
• Mongo DB

20. OpenDataCam - Praxis
Los geht es!

21. Installation
• JetPack auf SD-Karte
• docker-compose installieren
• OpenDataCam installieren:
$ wget -N https://raw.githubusercontent.com/opendatacam/
opendatacam/v3.0.2/docker/install-opendatacam.sh
$ bash ./install-opendatacam.sh --platform nano

22. Et voilà: Live view

23. Counter

24. Pathfinder

25. Counter Data

26. Zählresultate in csv und json
12,"2021-12-05T13:45:25.245Z",”counter1","car",73,90.97102193107916,"rightleft_bottomtop",88.17329797295241
13,"2021-12-06T09:25:24.090Z",”counter1","bicycle",39241,270,"leftright_topbottom",89.1443199040316
14,"2021-12-07T09:25:40.722Z","counter1","person",39256,282.5288077091515,"leftright_topbottom",76.61551219488008
15,"2021-12-08T09:25:45.719Z","counter1","bus",39265,270,"leftright_topbottom",89.1443199040316
[
{
"frameId":12,
"timestamp":"2021-12-05T13:45:25.245Z",
"area":"d920cd61-23bf-4b92-9d85-dd247297bb3d",
"name":"car",
"id":73,
”bearing":90.97102193107916,
"countingDirection":"rightleft_bottomtop",
"angleWithCountingLine":88.17329797295241
}
]

27. OpenDataCam - Erkenntnisse
Was ich über Computer Vision gelernt habe

29. csv trifft Deskriptive Statistik

30. Nur typische Verkehrsteilnehmer

31. Tageskurven

32. Wie genau schaut YOLO hin?
• Jetson Nano mit 8-15fps und einer Auflösung von 416x416
• Relative Größe im Frame spielt eine wesentliche Rolle
• Mehr Power erlaubt mehr fps und mehr Auflösung
• Confidence einstellbar für Tracker/Pathfinder

33. Genauigkeit optimieren

34. Genauigkeit optimieren

35. Zählungenauigkeiten – Teil 2

36. Geisterobjekte

37. Auf den Winkel kommt es an

38. Besser, aber auch nicht optimal

39. § Rahmenbedingungen
Wann und wo darf man eigentlich zählen?

40. Zählen im öffentlichen Raum - Darf man das?
• IANAL – I am not a lawyer!
• Keine Speicherung und lokale
Datenverarbeitung
• https://www.bmvi.de/SharedDo
cs/DE/Artikel/DG/mfund-
projekte/OpenTrafficCount.html
• Stichwort Videoüberwachung
beim https://www.ldi.nrw.de/

41. Die nächsten Schritte
Einsatzszenarien und Anwendungsfälle

42. Zählen kann man überall

43. Oder Sportplätzen

44. Auch auf Fließbändern

45. Doch erstmal: Trainieren

46. Danke fürs Durchhalten.
Und jetzt?
Schnittchen, Kaltgetränke und gerne auch Fragen

47. Backup Slides
Für die ganz Neugierigen