hasil baca dari sebuah paper mengenai review terhadap deteksi kendaraan berbasis video untuk pengawasan lalu lintas paper ini bukan paper saya, hanya untuk mempermudah memahami bacaan maka saya membuat slide ini

1. Review on Vehicle Detection Based
on Video for Traffic Surveillance
Guolin Wang, Deyun Xiao, and Jason Gu
Proceedings of the IEEE International Conference
on Automation and Logistics
Qingdao, China September 2008

2. Dipersiapkan Oleh
LUQMAN ABDUL MUSHAWWIR

3. Isi
• Pendahuluan
• Metoda seleksi region of interest (ROI)
• Teknik deteksi kendaraan
• Metoda untuk menghilangkan bayangan
• Kesimpulan

4. PENDAHULUAN

5. Pendahuluan
• Teknik deteksi kendaraan menjadi salah satu titik
lemah dalam pengawasan dan kendali lalu lintas
– Meskipun banyak metoda yang dapat dipilih, seperti
supersonik, closed loop, radar, namun tidak dapat
menyajikan informasi yang lengkap mengenai keadaan lalu
lintas
– Deteksi melalui pemrosesan video menjadi lebih
menjanjikan karena dapat menyelesaikan persoalan yang
lebih kompleks dan dapat menyediakan informasi lebih
banyak
• Deteksi kendaraan dengan pemrosesan video menjadi
salah satu teknik menjanjikan untuk analisis data dan
informasi lalu lintas

6. Penelitian Sebelumnya
• Peneletian mengenai deteksi kendaraan berbasis
kamera video sudah dimulai dari akhir 1970an
– Autoscope, sebuah sistem deteksi citra video diinisiasi di
University of Minnesota pada 1984
• Kebutuhan untuk alat deteksi lalu lintas dengan biaya
pemasangan dan perawatan kecil namun dapat
mengambil lebih banyak data aliran lalu lintas
menjadikan pengembangan dari sistem deteksi
berbasis computer vision
– Pada tahun 1990, perbandingan yang dilakukan Minnesota
Department of Transportation menunjukkan bahwa
deteksi berbasis kamera video lebih efektif dari segi biaya,
namun

7. Peneletian Sebelumnya
• Penilaian dari kondisi lalu lintas dapat digambarkan
dengan parameter:
– Kecepatan rata-rata lalu lintas
– Panjang antrian
– Kerapatan lalu lintas
• Data ini dapat diambil dengan deteksi kendaraan dan
teknik pelacakan
– Teknik yang robust dan reliabel menjadi sangat penting
• Paper ini akan membahas mengenai deteksi dan
pelacakan kendaraan berbasis kamera video
– Dengan fokus pada sistem dengan kamera stasioner
dipasang pada jalan, bukan pada kendaraan

8. METODA SELEKSI ROI

9. Metoda Seleksi ROI
• Beberapa metode seleksi ROI telah diajukan
dalam literatur, di antaranya:
– Metoda frame subtraction (selisih antar frame)
– Metoda background update (pembaruan latar)
– Metoda virtual loop
– Selain itu, ada juga metoda yang menggabungkan
metoda-metoda tersebut

10. Metoda Frame Subtraction
• Menggunakan teknik threshold pada perbedaan antar
frame
– Menggunakan perbedaan pixel atau blok antar frame pada
video
• Teknik ini memanfaatkan perbedaan antara dua atau lebih
frame yang berurutan untuk memperoleh informasi ROI
• Tujuan dari metoda ini adalah untuk mencari lokasi
kendaraan yang mungkin secara cepat untuk langkah
deteksi dan pelacakan kendaraan selanjutnya
• Ada beberapa pendekatan, seperti metoda selisih antar
frame, metoda pengujian statistika, dan metoda spatial
markov random field

11. Metoda Selisih antar Frame
• Metoda ini sangat populer
– Banyak digunakan untuk pemilihan ROI dalam computer vision
• Mendeteksi daerah pergerakan objek dengan menghitung
selisih dari dua atau tiga frame yang berurutan
– Untuk menentukan ROI, ditentukan kriteria batas (threshold)
– Peta perbedaan biasanya di-biner-kan menggunakan threshold
tersebut
• Keuntungan: mudah untuk diterapkan dan hanya sedikit
komputasi diperlukan
• Kerugian: Efisiensi yang rendah, terutama ketika tidak ada
knowledge sebelumnya
– Untuk mengatasinya, ada teknik adapted threshold

12. Metoda Pengujian Statistika
• Terbatas pada keputusan pada pixel sebagai
lanjutan dari metoda sebelumnya
• Mengasumsikan bahwa deteksi dari perubahan
temporal ekivalen dengan deteksi gerakan
– Kelemahannya, hanya akan valid ketika perpindahan
besar muncul atau proyeksi objek cukup bertekstur
– Untuk mengatasi kekurangan tersebut, diperkenalkan
filter dan mask untuk deteksi perubahan temporal
(Gabor spatial-temporal change detectors)
– Dapat meningkatkan efisiensi dari algoritma deteksi
perubahan, terutama ketika ada pengetahuan
mengenai ukuran objek yang bergerak

13. Metoda Spatial Markov Random Field
• Diperkenalkan untuk mengatasi keterbatasan
mengenai pengetahuan tentang ukuran
kendaraan
• Pada metoda ini, deteksi pergerakan dianggap
sebagai persoalan estimasi statistika

14. Metoda Pembaruan Latar (Background
Update)
• Banyak digunakan untuk deteksi pergerakan
dalam deteksi dan pelacakan kendaraan real-time
• Terdiri dari beberapa teknik
– Metoda frame average
– Metoda selective updating
– Metoda minimum and maximum intensity value
– Metoda mixture of gaussian
– Metoda K-means clustering

15. Metoda Pembaruan Latar (Background
Update)
• Pada pendekatan ini, perbedaan antara frame
selanjutnya dengan citra latar yang terbentuk
dihitung untuk mendeteksi objek-objek depan
– Terdapat persoalan yaitu sangan sensitif terhadap
perubahan scene yang sangat dinamis karena
pencahayaan dan kejadian lainnya
• Model latar yang robust banyak diajukan oleh
peneliti untuk mengatasi persoalan tersebut,
sekaligus memperbaiki efisiensi dan akurasi
dalam memperoleh ROI

16. Metoda Frame Average
• Metoda klasik dan terkenal untuk deteksi
kendaraan
• Intinya adalah membangun frame latar untuk
memisahkan ROI dari citra sekarang kemudian
ROI dapat dideteksi
– Latar dibangun dengan menghitung rata-rata dari
beberapa frame yang berurutan
– Kekurangannya adalah sulit untuk mendeteksi
kendaraan yang diam atau yang bergerak sangat
lambat
– Kunci dari metoda ini adalah bagaimana
memperbaharui latar secara adaptif

17. Metoda Selective Updating
• Untuk metoda ini, hanya daerah yang telah
dipilih yang diperbaharui
• Wang mengajukan metoda yang memodelkan
latar ke dalam daerah dinamis dan daerah quasi-static
– Untuk memodelkan daerah quasi-static, digunakan
pendekatan eigen-space berbasis blok
• Keuntungan dari metoda ini adalah lebih robust
• Namun, harus memiliki pengetahuan mengenai
daerah yang diperbaharui

18. Metoda Minimum and Maximum
Intensity Value
• Nilai intensitas minimum dan maksimum dan
turunan maksimum terhadap waktu untuk
setiap pixel digunakan untuk menginisialisasi
model latar
– Kemudian diperbaharui menggunakan kombinasi
metoda berbasis pixel dan objek
– Kalman Filtering diajukan untuk menyesuaikan
variasi cuaca dan pencahayaan
– Mixture of normal distribution dapat digunakan
untuk memodelkan sekuens citra latar

19. Metoda Mixture of Gaussian (MOG)
• MOG pada tingkatan pixel sangat efisien untuk
memodelkan distribusi multi-modal dari latar
– Dapat beradaptasi terhadap perubahan latar dan
mengimplementasi metoda secara real-time
• Ide dasarnya adalah mengasumsikan bahwa observasi
seiring waktu pada suatu pixel tidak bergantung pada
observasi pada pixel lain
– Friedman dan Russell memodelkan nilai intensitas dari pixel
dengan menggunakan mixture dari tiga distribusi normal
kemudian menerapkannya pada pengawasan lalu lintas
– Stauffer dan Grimson mempresentasikan metoda yang
memodelkan intensitas pixel dengan mixture dari K Gaussian
distribution

20. Metoda K-Means Clustering
• Analisis cluster dapat dilakukan pada ruang
koefisien untuk membangun agregasi yang
konsisten
• Dengan mempertimbangkan pixel yang
berubah dalam daerah kendaraan, geometri
kendaraan dapat diperkirakan
• Metoda ini tidak membutuhkan kalibrasi dari
sekuens citra

21. Metoda Virtual Loop
• Menggunakan konsep inductive loop
– Memonitor perubahan cahaya pada wilayah yang
ditentukan dalam frame
– Biasanya pemilihan ROI dilakukan oleh manusia
• Berupa jalur pada jalan raya
• Pemrosesan yang dilakukan menjadi cepat
• Namun, sulit untuk di setup dan fungsinya
terbatas

22. TEKNIK DETEKSI KENDARAAN

23. Teknik Deteksi Kendaraan
• Masukan untuk teknik deteksi kendaraan adalah
himpunan dari ROI yang telah dipilih
• Dapat dibagi menjadi tiga kategori:
– Metoda berbasis pengetahuan, menggunakan
pengetahuan yang sudah ada untuk mendeteksi posisi
kendaraan pada ROI
– Metoda berbasis pergerakan, mendeteksi kendaraan
menggunakan aliran optik
– Metoda berbasis wavelet, menggunakan pendekatan
wavelet neural network atau fungsi berbasis wavelet

24. Metoda Berbasis Pengetahuan
• Menggunakan pengetahuan yang ada untuk
menentukan apakah ROI adalah kendaraan atau
bukan
• Beberapa pendekatan menggunakan:
– Simetri
– Warna
– Bayangan
– Tepi vertikal/horizontal
– Tekstur
– Model 3D
– Roda

25. Simetri
• Sebagai salah satu ciri khas benda buatan
manusia, simetri telah digunakan dalam berbagai
terapan deteksi objek dalam computer vision
• Pengamatan kendaraan dari kamera diam secara
umum memiliki simetri baik pada arah horizontal
maupun vertikal
– Ciri inilah yang digunakan sebagai pembantu dalam
deteksi kendaraan
• Kekurangannya adalah sensitif terhadap
gangguan

26. Warna
• Meskipun sangat sedikit sistem yang menggunakan
warna untuk memperoleh informasi, namun warna
merupakan tanda yang sangat berguna untuk deteksi
kendaraan
– Dapat digunakan untuk mencari jalur dan memisahkan
kendaraan dari latar
– Segmentasi kendaraan dapat diperoleh dari selisih frame
sambil segmentasi warna
• Y. Liu menerapkan kombinasi antara adaptive
background dengan pemetaan ruang warna HSV untuk
beradaptasi dengan algoritma segmentasi fitur untuk
mendeteksi objek bergerak pada scene luar ruangan
dengan robust

27. Bayangan
• Informasi bayangan dapat pula digunakan untuk
deteksi kendaraan
– Area di bawah kendaraan lebih gelap daripada area lain
pada jalan aspal
– Tzomakas dan Seelen menemukan bahwa bayangan di
bawah kendaraan merupakan tanda yang baik untuk
deteksi kendaraan
• Berbagai metode diajukan untuk penggunaan dari
bayangan yang bergerak untuk meningkatkan akurasi
dari deteksi kendaraan
– Cucchara et al menggunakan threshold berbasis
karakteristik ruang warna HSV
– Xu menggunakan empat properti dari bayangan bergerak

28. Tepi Horizontal/Vertikal
• Kumpulan tepi horizontal atau vertikal pada
citra dapat menjadi tanda yang baik untuk
deteksi kendaraan
– Deteksi berbasis gradien, seperti operator Sobel
dan Generalized Hough Transform (GHT)
– Deteksi tepi morfologis
• Memiliki kinerja lebih bagus
• Menggunakan kombinasi dari operasi morfologi
matematis seperti dilatasi dan erosi
• Menandai transisi tingkatan abu-abu dari citra
masukan

29. Tepi Horizontal/Vertikal
• Memiliki masalah yaitu hilangnya informasi
saat deteksi tepi
– M Y Siyal mengajukan SMED (Separable
Morphological Edge Detector – Deteksi tepi
morfologi yang dapat dibagi) untuk mengurangi
ketergantungan pada arah tepi dan membuat
deteksi kendaraan lebih robust

30. Tekstur
• Keberadaan kendaraan pada citra akan menyebabkan perubahan
intensitas
– Karena semua kendaraan kira-kira serupa, perubahan intensitas
tersebut membentuk sebuah pola tekstur tertentu
– Informasi tektur ini digunakan untuk menemukan kendaraan yang
mungkin pada ROI
• Entropi digunakan sebagai ukuran dalam deteksi tekstur
– Daerah yang memiliki entropi tinggi akan dimasukkan dalam
pemrosesan selanjutnya
• Selain itu digunakan matriks kejadian untuk pemisahan
berdasarkan tekstur
• Sun et al menggunakan klasifikasi Gabor untuk mengekstrak
berbagai tekstur kemudian menggunakan SVM untuk klasifikasi
• Bertozzi et al menggunakan fitur pojok untuk membangun empat
templat untuk mendeteksi kendaraan

31. Model 3D
• Menurunkan pose 3D dari objek dengan memetakan data
citra kepada deskripsi model yang terkait
– Salah satu keuntungannya adalah kemampuannya menangani
oklusi
– Termasuk beberapa persoalan, seperti bagaimana memilih fitur-fitur
yang cocok pada citra dan model dan mencocokkan fitur
tersebut
• Beberapa pendekatan untuk melakukan ini
– Pencocokan graf, indexing dan invarian, batas konsistensi
viewpoint, neural network, pendekatan berbasis gradien, dll
– Metoda-metoda tersebut berbasis mencocokkan fitur-fitur dua
dimensi, seperti titik, atau segmen garis dengan fitur-fitur 3D
yang cocok

32. Model 3D
• Peran besar dalam menghubungkan antara fitur
citra dan fitur model berada dalam verifikasi pose
• Metoda verifikasi pose berhubungan dengan
pendefinisian matriks untuk menghubungkan
keserupaan antara citra dengan model 3D
– Karsten et al menggunakan latar yang terkalibrasi
untuk merekonstruksi lingkungan dalam 3D
– Lou menguraikan pergerakan dari proyeksi model
menjadi dua gerakan, yaitu translasi dan rotasi
– Ghosh et al mengajukan pencocokan 3D model untuk
klasifikasi kendaraan

33. Roda
• Beberapa literatur menggunakan roda untuk
deteksi kendaraan, namun kelihatannya hanya
efektif di siang hari saja, tidak di malam hari
– Yoichiro et al mengajukan metoda untuk deteksi
malam hari, namun hanya berguna untuk kamera
di sisi jalan, bukan di atas seperti biasanya

34. Metoda Berbasis Gerakan
• Selain fitur untuk membedakan kendaraan
dari latar, kita juga dapat mendeteksi dengan
gerakan kendaraan via kalkulasi dari aliran
optik
– Pixel pada citra seakan-akan bergerak, disebut
dengan aliran optik
– Metoda deteksi kendaraan dengan ini
menggunakan karakteristik dari vektor dari objek
bergerak seiring waktu, kemudian mendeteksi
daerah pergerakannya

35. Metoda Berbasis Gerakan
• Meyer et al menghitung bidang vektor
perpindahan untuk menginisialisasi algoritma
pelacakan berbasis kontur
• Metoda ini dapat digunakan untuk mendeteksi
kendaraan bergerak secara independen dari
kamera
– Namun, komputasi sangat kompleks dan sangat
sensitive terhadap noise
– Sulit untuk menerapkannya dalam video analisis
tanpa bantuan perangkat khusus

36. Metoda Berbasis Wavelet
• Transformasi wavelet merupakan kakas penting dalam
berbagai penerapan, seperti pemrosesan citra
• Dalam deteksi kendaraan, gerakan dikarakterisasi
dengan seluruh spatio-temporal data 3D yang
terbentang oleh kendaraan yang bergerak pada
sekuens citra
• Metoda ini dapat memperoleh performa yang lebih
baik dalam informasi spasial dan temporal dari gerakan
kendaraan
– Keuntungannya, kebutuhan komputasi yang rendah dan
implementasi yang sederhana
– Namun, rentan terhadap noise

37. Metoda Berbasis Wavelet
• Wang mengajukan transformasi wavelet spatio-temporal
untuk memperoleh informasi pergerakan
kendaraan
• Pamula menganalisis keuntungan dari menggunakan
kurva pengisi ruang untuk menghitung transformasi
wavelet dari citra lalu lintas
– Pixel yang sangat berkorelasi dapat disatukan dengan
memindai citra dalam kurva pengisi ruang
• Yin et al mengajukan teknik gabungan antara
transformasi wavelet dan fitur informasi warna untuk
identifikasi kendaraan

38. METODA PENGHILANGAN
BAYANGAN

39. Penghilangan Bayangan
• Pada sistem deteksi berbasis video, penghilangan
bayangan dilakukan setelah ditemukan ROI untuk
deteksi
• Pengamatan umum oleh Xie:
– Bayangan jatuh pada permukaan yang sama dengan
latar
– Pixel-pixel bayangan lebih gelap daripada latar
– Latar kebanyakan adalah permukaan jalan yang
biasanya monokrom, sehingga permukaan yang
terkena bayangan memiliki nilai hue yang lebih kecil
– Pixel tepi dari bayangan biasanya lebih sedikit
daripada kendaraan itu sendiri

40. Penghilangan Bayangan
• Jiang dan Ward mengekstrak bayangan dari citra statis
dengan proses tiga tingkat
• Cucchiara et al mengajukan metoda threshold berbasis
ruang warna HSV
• Mikie et al dapat memisahkan bayangan dengan statistik
fitur warna, namun tidak menyertakan arah sumber cahaya
• Yung dan Lai menggunakan model 3D pada bidang 2D
untuk memisahkan kendaraan dengan bayangan
• Xu mengajukan algoritma berbasis empat properti dari
bayangan bergerak
– Intensitas, selisih pada kerapatan gradien, pixel tepi, dll
• Hsieh et al mengajukan metode yang mempertimbangkan
geometri bayangan

41. SIMPULAN

42. Simpulan
• Sistem pengawasan lalu lintas berbasis video
merupakan salah satu komponen penting dalam
ITS
• Beberapa persoalan praktis dihadapi
– Pemilihan ROI
– Deteksi kendaraan
– Eliminasi bayangan
• Pada paper ini dijelaskan gambaran dari
beberapa solusi yang telah diajukan untuk
menyelesaikan persoalan tersebut