This presentation about LIDAR usage for road recognition. Form basics through each step(PCL, ML-algorithms) to result.

1. Обработка данных лазерного
сканирования (LIDAR)
для создания модели
автомобильной дороги
Бабий А.С. - apratster@gmail.com

2. Что такое LIDAR.
LIDAR англ. LIght Identification Detection and Ranging
(световое обнаружение и определение дальности)
Устройство:
- неподвижный излучатель + вращающееся зеркало
- неподвижный массив с фиксированным углом обзора

3. Достоинства и недостатки LIDAR
Достоинства:
- 3D карта как результат измерения
- Не зависит от уровня освещенности, неравномерной освещенности
(т.к. сам излучает свет. Дешевые модели – зависят от уровня
освеещенности)
- более стоек к помехам чем радар, имеет большее разрешение
Недостатки:
- Цена все еще высока, но появляются прототипы с ценой ниже $1000
- Дальность ~ 70m Большая дальность влечет значительное
увеличение стоимости, > 20000$ (аэро-LIDAR)
- Движущиеся части на самом приборе*
- «Медленная» скорость обновления на приборах с вращающимися частями.
Либо высокая цена. На медленных системах скорость движения отчасти
искажает результаты сканирования

4. Где можно применить LIDAR?
1. Автомобили.
- Системы ассистирования водителю
- Адаптивный круиз-контроль
- Адаптивные системы подвески
- Автоматизация вождения
автомобиля
2. Сельское хозяйство
- Использование микрорельефа
местности при посадке растений
- Повышение точности работы
автономной сельхоз техники
3. Археология
- Идентификация микрорельефа
местности скрытого растительным
покровом(-аэро, инфракрасный
спектр)
*Разные виды лазерного излучения:
Airborne Laser Mine Detection System
(ALMDS) аэро-миноискатель от
Areté Associates[2]

5. Данные для исследований
http://www.cvlibs.net/datasets/kitti/raw_data.php - KITTI dataset,
Karlsruhe Institute of Technology
• Raw (unsynced+unrectified) and processed (synced+rectified) grayscale
stereo sequences (0.5 Megapixels, stored in png format)
• Raw (unsynced+unrectified) and processed (synced+rectified) color stereo
sequences (0.5 Megapixels, stored in png format)
• 3D Velodyne point clouds (100k points per frame, stored as binary float
matrix)
• 3D GPS/IMU data (location, speed, acceleration, meta information, stored as
text file)
• Calibration (Camera, Camera-to-GPS/IMU, Camera-to-Velodyne, stored as
text file)
• 3D object tracklet labels (cars, trucks, trams, pedestrians, cyclists, stored as
xml file)

6. Дополнительные наборы данных
http://3dvis.ri.cmu.edu/data-sets/localization/
http://cs.nyu.edu/~silberman/datasets/
http://vision.in.tum.de/data/datasets/rgbd-dataset
http://www.robots.ox.ac.uk/NewCollegeData/
http://www.rawseeds.org/home/
http://www-personal.acfr.usyd.edu.au/nebot/victoria_park.htm
http://www.mrpt.org/malaga_dataset_2009
http://robots.engin.umich.edu/SoftwareData/Ford
http://www.mrpt.org/MalagaUrbanDataset

7. http://www.cvlibs.net/datasets/kitti/setup.php
Сбор данных KITTI dataset

8. Как выглядят данные

9. Как выглядят данные

10. Разрешение

11. Разрешение

12. Обработка

13. Рисунок из статьи R.Mohan [3]
Задачи связанные с построением модели дороги
- Scene Flow
- Visual Odometry / SLAM Evaluation
- Object Detection
- Object Tracking
- Road/Lane Detection
- Semantic Segmentation

14. Point Cloud Library (PCL)
http://pointclouds.org/

15. Модели представления 3D данных для машинного обучения
-Проецирование на плоскости
-Векторизация, обобщение
-Набор секущих плоскостей

16. [4] – R.Socher
DNN for 3D

17. Zhirong Wu[5]
3D shapes network

18. Zhuotun Zhu[6]
Autoencoder for 3D Shape

19. Рисунок – PCL[6]
Point Cloud Library usage
Фильтрация
pcl::PassThrough
pcl::StatisticalOutlierRemoval

20. Рисунок – PCL[7]
Point Cloud Library usage
Вычисление нормалей и их анализ pcl::NormalEstimation
pcl::KdTreeFLANN
Быстрый поиск ближайших соседей с использованием
KDTree

21. СПАСИБО ЗА ВНИМАНИЕ!
Список литературы
1. http://www.cvlibs.net/datasets/kitti/
2.http://www.northropgrumman.com/Capabilities/AirborneLaserMineDetectionSystem/
Pages/default.aspx
3.http://arxiv.org/pdf/1411.4101.pdf
4. R. Socher - Convolutional-Recursive Deep Learning for 3D Object Classification
5. Zhirong Wu. 3D ShapeNets: A Deep Representation for Volumetric Shapes
6. Zhuotun Zhu. Deep Learning Representation using Autoencoder for 3D Shape
Retrieval
7. Vinod Nair and Geoffrey E. Hinton 3D Object Recognition with Deep Belief Nets
8. M.Bellone Road Surface Analysis for Driving Assistance
9. http://www.pointclouds.org/