[Skolkovo Robotics V] Современное состояние и перспективы развития технологий технического зрения робототехнических комплексов

Современное состояние и
перспективы развития технологий
технического зрения
робототехнических комплексов
Визильтер Юрий Валентинович, д.ф.-м.н., проф. РАН,
начальник подразделения ФГУП «ГосНИИАС»,
руководитель рабочей группы «Техническое зрение»
Экспертного совета Национального центра развития
технологий и базовых элементов робототехники
Москва, SKOLKOVO ROBOITICS, 21.04.2017

Содержание
 Национальный центр развития технологий
и базовых элементов робототехники (НЦ),
Экспертный совет (ЭС) НЦ,
Рабочая группа «Техническое зрение» ЭС НЦ
 Современное состояние и перспективы
развития технологии зрения роботов

Национальный центр развития
технологий и базовых элементов
робототехники (НЦ),
Экспертный совет (ЭС) НЦ,
Рабочая группа «Техническое зрение»
(По материалам заседаний ЭС НЦ и РРГ СТЗ)

Национальный центр развития
технологий и базовых элементов робототехники
Образец 1 Образец 2 … Образец N
Интегральна
я
оценка
энергетика РТК; Экспертная
оценка
Экспертная
оценка …
оценка
оценка
средства связи; Экспертная
оценка
оценка …
оценка
оценка
системы навигации
и наведения;
оценка
оценка …
оценка
оценка
датчики, привода и
манипуляторы
оценка
оценка …
оценка
оценка
системы
технического
зрения;
оценка
оценка …
оценка
оценка
бортовые
вычислители;
оценка
оценка …
оценка
оценка
системы и пункты
управления
оценка
оценка …
оценка
оценка
Н
А
Ц
И
О
Н
А
Л
Ь
Н
Ы
Й
Ц
Е
Н
Т
Р
Подготовка
предложений в
проекты
документов по
прогнозу и
планированию
развития
РТК ВН и СН
Уточнение
направлений
развития
ключевых
технологий и
базовых
элементов
робототехники
ТЕХНОЛОГИЯ
РТКЭ
К
С
П
Е
Р
Т
Н
Ы
Й
С
О
В
Е
Т
СОВЕТ ГОЛОВНЫХ РАЗРАБОТЧИКОВ

ОСНОВНЫЕ ВОПРОСЫ ТРЕБУЮЩИЕ ВНИМАНИЯ ЭС НЦ
* По итогам обсуждений в рамках XI ВНПК «Перспективные системы и задачи управления (г.Евпатория ,4-8 апреля
2016г.)»
Определение
потребности ВС
РФ в РТК военного,
специального и
двойного
назначения
2.ТЕХНОЛОГИИ
Направления
развития
технологий
Стандартизация и
унификация
компонентов РТК,
технологий их
проектирования и
испытаний
ПЕРСПЕКТИВНЫЕ
РТК
НОВОГО ПОКОЛЕНИЯ3.СТАНДАРТИЗАЦИЯ
УНИФИКАЦИЯ
Слайды: ПШИХОПОВ ВЯЧЕСЛАВ ХАСАНОВИЧ
Директор НИИ робототехники и процессов
управления ЮФУ, Председатель ЭС НЦ

Функции Экспертного совета НЦ
ОСНОВНЫЕ ФУНКЦИИ
экспертных
заключений
 по результатам исследований, испытаний, интеллектуальной деятельности
и конструкторских разработок;
 по проектам документов стратегического планирования;
 по инновационным научно- техническим идеям, передовым конструкторским и
технологическим решениям.
Участие в
подготовке и
анализе
 предложений по основным направлениям и перечню приоритетных работ
развития ключевых технологий производства РТК с учетом мнения заказчиков
и мировых тенденций развития роботостроения;
 предложений ФОИВ по формированию перечней базовых и критических
военных, специальных и промышленных технологий в части РТК.
Анализ и
систематиза-
ция
 результатов выполнения важнейших НИР, ОКР, технологических работ,
направленных на решение задач разработки и производства РТК
Экспертиза
 концепций, программ, проектов по формированию технических требований к
перспективным РТК, реализации приоритетных работ по развитию ключевых
технологий производства РТК;
предложений
 по формированию номенклатуры унифицируемых модулей РТК и технологий их
производства;
 совершенствованию системы стандартизации РТК и их базовых элементов;
 по прогнозу и планированию развития РТК ВН и СН, включая ГПВ и ГП развития
ОПК в части робототехники.

Технологические составляющие РТК
и структура Экспертного совета Национального центра
РГ СТЗ и смежные
рабочие группы

Структура Экспертного совета Национального центра
Рабочая группа ЭС НС Руководитель
Бортовые вычислители.
Трушкин Константин Александрович Директор по маркетингу ПАО
«Институт электронных управляющих машин им. И.С. Брука»
Навигация.
Муравьев Алексей Борисович; Руководитель сектора, начальник отделения
ЗАО «КБ НАВИС»
Полезная нагрузка и
испытания.
Шарапов Олег Юрьевич; Зам. начальника аварийно-спасательного
формирования – начальник отдела оперативного реагирования
Всероссийского НИИ им. Н.Л.Духова
Приводы и манипуляторы.
Сычков Владислав Борисович Исполнительный директор ПАО «НПО
«Андроидная техника»
Системы и пункты
управления.
Сыроежко Аркадий Аркадьевич; Директор Дирекции по управлению
программами развития роботизированных БП систем АО «Концерн
радиостроения «Вега»
Связь и передача данных.
Гугалов Константин Геннадьевич; Генеральный директор ООО «ИТЦ
«Профессиональные Радио Системы»
Техническое зрение.
Визильтер Юрий Валентинович Начальник подразделения ФГУП
«Государственный НИИ авиационных систем»
Энергетика. Попов Виталий Александрович; Начальник СКТБ-2 ОАО «Сатурн»
Экспертиза программно-
плановых документов.
Баранник Александр Юрьевич; Зам. начальника научно-исследовательского
центра «Развития техники и технологий» НИИ по проблемам ГО и ЧС МЧС
Председатель ЭС НЦ: Пшихопов Вячеслав Хасанович,
Директор НИИ робототехники и процессов управления ЮФУ
Зам. председателя ЭС НЦ: Визильтер Ю.В., ГосНИИАС

Расширенная рабочая группа
«Техническое зрение»
ОАО «НПО «Орион»
ОАО «ГОИ им. С.И. Вавилова»
ОАО «Красногорский завод им. С.А. Зверева»
ОАО «НИИ «Полюс» им. М.Ф. Стельмаха»
ОАО «Швабе-Технологическая лаборатория»
ОАО «Швабе-Исследования»
ОАО «Швабе-Приборы»
ОАО «Швабе-Фотосистемы» ЦНИИ «Электрон»
ЗАО «Светлана-Рост»
ОАО «Оптрон»
ОАО «НПП «Пульсар»
МГТУ им. Н.Э. Баумана
МАИ
ОАО «НКБ ВС»
ИПМТ ДВО РАН
ИКИ РАН
ОАО «ГРПЗ»
ИПМ им. М.В. Келдыша РАН
ИСА РАН
ОАО «РПКБ»
ИСОИ РАН
СГАУ
ЗАО «КРОК инкорпорейтед»
ОАО "ВИСТ Групп“
ООО «Техэкоплазма»
МЦСТ «Эльбрус»
ОАО «Институт электронных
управляющих машин им. И.С.
Брука»
ООО «ПСИ», ОАО «НПО «ГИПО»
ЦНИИ РТК
ЮЗГУ
ФГУП «ГосНИИАС», ОАО «ЦНИИ «Циклон»
Перечень организаций и предприятий, участвовавших в разработке подпрограммы
«Приоритетных работ по развитию ключевой технологии технического зрения для
создания робототехнических комплексов нового поколения» на 2015 - 2030 годы

Облик изделия
или подсистемы,
технические решения
Несистемный подход к разработке
Функции Характеристики
Новое
оборудование
Логика работы
Новое ПО
Новые алгоритмы
Состав
и структура
Готовые комплектующие
Интерфейсы
Технические требования
Заказчик Разработчик
Прежние наработки +
Творческое видение

Системный подход к разработке РТК и их подсистем
Назначение
Логика
применения
Сопряженные
комплексы и
системы
Новое
Новое ПО
Возможность
унификации с
другими РТК
Информационное
обеспечение
Метрологическое
Программы и
методики
испытаний
Необходимость
создания
Зарубежные
аналоги
Актуальные
характеристики
Достижимые
Прежние
разработки
Достижимая
функциональность
Доступные АО/ПО
комплектующие
Перспективные
технологии
Состав

Необходимые средства поддержки системного подхода
Логика
системы
Новое
Новое ПО
методики
испытаний
создания
аналоги
Прежние
Состав
БД технической
информации
БД научной
БД специальной
Средства операционного
моделирования
БД информацион-
ного обеспечения
Стендовая и
испытательная базаБанк доступных комплектующих

Задачи и элементы среды поддержки разработки РТК
разработки РТК
Логика
системы
Новое
Новое ПО
методики
испытаний
создания
аналоги
Прежние
Состав
БД научной
БД специальной
Средства операционного
моделирования
БД информацион-
ного обеспечения
Стендовая и
испытательная базаБанк доступных комплектующих
Системная
работа по
формированию
и наполнению
Системная
работа по
формированию
и наполнению
БД научной
Системная работа
по моделированию
применения РТК
по наполнению БД
Системная работа по
информационному
обеспечению
Системная работа по сбору и
тестированию комплектующих
по формированию
исходных данных
по экспертизе качества
выполняемых
разработок
по выявлению
потребностей в
новых разработках
Системная работа по
стендам и полигонам

Анализ состояния и перспектив
развития ключевой технологии
«Техническое зрение»
(По материалам ранее разработанной подпрограммы
«Приоритетных работ по развитию ключевой технологии
технического зрения для создания робототехнических
комплексов нового поколения» на 2015 - 2030 годы)

Водные
РТК
Наземные
РТК
Предметная область СТЗ РТК
СТЗ РТК Функции
и системы
Датчики
Пассивные
Активные
Комплексы
ДРФП
ЛЛ РЛ
ТВ УФ
ИК
ДФП
Базовые
функции
СТЗ РТК
БЛА,
КЛА
Автономная навигация
ATR / Понимание сцены
Улучшенное видение
Распределенный сенсор
- модульная архитектура АО и ПО
- интерфейсы передачи 2D и 3D данных
- информационное обеспечение,
включая геоинформацию, эталоны и 3D модели
объектов/целей, базы данных и знаний
- средства математического и полунатурного моделирования
СТЗ – совокупность средств, обеспечивающих РТК оперативными
2D и 3D сведениями о текущем состоянии окружающей среды
Техн.
элементы

СТЗ РТК. Жизненный цикл
Разработка
элементов,
оптики и
сенсоров
процессоров,
модулей,
устройств
обработки
методов,
алгоритмов,
программного
обеспечения
Создание
информа-
ционного
обеспечения
Математическое
и полунатурное
моделирование,
стендовая
отработка
Летные и
наземные
эксперименты,
летная
отработка
Навигация по 2D и 3D данным в естественной и искусственной среде
Обнаружение и распознавание объектов/целей, понимание динамических сцен
Комплексирование информации от 2D и 3D активных и пассивных датчиков РФП
Обеспечение режима «распределенный сенсор»
Специализированные автоматические функции: зависание,
посадка, сопровождение… / манипулирование объектами
Улучшенное и синтезированное видение для дистанионно-управляемых РТК

СТЗ РТК
Наземные
РТК
Функции
и системы
Датчики
Пассивные
Активные
Комплексы
ДРФП
ЛЛ РЛ
ТВ УФ
ИК
ДФП
Базовые
функции
СТЗ РТК
БЛА,
КЛА
Микро и мини
Средние
Дальние
Группы
РТК МО
РТК МЧС
Промышленные
ТС без водителя
Автономная навигацияATR / Понимание сцены
Водные
РТК
Что ограничивает функциональные возможности
СТЗ РТК? (Результаты анализа-2010)
Вывод-2010:
основной сдерживающий
фактор создания автономных
систем управления с
использованием изображений -
отставание развития
алгоритмического
обеспечения от прогресса
датчиков и вычислителей
• Сигнальные процессоры
• ПЛИСы
• специальные архитектуры.
Датчики изображения (тенденции развития)
 Высокое разрешение
 Высокая частота кадров
 Малый размер
 Интеллектуальные камеры
Технические предпосылки прогресса
 Совершенствование оборудования для
получения цифровых изображений
 Прогресс в области аппаратных средств
обработки изображений
Средства обработки изображений
Желтов С.Ю., Визильтер Ю.В. Проблемы
технического зрения в современных авиационных
системах, ТЗСУ-2010, ИКИ РАН, 16 марта 2010 г.
Рост быстродействия процессоров

Наземные
РТК
Датчики
Пассивные
Активные
Комплексы
ДРФП
ЛЛ РЛ
ТВ УФ
ИК
ДФП
Базовые
функции
СТЗ РТК
БЛА,
КЛА
Средние
Дальние
Группы
РТК МО
РТК МЧС
Водные
РТК
СТЗ РТК
Импортные вычислители обеспечивают
все необходимые характеристики для
решения задач технического зрения.
Отечественные вычислители уже
приближаются к ним.
Многие алгоритмы анализа видео
реализуются на телефонах!
Датчики
Импортные датчики обеспечивают все
необходимые характеристики для решения
задач технического зрения.
Отечественные пассивные датчики отстают
из-за проблем с ФПУ, но отдельные
достижения, технологии и перспективы есть.
Отечественные датчики РЛ 3, 8 мм и ЛЛ –
только создаются.
Вычислители
Основная проблема – импортозамещение
принципиальных ограничений функциональных возможностей нет
Датчики и вычислители-2017
Состояние предметной области СТЗ РТК

СТЗ РТК
Наземные
РТК
Функции
и системы
Датчики
Пассивные
Активные
Комплексы
ДРФП
ЛЛ РЛ
ТВ УФ
ИК
ДФП
Базовые
функции
СТЗ РТК
БЛА,
КЛА
Средние
Дальние
РТК МО
РТК МЧС
Водные
РТК
Состояние предметной области СТЗ РТК
Алгоритмы и функции-2017 .
Оценка-2010:
большинство алгоритмов либо не обеспечивают
выполнение необходимых функций, либо не могут
быть выполнены в реальном времени на
существующих и перспективных бортовых
вычислителях
Оценка-2017: произошла (и продолжается)
революция в компьютерном зрении:
- для большинства базовых и специальных функций
СТЗ РТК разработаны алгоритмы, обеспечивающие
необходимые характеристики
- многие из этих алгоритмов уже могут быть
выполнены в реальном времени на существующих,
либо перспективных бортовых вычислителях,
остальные – в процессе поиска такой реализации
- на повестке дня – полное автоматическое
решение всех задач зрения

Современное состояние компьютерного зрения:
основные задачи, лучшие методы и результаты
• Реконструкция 3D сцены и навигация в ней:
Structure-from-Motion, SLAM, Road Scene
Understanding and Autonomous Driving
• Сегментация сцены и понимание видеосюжета:
Saliency maps, Video & 3D Segmentation, 3D-Flow,
Multi-Tracking, Human Detection, Human pose
estimation, Human Action Detection and Prediction,
Crowd behavior, Group analysis, Face Detection and
Recognition
• Распознавание изображений:
Convolution networks, Deep learning, Image Retrieval,
Object Detection

Реконструкция 3D сцены и
навигация в ней:
Structure-from-Motion,
SLAM, Road Scene
Understanding and
Autonomous Driving

Structure-from-Motion (SfM, 2000+)
• Structure-from-Motion – технология реконструкции 3D сцены на основе
множества разноракурсных снимков и оценки положения/параметров
относительной ориентации снимков
По материалам А. С. Конушина
Scene Chronology. Kevin Matzen, Noah Snavely. ECCV2014
Building Rome in a day.
ICCV 2009, Boujou

SLAM (Simultaneous Localization and Mapping)
с 2006, с улучшениями в 2011, 2014
• SLAM – технология одновременной реконструкции 3D сцены и оценки
положения/параметров движения камеры
LSD-SLAM: Large-Scale Direct Monocular SLAM,
Jakob Engel and Thomas Schops and Daniel Cremers
В реальном времени на смартфоне

SLAM (Локальная автономная навигация)

SLAM (Outdoor)

SLAM (Indoor)
Jakob Engel and Thomas Schops and Daniel Cremers, ECCV’14
PTAM-2006 LSD-SLAM-2014

Towards real-time, dense tracking,
reconstruction and scene understanding,
A. Davison
Семантическая сегментация сцены и навигация в ней
на основе описания объектового состава
Пока не в реальном времени, большие вычислительные затраты
Sliding Shapes for 3D Object Detection in Depth
Images, Shuran Song, Jianxiong Xiao
Object-level SLAM (Перспектива развития)
Детектор в скользящем 3D окне

Распознавание характерных элементов городской
среды для привязки видеоданных к карте
1) GIS-Assisted Object Detection and Geospatial Localization,
Shervin Ardeshir, Amir Roshan Zamir, Alejandro Torroella, and Mubarak Shah
2) Augmenting vehicle localization accuracy with cameras and 3D road infrastructure
database, Lijun Wei, Bahman Soheilian, Valerie Gouet-Brunet
(глобальная навигация по ориентирам)

SLAM, Autonomous Driving (Приложения)
Towards real-time, dense tracking, reconstruction and scene understanding,
A. Davison
Работа с камерой 360-градусов
SLAM-Навигация

SLAM, UAV, Fish-eye Camera (Снижение габаритов)
Real-time Accurate Geo-localization of a MAV with Omnidirectional Visual
Odometry and GPS, Johannes Schneider and Wolfgang Forstner
2012-15 – калибровка
и высокоточная 3D
реконструкция на
основе камер типа
«рыбий глаз»
Теперь все СТЗ для автономной
навигации в 3D включают много
небольших широкоугольных камер

Autonomous Driving (проект Фольксваген + Ко)
Multi-Camera Systems in the V-Charge Project: Fundamental
Algorithms, Self Calibration, and Long-Term Localization,
Paul Furgale, ECCV’14, W15
Задачи автономной навигации в 3D
решаются на основе множества
небольших широкоугольных камер
Изображения от камер SLAM и оптические потоки

Autonomous Driving
Multi-Camera Systems in the V-Charge Project: Fundamental
Algorithms, Self Calibration, and Long-Term Localization,
Paul Furgale

Autonomous Driving (Проект Даймлер)
Intelligent Drive & Pedestrian Safety 2.0,
Dariu Gavrila
Автономная навигация на
основе множества
широкоугольных камер
Распознавание
элементов среды и
автоматический
анализ ситуации в
реальном времени
Резюме:
задача 3D реконструкции и автономной
навигации для СТЗ РТК
в целом практически решена!

Сегментация сцены
и понимание видеосюжета:
Saliency maps, Video & 3D Segmentation,
3D-Flow, Multi-Tracking, Human
Detection, Human pose estimation,
Human Action Detection and Prediction,
Crowd behavior, Group analysis, Face
Detection and Recognition

Saliency Maps (Имитация зрительного внимания)
RGB Saliency RGBD Saliency
Примеры карт внимания (фиксаций взгляда) человека
и результатов работы автоматических алгоритмов поиска зон интереса
RGBD Salient Object Detection: A Benchmark and Algorithms,
Houwen Peng, Bing Li, Weihua Xiong, Weiming Hu, and Rongrong Ji
A Closer Look at Context: From Coxels to the Contextual Emergence
of Object Saliency Rotem Mairon and Ohad Ben-Shahar, ECCV’14
Saliency in Crowd,
Ming Jiang, Juan Xu, and
Qi Zhao

Единый подход к обработке и сегментации данных (2003+)
2D, 2D+T, 3D, 3D+T: MRF, Energy-based, 3D Flow
Efficient Joint Segmentation, Occlusion
Labeling, Stereo and Flow Estimation
Koichiro Yamaguchi, David McAllester,
and Raquel Urtasun
Минимизация сложных энергий
пока не в реальном времени!
Основные принципы:
• Минимизация целевой функции
(энергии)
• Модели на основе Марковских
полей
• Оценка 2D и 3D потоков в сцене
• Использование карт внимания
в процессе сегментации
Методы разреза графов впервые
позволили выполнять сегментацию
на основе минимизации энергии
быстро для простых энергий
Y. Boykov and V. Kolmogorov. Computing
geodesics and minimal surfaces via graph
cuts. In Proc. IEEE International Conf.
Computer Vision (ICCV), pp. 26–33, 2003.

Анализ движения, видеонаблюдение с аналитикой
Быстрые методы анализа видеопоследовательностей (до 800 fps):
(Vishnyakov et al. Минимальные требования к вычислителям
• Использование правил анализа динамической сцены для генерации
событий и сообщений в системах видеонаблюдения
• Выделение и прослеживание движущихся объектов
• Выделение изменений в сцене, обнаружение оставленных предметов
• Классификация человек/машина

Обнаружение людей
(пешеходов)
Crowd Tracking with Dynamic Evolution of
Group Structures, Feng Zhu, Xiaogang Wang,
and Nenghai Yu
Открытая проблема!
Ten years of pedestrian detection, what
have we learned?
R. Benenson. et. Al, ECCV 2014
Crowd behavior,
Group analysis
Прорывная работа:
(Dollár, Wojek, Schiele, Perona, 2012)
Задача практически решена

Распознавание действий людей
Video Action Detection with Relational Dynamic-Poselets, L. Wang, Y. Qiao, and X. Tang, ECCV’14
Распознавание взаимодействий двух и более людей – открытая проблема!
Возможно распознавание поз и динамических жестов отдельного человека (при
известном типе активности, словаре поз или по примерам)
Action-Reaction: Forecasting the Dynamics of Human Interaction,
De-An Huang and Kris M. Kitani

Построение и использование пространственно-
временных логик и онтологий для анализа
сложных динамических сцен
Group walking, Group
running, Group merging
and Group splitting.
Events detection using a video-surveillance Ontology and a rule-based approach,
Yassine Kazi Tani, Adel Lablack, Abdelghani Ghomari, and Ioan Marius Bilasco
Открытая проблема!
Слишком сложные
описания очевидных
для человека ситуаций
Модель сцены
Модель событий и процессов

изображений:
Convolution networks,
Deep learning,
Image Retrieval,
Object Detection

Convolution networks, Deep learning, Image Recognition
2011: First Superhuman Visual Pattern
Recognition
twice better than humans
three times better than the closest
artificial competitor
six times better than the best non-neural method
Jürgen Schmidhuber
http://people.idsia.ch/~juergen/deeplearning.html
2011+: Результаты автоматического
распознавания изображений лучше,
чем у человека
Задача распознавания
визуальных образов
The list of won competitions in Computer
Vision:
9. MICCAI 2013 Grand Challenge on Mitosis
Detection
8. ICPR 2012 Contest on Mitosis Detection in
Breast Cancer Histological Images
7. ISBI 2012 Brain Image Segmentation
Challenge (with superhuman pixel error rate)
6. IJCNN 2011 Traffic Sign Recognition
Competition (only our method achieved
superhuman results)
5. ICDAR 2011 offline Chinese Handwriting
Competition
4. Online German Traffic Sign Recognition
Contest
3. ICDAR 2009 Arabic Connected Handwriting
Competition
2. ICDAR 2009 Handwritten Farsi/Arabic
Character Recognition Competition
1. ICDAR 2009 French Connected
Handwriting Competition. Compare the
overview page on handwriting recognition.
Список тестов, в которых
данный алгоритм показал
такие результаты

+ Иерархическое
обучение
с повышением
абстракции данных
от уровня к уровню
Глубокое обучение
Другие методы обучения
Вероятность распознавания
Объем обучающей выборки
Уровень 1
Уровень 2
Уровнь 3
Типовая структура глубокой конволюционной сети
Автоматическое обнаружение и распознавание объектов
на базе глубоких конволюционных нейронных сетей (с 2011)
+ С 2011 г. - распознавание
образов на уровне человека
или выше (superhuman)
+ Тысячи слоев нейронов
+ Учет специфики изображений как объекта
распознавания (локальность, инвариантность к
сдвигу, нечеткая локализация)
Постановка
задачи
распознаван
ия объектов
заданного
типа
Формирова-
ние
«комплекта
обучения»
на основе
реальных и
модельных
данных
Обучение
алгоритмов
обнаружения
и глубокой
нейронной
сети
Постановка
задачи
обнаружения
и
Распознава-
ния объектов
заданного
типа
+ Обучение на сверхбольших
объемах данных
- Нужны огромные обучающие выборки
- Длительное моделирование и обучение
- Ресурсоемкость, низкая скорость
- Необходимо быстрое предобнаружение
- Необходимость эффективных
алгоритмических реализаций
- Необходимость создания нового
поколения нейропроцессоров
Достоинства и проблемы
45

На какие элементы
изображения
реагируют нейроны
разных уровней:
Visualizing and Understanding Convolutional Networks, Matthew Zeiler and Rob Fergus, ECCV’14
чем выше слой сети,
тем выше уровень
абстракции
Уровень 1 Уровень 2 Уровень 3
Уровень 4 Уровень 5
Показаны 9 характерных
стимулов на нейрон

Convolution networks, Deep learning, Image Retrieval
Coarse-to-Fine Auto-Encoder Networks (CFAN) for Real-Time Face Alignment,
Jie Zhang, Shiguang Shan, Meina Kan, Xilin Chen, ECCV’14 4
7

Нормализация изображений лиц
48

Суперразрешение
Learning a Deep Convolutional Network for Image Super-
Resolution Chao Dong, Chen Change Loy, Kaiming He, and Xiaoou
Tang The 13th European Conference on Computer Vision (ECCV),
2014
49

Суперразрешение
Zhen Cui, Hong Chang, Shiguang Shan, Bineng Zhong, Xilin
Chen Deep Network Cascade for Image Super-resolution
Computer Vision – ECCV 2014 Lecture Notes in Computer
Science Volume 8693, 2014, pp 49-64
50

Оценка ядра смаза
51

Оценка ядра смаза
52

Денойсинг
Сеть: L–17–4x2047
Image denoising: Can plain Neural Networks compete
with BM3D? Harold C. Burger, Christian J. Schuler, and
Stefan Harmeling CVPR 2012
54

Семантическая сегментация
Machine Learning for Aerial Image Labeling - V. Mnih
Effective Semantic Pixel labelling with Convolutional Networks and Conditional Random
Fields - Paisitkriangkrai, Sherrah, Janney and Van-Den Hengel
Задача
распознавания:
Изображение ->
метка класса
Задача семантической
сегментации:
Изображение -> метка
класса + сегментация
границ
Конволюционизация
56

Приложение (ГосНИИАС): автоматическая
семантическая сегментация аэроснимков
дороги здания
аэрофото
На вход сети Выход сетиГлубокая
полноконволюционная
нейронная сеть
карта
Обработка
Ground truth
ОшибкаОбучение
Схема обучения сети для семантической сегментации
и пример работы сети для выделения зданий и дорог
57

Цветом указаны классы объектов: желтый – бронетехника, красный –
самолеты, голубой – грузовики, синий – автомашины, зеленый - люди
Обнаружение и распознавание объектов
в реальном времени (ГосНИИАС, 2016)
58

в реальном времени
59
Как это сделано:
Общая идея работы алгоритмов класса Detect Net
Глубокая сеть формирует
для каждой ячейки
разбиения кадра:
Гипотезу о положении
объекта (объемлющий
прямоугольник)
Маску семантической
сегментации (степень
принадлежности пикселов
объектам классов)
Гипотезы кластеризуются
и формируется
окончательный список

в реальном времени
60
Как это сделано:
1
2𝑁
𝑖=1
𝑁
|𝑐𝑜𝑣𝑒𝑟𝑎𝑔𝑒𝑖
𝑡
− 𝑐𝑜𝑣𝑒𝑟𝑎𝑔𝑒𝑖
𝑝
|2
+ 𝑘 ∗
1
2𝑁
𝑖=1
𝑁
[ 𝑥1
𝑡
− 𝑥1
𝑝
+ 𝑦1
𝑡
− 𝑦1
𝑝
+ 𝑥2
𝑡
− 𝑥2
𝑝
+ 𝑦2
𝑡
− 𝑦2
𝑝
]
Схема обучения
Detect Net
Критерий (loss)
Структура сети для работы в реальном времени

Аппаратно-программные решения
Нейроядро Нейроядро
Каналпередачи
Канал передачи R Канал передачи
R
Нейроядро Нейроядро
Канал передачи R Канал передачи
R
Подсистема
ввода и
реконфигурации
Подсистема
вывода
Канал передачи
Канал передачи
Контроллер
внешнего
интерфейса
ФПИ «Мемристор», МФТИ
NVIDIA GPGPUПЛИС (FPGA), ARM
НТЦ Модуль, МЦСТ Эльбрус 61

Прогноз I: доступно для СТЗ поколения-2020
Задачи компьютерного зрения, доведенные до стадии
технологических решений:
• SLAM – технология одновременной реконструкции 3D сцены и
оценки положения/параметров движения камеры
• Привязка облаков точек к заданным 3D моделям
• Распознавание характерных элементов городской среды для
привязки видеоданных к карте
• Выделение и прослеживание движущихся объектов
• Использование правил анализа динамической сцены для
генерации событий и сообщений в системах видеонаблюдения
• Системы автоматического анализа специализированных
видеоданных (например, некоторых типов спортивных игр)
• Выделение изменений в сцене
• Обнаружение людей (пешеходов)
• Обнаружение и распознавание лиц
• Поиск по сходству в коллекциях изображений
• Обнаружение машин и т.п. объектов простых типов
Перспективы технологии СТЗ РТК

Прогноз II: доступно для СТЗ поколений 2025-2030
Задачи компьютерного зрения, находящиеся в стадии исследования
и далекие от готовых технологических решений:
• Оценка характера поведения групп людей или толпы
• Выделение и прослеживание отдельных людей в толпе
• Ре-идентификация людей при съемке в различных условиях
• Распознавание лиц в сложных условиях съемки, при низком
разрешении, при наличии мимики
• Распознавание действий людей, особенно – их взаимодействия
различных типов, операций с предметами , взаимодействия с
элементами окружающей среды и т.п.
• Реконструкция природных процессов в сценах наблюдения
(пожары, наводнения, разрушения, т.п.)
• Семантический поиск по сходству в коллекциях видеоданных
• Автоматическое аннотирование видеоданных с использованием
текстовых тегов
• Построение и использование пространственно-временных логик
и онтологий для анализа сложных динамических сцен

Создание трех новых поколений СТЗ РТК:
Этап 1. 2015-2020: Разработка методик, спецификаций и
унифицированных конструктивных решений, создание
отечественных технологий производства элементной базы,
реализация функций комплексирования многоспектральной
информации, автономной навигации, обнаружения,
сопровождения и распознавания целей и создание типовых
СТЗ РТК первого поколения.
Этап 2. 2021-2025: Реализация методики сквозной разработки,
отработки и сопровождения СТЗ РТК, создание линеек
отечественных элементов, датчиков, вычислителей и
программного обеспечения СТЗ второго поколения на базе
модульной архитектуры, реализация функций понимания сцены
на основе предметных онтологий и баз знаний, всесуточного и
всепогодного видения, сбора и комплексирования данных в
режиме «распределенный сенсор».

Создание трех новых поколений СТЗ РТК:
Этап 3. 2026-2030: Создание на основе гибкой модульной
архитектуры и отечественной элементной базы типоряда СТЗ
третьего поколения для автономных РТК различного типажа и
назначения с функциями искусственного интеллекта (ИИ),
реализация функций автоматической классификации
наблюдаемых ситуаций и процессов, сетевого
распределенного технического зрения групп РТК различного
базирования, самообучения и дообучения специальным
навыкам и новым функциям.

Водные
РТК
Наземные
РТК
Анализ состояния СТЗ РТК. Проблемы
и системы
Датчики
Пассивные
Активные
Комплексы
ДРФП
ЛЛ РЛ
ТВ УФ
ИК
ДФП
Базовые
функции
СТЗ РТК
БЛА,
КЛА
Техн.
элементы
Функции СТЗ : революция в
компьютерном зрении:
- для большинства базовых и
специальных функций СТЗ РТК
разработаны алгоритмы,
обеспечивающие необходимые
- на повестке дня – полное
автоматическое решение всех
задач зрения роботов
Датчики и вычислители:
основная проблема –
имортонезависимость
Импортные ПЛИС и процессоры
обеспечивают все необходимые
характеристики для решения
задач технического зрения.
Отечественные элементы ВТ пока
сильно отстают по всем
параметрам, но часть алгоритмов
можно реализовать
Импортные датчики обеспечивают
все необходимые характеристики
для решения задач технического
зрения.
Отечественные пассивные датчики
отстают из-за проблем с ФПУ, хотя
отдельные достижения, технологии
и перспективы есть, готового – нет!
Отечественные датчики РЛ 3, 8 мм
и ЛЛ – только создаются.
Технологические аспекты:
- Нет типовых решений по классам СТЗ РТК, ПО, АО
- Большие проблемы с передачей видеоданных
- Отсутствуют доступные банки информационного
обеспечения (геоинформация, эталоны и 3D модели
объектов/целей, …)
- Нет доступных стандартных средств метрологии,
математического и полунатурного моделирования

Водные
РТК
Наземные
РТК
Анализ состояния СТЗ РТК. Задачи
и системы
Датчики
Пассивные
Активные
Комплексы
ДРФП
ЛЛ РЛ
ТВ УФ
ИК
ДФП
Базовые
функции
СТЗ РТК
БЛА,
КЛА
Техн.
элементы
- Типовые решения по классам СТЗ РТК
- Модульные архитектуры и модули ПО и АО
- Централизованные банки информационного
обеспечения СТЗ РТК и средства доступа к ним
- Стандартные и доступные средства
метрологического , математического и
полунатурного моделирования
Технологическое отставание в
области СТЗ РТК следует полностью
ликвидировать в течение
ближайших 5-10 лет, иначе оно
приведет как к немедленным
критическим последствиям для
обеспечения обороноспособности,
безопасности границ и ведения
контртеррористических операций,
так и к потере большой части рынка
боевых авиа, морских и наземных
систем уже к 2025-2030 году.
Наличие высокоточных, надежных и
функциональных СТЗ, является
необходимым условием создания РТК
Необходимо создать
отечественную элементную
базу для датчиков
Необходимо создать
отечественную элементную
базу для вычислителей
Необходимо определить
разумную стратегию и правила
использования зарубежной
элементной базы
Необходимо разработать/создать:
Срочность при ограничениях ресурсов
Программа развития РЭП
МО РФ, Национальный центр,
министерства, ведомства

Спасибо за внимание!
Визильтер Юрий Валентинович,
руководитель рабочей группы «Техническое
зрение» Экспертного совета Национального центра
развития технологий и базовых элементов
viz@gosniias.ru

Унификация и модульность
• Унификация необходима не только по горизонтали (классы изделий), но и
по вертикали (одинаковые подсистемы и элементы для разных классов
изделий) Отсюда - дополнительные требования к базовым платформам по
обеспечению вертикальной унификации в дополнение к горизонтальной.
• Модульность и интегрированные модульные архитектуры (ИМА) -
необходимое условие матричной (горизонтально-вертикальной)
унификации. Необходимость внедрения ИМА также связана с повышением
роли алгоритмического, программного и информационного обеспечения.
• Модульность – это когда нет единственных поставщиков. Модульность и
унификация исключают диктат единственного производителя компонентов и
одновременно структурируют и ограничивают выбор главного конструктора в
части заказа/создания уникальных подсистем и компонентов. Отсюда
снижение стоимости, обеспечение технологической устойчивости,
возможность выбора для конструктора как при закупке готовых компонентов
и подсистем, так и при создании кооперации предприятий.
• Модульность и унификация должны быть разумными: необходимо
определить критерии, в каких случаях целесообразной является разработка
оригинальных и уникальных решений, а в каких – доработка или
непосредственное использование готовых типовых.

Горизонтальная унификация на основе базовых платформ
Базовые Платформы РТК
наземного базирования
Класс 1
Класс N
…
воздушного базирования
Класс 1
Класс N
…
водного базирования
Класс 1
Класс N
…
Класс 1
Класс N
…

Матричная унификация на основе модульных платформ
наземного базирования
Класс 1
Класс N
…
воздушного базирования
Класс 1
Класс N
…
водного базирования
Класс 1
Класс N
…
Класс 1
Класс N
……
…
…
…
Базовые Платформы энергетики, систем
управления, связи, технического зрения…

Coding Pooling Coding Pooling
Идеи Deep Learning (Kai Yu, 2012)
- Много десятков уровней (кодирование + объединение данных)
- Инвариантность к сдвигу и масштабу изображения (свертка)
- На верхних уровнях – собственно классификатор (не всегда NN)
Основной метод: сверточные сети, глубокое обучение –
современная реинкарнация персептронов (2005+)
Архитектура “Coding + Pooling” = “Кодирование + Объединение ”
(e.g., convolutional neural net, HMAX, BoW, …)
- Иерархическое выделение признаков при обучении и/или
самообучении на сверхбольших выборках изображений

Обнаружение и распознавание
объектов в реальном времени под
произвольным ракурсом в сложной
фоноцелевой обстановке

Автоматическое обнаружение и распознавание объектов
на базе глубоких конволюционных нейронных сетей (с 2011)
• Новое поколение алгоритмов обнаружения и распознавания целей
• Автоматизированная технология разработки всех этапов алгоритма в едином потоке
74

Структура подсистемы обнаружения и распознавания объектов
в системах навигации и управления БЛА, решаемые задачи
Навигация,
целеуказание
и наведение
БЛА/АСП
Обнаружение и
распознавание
целей (ATR)
Обнаружение
объектов
объектов
Сопровождение
объектов
Предобработка
изображений
Обучение
Формирование
полетной
Моделирование
объектов и сцен
База данных
моделей
Гео-
информация
Актуализация
данных
Моделирование
сенсорных каналов
Дешифри-
рование
Поиск отличий
Геопривязка
На борту,
автоматически, в реальном времени
На земле
или на борту,
На земле,
с участием
человека
автоматизированно
или автоматически, оперативно
75

[Skolkovo Robotics V] Современное состояние и перспективы развития технологий технического зрения робототехнических комплексов

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (6)

Ähnlich wie [Skolkovo Robotics V] Современное состояние и перспективы развития технологий технического зрения робототехнических комплексов

Ähnlich wie [Skolkovo Robotics V] Современное состояние и перспективы развития технологий технического зрения робототехнических комплексов (20)

Mehr von Skolkovo Robotics Center

Mehr von Skolkovo Robotics Center (20)

[Skolkovo Robotics V] Современное состояние и перспективы развития технологий технического зрения робототехнических комплексов

Hinweis der Redaktion