1. Оптимизация методов оцифровки
движений человеческого тела для создания
мультимедийного контента
Короткий П.В., Золотых Н.Ю, Половинкин А.Н.
ООО «ГЛОБУС ННГУ, ВМК
2. 2
Короткий Павел Васильевич
директор ООО ГЛОБУС
руководитель проекта
Золотых Николай Юрьевич
к.ф.-м.н., доц. ф-та ВМК ННГУ
научный руководитель проекта
Половинкин Алексей Николаевич,
м.н.с. ф-та ВМК ННГУ
технический руководитель проекта
Команда проекта
3. 3
• НИР «Высокопроизводительные вычисления в машинном обучении
для анализа больших объемов данных» (2010–2011) (в рамках ФЦП
«Научные и научно-педагогические кадры инновационной России»на
2009-2013 годы; государственный контракт № 02.740.11.5131):
• интеграция в библиотеку OpenCV программных реализаций
новых вариантов алгоритмов: Gradient Boosting Trees, Latent SVM
• НИР «Новые алгоритмы машинного обучения и компьютерного
зрения и их высокопроизводительные реализации» (2011–2013) (в
рамках ФЦП «Исследования и разработки по приоритетным
направлениям развития научно-технологического комплекса России
на 2007-2013 годы»; государственный контракт №11.519.11.4015):
• новый алгоритм для задачи классификации объектов на
изображении с большим числом категорий объектов
• новый алгоритм для задачи детектирования пешеходов,
основанный на новом методе отбора признаков с помощью
ансамблей деревьев решений
• новый алгоритм для решения задачи детектирования
автомобилей на видеоданных
Опыт команды
4. 4
• НИР «Разработка алгоритма и прототипов геолокационной
системы» (2012–2013) (заказчик «Интел А/О»):
• алгоритм и программная реализация для задачи предсказания
вероятных конечных пунктов движения водителя на основе
имеющейся исторической информации
• Проект по разработке учебно-методических материалов «Разработка
мультимедийных приложений с использованием библиотек OpenCV и
IPP» (2012–2013) (заказчик «Интел А/О»)
• Разработка программного комплекса для оценки правильной осанки
ученика
• Разработка специализированных программных комплексов для
показа интерактивных презентаций с помощью технологии Microsoft
Kinect
• Разработка прототипа «Виртуальная примерочная» с помощью
технологии Microsoft Kinect
Опыт команды
7. 7
Положение дел:
•Высокий объем рынка мультипликации
•Высокая цена входа в рынок (от 250 000$)
•Небольшое число игроков, которые могут позволить себе
дорогостоящее оборудование
Задача:
Разработать систему оцифровки движений человеческого
тела, которая, с одной стороны, будет иметь достаточно
низкую стоимость, с другой стороны, – высокую степень
точности.
Постановка задачи
8. 8
Актуальность темы:
Большинство предприятий, которым требуется оцифровка
объектов, не могут себе позволить заказ дорогостоящего
оборудования. Мы решаем эту проблему, предоставляя
одновременно достаточно дешевое оборудование, в тоже
время, не в ущерб качеству.
Актуальность темы
9. 9
Коммерциализуемость проекта:
•Создание и продажа анимационных роликов для плоских и
сферических экранов
•Продажа годовых лицензий для коммерческого
использования (перепродажа мультипликации, созданной
на основе технологии)
•Продажа годовых лицензия на право пользования
программой для личных нужды
•Внедрение технологии в смежные сферы
Коммерческая часть
10. 10
•Microsoft Kinect for PC (официальная
лицензия на разработку продается с 1
февраля 2012 года)
•Камера eCreative совместно с Intel®
Perceptual Computing SDK
•Алгоритмы компьютерного зрения и
машинного обучения
Предлагаемое решение задачи:
Гибритизация новых и старых технологий:
11. 11
Построение карты глубин в Kinect основано на анализе спекл-
структуры («грануляции» яркости) излучения инфракрасного лазера
Kinect использует стереонаблюдение. Для анализа глубины
используются две камеры и методом триангуляции определяется
расстояние
Расстояние между двумя камерами Kinect невелико – как между
человеческими глазами. Использование двух и более разнесенных
устройств позволит:
1. Повысить точность триангуляции
2. Одновременно наблюдать все части объекта и за счет этого
повысить точность по сравнению с наблюдениями с помощью
одного устройства Kinect
Физические основы Microsoft Kinect
Microsoft Kinect
12. 12
• Разработка и реализация алгоритмов и программных
комплексов гибридной оцифровки движений человека с
разверсткой 360 градусов
• Разработка и реализация алгоритмов распознавания
жестов на близком расстоянии
• Разработка и реализация алгоритмов распознавания
движений пальцев
• Разработка и реализация алгоритмов распознавания
мимики
• Изучение комбинированного использования технологий
Microsoft kinect и eCreative
Текущие разработки
14. 14
• Разработка и реализация алгоритмов распознавания
жестов на близком расстоянии
• Разработка и реализация алгоритмов распознавания
движений пальцев
• Разработка и реализация алгоритмов распознавания
мимики
• Изучение комбинированного использования технологий
Microsoft kinect и eCreative
Дополнительное НИОКР
