Weitere ähnliche Inhalte
Ähnlich wie Тестирование IP видео на примере библиотеки Skype (20)
Тестирование IP видео на примере библиотеки Skype
- 2. Оксана Деменцова
• Software development engineer in test, Skype division. Microsoft. Tallinn office
• Почти 5 лет в тестировании
• Все проекты связаны с видео
oksana.dementsova
2012 © Skype Internal Data. Slide 2
- 5. Видео – в массы!
200 млн онлайн пользователей в месяц
40 млн одновременно онлайн
Более 40% звонков – видео звонки
300 млн минут видео в день
2012 © Skype Internal Data. Slide 5
- 7. Обеспечения качества
Как и любой другой програмный продукт, Skype тестируется разными способами
• Unit testing, code coverage, и всякие другие инструменты
Однако, видео довольно уникальная часть
• И это то, о чем мы поговори
А начнем с одного большого вопроса…
2012 © Skype Internal Data. Slide 7
- 9. А если детальнее…
Оно вообще
работает?
Между А со старыми
платформами версиями?
работает?
Видео и аудио
синхронны?
Предыдущие Какой компромис
версии хуже? между аудио, видео и
жизнью батареи?
2012 © Skype Internal Data. Slide 9
- 10. Все непросто
Измерение качества видео – сложная задача, так как включает в себя:
1. понимание того, как работает воспрятие человека (глаза + мозг)
2. преобразование этих знаний в алгоритмы и эксперименты
2012 © Skype Internal Data. Slide 10
- 12. Спектр метрик
Полностью Скорее Полностью
Объективные Смешанные
объективные субъективные субъективные
Мнение
Частота кадров Цвет Артефакты Четкость
пользователей
Общее
Разрешение Замирания Скрытия Гладкость
впечатление
Соотношение Синхронность
Подергивание
сторон
Задержка Мерцание
2012 © Skype Internal Data. Slide 12
- 13. Объективные метрики
Расрешение: 160x120, 720p, full HD…
Частота кадров: 30 fps
• Базовые метрики. Но, не дают полного
представления о качестве
Другие метрики: точность кадра, размытость,
блоковость, резкость
• Сложнее определить и измерить
2012 © Skype Internal Data. Slide 13
- 14. Кодек
VC-1 H264 VP6
2012 © Skype Internal Data. Slide 14
- 18. Объективное
тестирование
2012 © Skype Internal Data.
- 19. e2e тестирование
UI уровень тестирования видео библиотеки + интеграция
Используем Automatic Calling System для распределения тестов
ACS включает:
• Агент, который контролирует UI либо браузер
• Логирование
• Опционально: лог парсеры, отчеты
2012 © Skype Internal Data.
- 20. Релиз тестирование
Тысячи звонков для проверки стабильности
• Тестирование новых версий видео библиотеки
• Тестирование новых функций: кодек, ключи настройки
Информация про производительность билдов:
• Логи
• Bugsense, Watson, HockeyApp
2012 © Skype Internal Data. Slide 20
- 23. CI система
Build
Что это значит?
• каждые 10 минут, скрипт проверяет
наличие новых коммитов. Report Deploy
• запускаются короткие тесты (в среднем
тест – 30 сек).
• отчет генерируется в базе и
отображается на веб странице
Analyze Run
Ночью запускаются длинные тесты.
2012 © Skype Internal Data. Slide 23
- 24. CI систама
Наглядно
2012 © Skype Internal Data. Slide 24
- 26. Ежедневное тестирование регрессии
Быстрые проверки Функционал Качество
Разрешение, частота
Видео старт/стоп HD видео
кадров
Совместимость Реакция на изменения
Расшаривание экрана
платформ качества сети
Реакция на
Переключение
Груповой звонок загруженость
устройств
процессора
2012 © Skype Internal Data. Slide 26
- 28. Нефункциональные требования
Функциональные vs. Нефункциональные
видео работает = мы что-то видим
vs.
качество видео хорошее = нам нравится наш видео звонок
2012 © Skype Internal Data. Slide 28
- 29. NFR – Pass/Failed vs баллы
Индикатор Функциональное Нефункциональное
Pass / Fail 0% → 100%
разрешение ≠ 0x0 max = VGA
частота кадров ≠0 max = 15fps
битрейт 350kpbs ± 10%
качество кадра кадр существует PSNR илиSSIM значение
2012 © Skype Internal Data. Slide 29
- 32. Эксперименты в видео лаборатории
Для разработки нового функционала
Пример: стоит ли применять скрытие ошибок?
Для настройки функций
Пример: какой компромисс между качеством видео и аудио на мобильных
устройствах?
2012 © Skype Internal Data. Slide 32
- 34. Разделение для анализа результатов
Содержание:
• Сцены: статический бэкграунд, голова и плечи, динамичные сцены.
• Источник: веб камера в помещении, камера мобильного устройства.
Опыт испытателя:
• Не эксперт, аудио эксперт, видео эксперт, эксперт в аудио и видео
2012 © Skype Internal Data. Slide 34
- 36. Обратная связь «реального мира»
• Mean Opinion Score (MOS):
оценка обычного пользователя
(шкала от 1 до 5)
• Статистика звонка,
тип сети, логи звонка
2012 © Skype Internal Data. Slide 36
- 37. Что мы с этим делаем?
Аудио – широкополосный аудио кодек SILK дает звонки длиннее и с лучшими
баллами
2012 © Skype Internal Data. Slide 37
- 38. Сравнение субъективных тестов
Тестирование в лаборатории Обратная связь пользователей
Контролируемая среда Неконтролируемая среда
Функции в разработке Только выпущеный клиент
Медленное развертывание новых
Быстрый оборот
конфигураций
Изолируемые функции Оценивается весь звонок
Абстрактная среда Оценка от конечного пользователя
Ограниченое количество тестов Миллионы испытателей
2012 © Skype Internal Data. Slide 38
- 40. Измерение качества видео
Метрики видео програмного обеспечения сложны и разнообразны
• Баланса параметров сложно достичь
• Тестирование происходит на многих уровнях
Объктивные оценки: автоматизируем
• e2e уровень интеграции: сценарии конечного пользователя
• Низшие уровни интеграции: более абстрактны, но дешевле и изолировано от
других компонентов
2012 © Skype Internal Data. Slide 40
- 41. Применение качества видео
Субъективные оценки: что действительно важно для пользователей
• Лабораторные экспериметны: настройки функций, контролируемые условия
• Обратная связь: живое впечатление, масштабно
Видео тестировщик ответственен за
• внедрение, интерпретацию результатов, их обобщение с результатами других
команд
• … помощь в обеспечении качества видеозвонка завтрашнего дня
2012 © Skype Internal Data. Slide 41
Hinweis der Redaktion
- Some history before this.