1. Only for
Maxus 
Деинтерлейсинг
Петров Александр
Video Group
CS MSU Graphics & Media Lab
CS MSU Graphics & Media
Lab (Video Group) 1

2. Only for
Maxus 
Содержание
 Введение
 Понятие интерлейсинга
 Понятие деинтерлейсинга
 Постановка задачи
 Визуальные дефекты
 Примеры
 Классификация методов
 Простые методы
 Сложные методы
 Дальнейшие планы
 Список материалов
CS MSU Graphics & Media
Lab (Video Group) 2

3. Only for
Maxus 
Введение
Интерлейсинг (Interlacing) - метод отображения,
передачи или хранения видео, при котором:
 Захват видео по строчкам в разные моменты времени: сначала
четные, потом нечетные (или наоборот).
 Поле (field) – набор строчек одинаковой четности,
соответствующих одному моменту времени.
 Видео-поток с удвоенной частотой.
 При построении кадра, четные и нечетные поля смешиваются.
Образуется один кадр (frame).
CS MSU Graphics & Media
Lab (Video Group) 3

4. Only for
Maxus 
Введение
Поле #5 Кадр #3
Поле #6
CS MSU Graphics & Media
Lab (Video Group) 4

5. Only for
Maxus 
Введение
Деинтерлейсинг (Deinterlacing)— процесс создания
кадров из полукадров чересстрочного формата для
дальнейшего вывода на экран с прогрессивной
развѐрткой.
Применяется:
 В компьютерных системах обработки видео.
 В LCD и плазменных дисплеях.
CS MSU Graphics & Media
Lab (Video Group) 5

6. Only for
Maxus 
Введение
CS MSU Graphics & Media
Lab (Video Group) 6

7. Введение
Only for
Maxus 
Постановка задачи
Задача – интерполировать недостающие пиксели и, в
то же время обеспечить хорошее качество
изображения
- номер поля
- положение пикселя
- исходный пиксель
- интерполированный пиксель
- результат
CS MSU Graphics & Media
Lab (Video Group) 7

8. Введение
Only for
Maxus 
Визуальные дефекты
 Мерцание границ (edge flicking)
 Сползание строк (line crawling)
 Размытость (blur)
 Зубчатость (jaggedness)
CS MSU Graphics & Media
Lab (Video Group) 8

9. Введение
Only for
Maxus 
Пример
CS MSU Graphics & Media
Lab (Video Group) 9

10. Введение
Only for
Maxus 
Пример
CS MSU Graphics & Media
Lab (Video Group) 10

11. Введение
Only for
Maxus 
Пример
до после
CS MSU Graphics & Media
Lab (Video Group) 11

12. Only for
Maxus 
Содержание
 Введение
 Классификация методов
 Простые методы
 Сложные методы
 Дальнейшие планы
 Список материалов
CS MSU Graphics & Media
Lab (Video Group) 12

13. Only for
Maxus 
Классификация методов
Методы
Не использующие MC Использующие MC
Линейные Нелинейные
Адаптирующиеся к движению
Пространственные (Motion Adaptive)
(Spatial)
Адаптирующиеся к границам
Временные (Edge-based)
(Temporal)
VT-медианные
Пространственно-временные
(Spatio-temporal)
Смешанные
CS MSU Graphics & Media
Lab (Video Group) 13

14. Only for
Maxus 
Содержание
 Введение
 Классификация методов
 Простые методы
 Пространственные (Spatial)
 Временные (Temporal)
 Пространственно-временные (Spatio-temporal)
 Адаптирующиеся к границам (Edge-based)
 Сложные методы
 Дальнейшие планы
 Список материалов
CS MSU Graphics & Media
Lab (Video Group) 14

15. Простые методы
Only for
Maxus 
Spatial
 Line Repetition (LR)
 p( x, y, k ), ( y  k )%2  0,
p0 ( x, y, k )  
 p( x, y  1, k ), иначе
CS MSU Graphics & Media
Lab (Video Group) 15

16. Простые методы
Only for
Maxus 
Spatial
 Line Averaging (LA, ―Bob‖)
 p( x, y, k ), ( y  k )%2  0,

p0 ( x, y, k )   1
 2  p( x, y  1, k )  p( x, y  1, k ), иначе,

CS MSU Graphics & Media
Lab (Video Group) 16

17. Only for
Maxus 
Содержание
 Введение
 Классификация методов
 Простые методы
 Пространственные (Spatial)
 Временные (Temporal)
 Пространственно-временные (Spatio-temporal)
 Адаптирующиеся к границам (Edge-based)
 Сложные методы
 Дальнейшие планы
 Список материалов
CS MSU Graphics & Media
Lab (Video Group) 17

18. Простые методы
Only for
Maxus 
Temporal
 Field Insertion (FI, FR, ―Weave‖)
 p( x, y, k ), ( y  k )%2  0,
p0 ( x, y, k )  
 p( x, y, k  1), иначе,
CS MSU Graphics & Media
Lab (Video Group) 18

19. Простые методы
Only for
Maxus 
Temporal
 Inter-field Line Averaging
 p( x, y, k ), ( y  k )%2  0,

p0 ( x, y, k )   1
 2  p( x, y, k  1)  p( x, y, k  1), иначе,

CS MSU Graphics & Media
Lab (Video Group) 19

20. Only for
Maxus 
Содержание
 Введение
 Классификация методов
 Простые методы
 Пространственные (Spatial)
 Временные (Temporal)
 Пространственно-временные (Spatio-temporal)
 VTMF
 VT linear
 Адаптирующиеся к границам (Edge-based)
 Сложные методы
 Дальнейшие планы
 Список материалов
CS MSU Graphics & Media
Lab (Video Group) 20

21. Простые методы
Only for
Maxus 
Spatial-temporal
 Vertical-Temporal Median Filter
p0 ( X )  median( A, B, C )`
CS MSU Graphics & Media
Lab (Video Group) 21

22. Простые методы
Only for
Maxus 
Spatial-temporal
 Vertical-Temporal Linear
 p( x, y, k ), ( y  k )%2  0,
p 0 ( x, y , k )  
k p( x, y  dy, k  dk ) * h(dy, dk ), иначе
 1,8,8,1, (dy  3,1,1,3) AND (dk  0)

18 * h(dy, dk )   5,10,5, (dy  2,0,2) AND (dk  1)
 0, иначе

CS MSU Graphics & Media
Lab (Video Group) 22

23. Only for
Maxus 
Содержание
 Введение
 Классификация методов
 Простые методы
 Пространственные (Spatial)
 Временные (Temporal)
 Пространственно-временные (Spatio-temporal)
 Адаптирующиеся к границам (Edge-based)
 Сложные методы
 Дальнейшие планы
 Список материалов
CS MSU Graphics & Media
Lab (Video Group) 23

24. Простые методы
Only for
Maxus 
Адаптирующиеся к границам
 Edge-based Line Averaging (ELA, ELI, EDI)
CS MSU Graphics & Media
Lab (Video Group) 24

25. Простые методы
Only for
Maxus 
Адаптирующиеся к границам
Улучшения:
 Можно рассматривать 12 направлений
 Weighted Edge-based Line Averaging (WELA)
f ( x  k , y  1)  f ( x  k , y  1)
f n ( x, y )   Wk * (
k  1, 0,1 2
), W1  W2  W3  1
A recursive approach for de-interlacing using improved ELA and
CS MSU Graphics & Media motion compensation based on bi-directional BMA. Seungchan Byun,
Lab (Video Group) Jeongmonn Byun, Gyeonghwan Kim. 2004 International Conference 25
on Image Processing, Volume 3, 24-27, pp.1679 – 1682, Oct. 2004.

26. Простые методы
Only for
Maxus 
Сравнение
CS MSU Graphics & Media
Lab (Video Group) 26

27. Only for
Maxus 
Простые методы
Сравнение (Неподвижные регионы)
Field Insertion Line Repetition Linear VT
Edge-dependent VT median
CS MSU Graphics & Media
Lab (Video Group) 27

28. Only for
Maxus 
Простые методы
Сравнение (регионы с движением)
Field Insertion Line Repetition Linear VT
Edge-dependent VT median
CS MSU Graphics & Media
Lab (Video Group) 28

29. Only for
Maxus 
Содержание
 Введение
 Классификация методов
 Простые методы
 Сложные методы
 Motion Adaptive
 Motion Compensation based
 MSU filter
 Дальнейшие планы
 Список материалов
CS MSU Graphics & Media
Lab (Video Group) 29

30. Сложные методы
Only for
Maxus 
Motion Adaptive
Region
Motion Detector
No Motion Motion
Temporal Spatial
Method Method
CS MSU Graphics & Media
Lab (Video Group) 30

31. Only for
Maxus 
Содержание
 Введение
 Классификация методов
 Простые методы
 Сложные методы
 Motion Adaptive
 Motion Detector
 HMDERP
 Motion Compensation based
 MSU filter
 Дальнейшие планы
 Список материалов
CS MSU Graphics & Media
Lab (Video Group) 31

32. Motion Adaptive
Only for
Maxus 
Motion Detector
 Сравниваем поля одной четности
 Строим маску движения
 Морфологическая операция открытия
(чтобы убрать шумы в движении)
CS MSU Graphics & Media
Lab (Video Group) 32

33. Motion Adaptive
Only for
Maxus 
Motion Detector
Сравниваем поля одной четности
CS MSU Graphics & Media
Lab (Video Group) 33

34. Motion Detector
Only for
Maxus 
4-field motion detection
Yu-Lin Chang, Shyh-Feng Lin, Ching-Yeh Chen, Liang-Gee Chen,
CS MSU Graphics & Media “Video De-Interlacing by Adaptive 4-Field Global/Local Motion
Lab (Video Group) Compensated Approach” IEEE Transactions on Circuits and Systems 34
for Video Technology, Dec. 2005

35. Motion Detector
Only for
Maxus 
Moving-Stationary Detector
CS MSU Graphics & Media Li G.-L., Chen M.-J., “High Performance De-Interlacing Algorithm for
Lab (Video Group) Digital Television Displays” Journal of Display Technology, Volume 2, 35
Issue 1, pp.85 - 90, March 2006

36. Only for
Maxus 
Содержание
 Введение
 Классификация методов
 Простые методы
 Сложные методы
 Motion Adaptive
 Motion Detector
 HMDERP
 Motion Compensation based
 MSU filter
 Дальнейшие планы
 Список материалов
CS MSU Graphics & Media
Lab (Video Group) 36

37. Motion Adaptive
Only for
Maxus 
HMDEPR
CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 37
Recognition. EURASIP Journal on Image and Video Processing, 2008.

38. Motion Adaptive
Only for
Maxus 
HMDEPR
Hybrid Motion Detector (HMD):
CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 38
Recognition. EURASIP Journal on Image and Video Processing, 2008.

39. Motion Adaptive
Only for
Maxus 
HMDEPR
Результат детектора движения - карта движения (motion map).
(a) 1st condition (d) output of HMD
(b) 2nd condition (e) erosion
(c) 3rd condition (f) opening
CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 39
Recognition. EURASIP Journal on Image and Video Processing, 2008.

40. HMDEPR
Only for
Maxus 
Тестирование
Предложенный алгоритм. 3 Field Motion Adaptive (3FMA).
Интерполированы (FI) только статичные регионы. Интерполированы только статичные регионы.
CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 40
Recognition. EURASIP Journal on Image and Video Processing, 2008.

41. Motion Adaptive
Only for
Maxus 
HMDEPR
Edge Pattern Recognition (EPR):
abcd
ave 
 Рассматривается область 3x3 4
 4 типа шаблона  H , p  ave,
3H1L, 3L1H
pi  
ˆ
 L, p  ave

 2H2L - угол
 2H2L - линия ˆ ˆ ˆ ˆ
p1, p2, p3, p4, для a, b, c, d соответств енно
 18 различных шаблонов
CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 41
Recognition. EURASIP Journal on Image and Video Processing, 2008.

42. Motion Adaptive
Only for
Maxus 
HMDEPR
 В случае 3H1L, 3L1H наиболее вероятно, что центральный пиксел
принадлежит к большинству (H для 3H1L и L для 3L1H)
median( pH1 , pH 2 , pH 3 ), 3H1L,
p0  
 median( pL1 , pL2 , pL3 ), 3L1H ,
CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 42
Recognition. EURASIP Journal on Image and Video Processing, 2008.

43. Motion Adaptive
Only for
Maxus 
HMDEPR
 2H2L – угол:
 2H2L – линия:
CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 43
Recognition. EURASIP Journal on Image and Video Processing, 2008.

44. Motion Adaptive
Only for
Maxus 
HMDEPR
 Пиксели b и с, также как и X, недостающие.
Как же их получить?
 EPR without MAP (Motion-Adaption Prediction)
 EPR with MAP
 EPR without MAP
 Усреднение по строкам (Line Averaging)
pr qs
b c
2 2
 EPR with MAP
 Усреднение по строкам (Line Averaging), если b (c) принадлежат
области движения (Motion Area)
 Иначе, берем пиксель с предыдущего поля
CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 44
Recognition. EURASIP Journal on Image and Video Processing, 2008.

45. HMDEPR
Only for
Maxus 
Тестирование
CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 45
Recognition. EURASIP Journal on Image and Video Processing, 2008.

46. HMDEPR
Only for
Maxus 
Тестирование (текстуры)
PSNR in dB
CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 46
Recognition. EURASIP Journal on Image and Video Processing, 2008.

47. HMDEPR
Only for
Maxus 
Тестирование
CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 47
Recognition. EURASIP Journal on Image and Video Processing, 2008.

48. HMDEPR
Only for
Maxus 
Тестирование
CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 48
Recognition. EURASIP Journal on Image and Video Processing, 2008.

49. HMDEPR
Only for
Maxus 
Выводы
 Достоинства
 Хорошо интерполирует границы
 Неплохо строит маску движения
 Недостатки
 Проигрывает на текстурах
CS MSU Graphics & Media
Lab (Video Group) 49

50. Only for
Maxus 
Содержание
 Введение
 Классификация методов
 Простые методы
 Сложные методы
 Motion Adaptive
 Motion Compensation based
 MSU filter
 Дальнейшие планы
 Список материалов
CS MSU Graphics & Media
Lab (Video Group) 50

51. Сложные методы
Only for
Maxus 
MC-based Deinterlacing
CS MSU Graphics & Media
Lab (Video Group) 51

52. Сложные методы
Only for
Maxus 
MC-based Deinterlacing
CS MSU Graphics & Media
Lab (Video Group) 52

53. Сложные методы
Only for
Maxus 
MC-based Deinterlacing
Поиск похожих блоков
Taehyeun Ha, Seongjoo Lee, Jaeseok Kim, “Motion compensated
CS MSU Graphics & Media frame interpolation by new block-based motion estimation
Lab (Video Group) algorithm”, IEEE Transactions on Consumer Electronics, Volume 50, 53
Issue 2, pp.752 - 759, May 2004.

54. Сложные методы
Only for
Maxus 
MC-based Deinterlacing
Подгоним найденный блок Bn под сетку
Taehyeun Ha, Seongjoo Lee, Jaeseok Kim, “Motion compensated
CS MSU Graphics & Media frame interpolation by new block-based motion estimation
Lab (Video Group) algorithm”, IEEE Transactions on Consumer Electronics, Volume 50, 54
Issue 2, pp.752 - 759, May 2004.

55. Only for
Maxus 
MC-based Deinterlacing
Пример работы
Field Insertion MC-based
CS MSU Graphics & Media
Lab (Video Group) 55

56. Only for
Maxus 
Содержание
 Введение
 Классификация методов
 Простые методы
 Сложные методы
 Motion Adaptive
 Motion Compensation based
 MSU filter
 Дальнейшие планы
 Список материалов
CS MSU Graphics & Media
Lab (Video Group) 56

57. Only for
Maxus 
MSU Filter
 MSU MA
 Temporal Interpolation
 Spatial Interpolation
 MSU MC
 Тестирование
CS MSU Graphics & Media
Lab (Video Group) 57

58. Only for
Maxus 
MSU MA
CS MSU Graphics & Media
Lab (Video Group) 58

59. Only for
Maxus 
MSU MA
 Пиксель интерполируется двумя способами
 Пространственная интерполяция (Spatial)
 Временная интерполяция (Temporal)
 Каждый из двух получившихся пикселей вносит свой вклад в конечный
результат с определенным весами, зависящим от характера движения
 p( x, y, k ), ( y  k )%2  0,
p0 ( x, y, k )  
 ps ( x, y, k ) * SpatCoef  pt ( x, y, k ) * TempCoef , иначе,
ˆ ˆ
SpatCoef  пространственный весовой коэффициент
TempCoef  временной весовой коэффициент
ps ( x, y, k )  интерполир ованный пространственным способом пиксел
ˆ
pt ( x, y, k )  интерполир ованный временным способом пиксел
ˆ
CS MSU Graphics & Media
Lab (Video Group) 59

60. MSU MA
Only for
Maxus 
Temporal Interpolation
 В качестве временного приближения используется Field Insertion
или Field Averaging
 Весовая функция для временного приближения (―Static‖ weighting
function) задается так:
5 D
St  *  f ( E ) * h( D )
3E  5 D  150
E - so called SAD (Sum of Absolute Differences). Так называемая сумма
абсолютных разностей, рассчитанная для полей n+1, n, n-1, n-2.
D - дисперсия текущего поля. Считается по восьми соседним пикселям.
 St влияет на TempCoef
CS MSU Graphics & Media
Lab (Video Group) 60

61. MSU MA
Only for
Maxus 
Spatial Interpolation
 Интерполяция
 Vertical Bilinear – позволяет
избежать эффект Гиббса (рингинг)
 Diagonal – позволяет избежать
ступенчатые границы
 Low-angle Edge – интерполирует
границы с маленькими углами
наклона
 Пиксели, получившиеся
разными способами берем с
определенным весом
CS MSU Graphics & Media
Lab (Video Group) 61

62. MSU MA
Only for
Maxus 
Spatial Interpolation
X , четность поля и строки совпадают ,
X 
Wdiag * X diag  Wlow * X low  Wbilinear * X bilinear , иначе ,
X diag - пиксел, интерполир ованный Diagonal Interpolation
X low - пиксел, интерполир ованный Low - angle Edge Interpolation
X bilinear - пиксел, интерполир ованный Bilinear Interpolation
Wdiag - вес, соответсвующий X diag
Wlow - вес, соответсвующий X low
Wbilinear - вес, соответсвующий X bilinear
CS MSU Graphics & Media
Lab (Video Group) 62

63. MSU MA
Only for
Maxus 
Spatial Interpolation
 Весовая функция, влияющая на SpatCoef
 Вес больше, когда присутствует «зубчатость»
E i-1 Ei E i+1
C  Xi
m1  ( Ai  i ) C i-1 Ci C i+1
2
A  Bi A i-1 Ai A i+1
m2  ( X i  i ) Prev ious
2 Current
X i-1 Xi X i+1
Field Field
X  Di
m3  ( Bi  i ) B i-1 Bi B i+1
2
Dif ( X i ) | m1  m2  m3 | D i-1 Di D i+1
Interlacin g _ measure( X i )  Dif ( X i 1 )  2 Dif ( X i )  Dif ( X i 1 ) F i-1 Fi F i+1
CS MSU Graphics & Media
Lab (Video Group) 63

64. Only for
Maxus 
MSU Filter
 MSU MA
 MSU MC
 Тестирование
CS MSU Graphics & Media
Lab (Video Group) 64

65. Only for
Maxus 
MSU MC
CS MSU Graphics & Media
Lab (Video Group) 65

66. Only for
Maxus 
MSU MC
 Пиксель интерполируется тремя способами
 Пространственная интерполяция (Spatial)
 Временная интерполяция (Temporal)
 MC-интерполяция
 Веса SpatCoef и TempCoef определяются похожим (как в MSU MA) образом
 p( x, y, k ), ( y  k )%2  0,
p0 ( x, y, k )  
 p s ( x, y, k ) * SpatCoef  pt ( x, y, k ) * TempCoef  p mc ( x, y, k ) * MCCoef , иначе,
ˆ ˆ ˆ
SpatCoef  пространственный весовой коэффициент
TempCoef  временной весовой коэффициент
MCCoef  весовой коэффициент MC
ps ( x, y, k )  интерполир ованный пространственным способом пиксел
ˆ
pt ( x, y, k )  интерполир ованный временным способом пиксел
ˆ
pt ( x, y, k )  интерполир ованный MC - способом пиксел
ˆ
CS MSU Graphics & Media
Lab (Video Group) 66

67. Only for
Maxus 
MSU MC
 Мера ошибки ME (ME Error Measure)
Влияет на вес MC кадра.
Определяет отсутствие движения и слабое движение.
Может обнаружить только объекты с большой дисперсией.
Зависит от:
 различия блоков (SAD) текущего и предыдущего полей – B.
 различия 6 соседей (SAD) предыдущего и текущего полей – L.
 дисперсии - D. Чем больше дисперсия, тем меньше вероятность
движения.
1 D B
W  2 *
probabilit y _ of _ motion L  1 B  L  1
CS MSU Graphics & Media
Lab (Video Group) 67

68. Only for
Maxus 
MSU MC
 Весовая функция горизонтальных границ (Horizontal Edge Detection weighting function)
Влияет на вес MC-кадра
Нужна для более точно интерполяции границ, близких к горизонтальным.
Пиксель принадлежит горизонтальной границе, если выполнено два условия:
 Градиент по вертикали больше определенного порога (для области этого
пикселя).
 Значение пикселя лежит между значениями соседей.
Gradient ( X i )  ( Ai 1  2 Ai  Ai 1 )  ( Bi 1  2 Bi  Bi 1 )
Match ( X i )  min max Ai , Bi  X , X  min Ai , Bi 
 2Match ( X i ) 
W ( X i )  Gradient ( X i ) * 1 
 max A , B  min A , B  1 

 i i i i 
A i-1 Ai A i+1
Current Motion
X i-1 Xi X i+1 Compensated
Field
Field
CS MSU Graphics & Media B i-1 Bi B i+1
Lab (Video Group) 68

69. Only for
Maxus 
MSU Filter
 MSU MA
 MSU MC
 Тестирование
CS MSU Graphics & Media
Lab (Video Group) 69

70. MSU Filter
Only for
Maxus 
Тестирование
Original frame
CS MSU Graphics & Media
Lab (Video Group) 70

71. MSU Filter
Only for
Maxus 
Тестирование
CS MSU Graphics & Media
Lab (Video Group) 71

72. MSU Filter
Only for
Maxus 
Тестирование
Smart Deinterlace MSU Deinterlacer (motion De Haan Deinterlacer
adaptive)
CS MSU Graphics & Media
Lab (Video Group) 72

73. MSU Filter
Only for
Maxus 
Тестирование
MSU Deinterlacer (motion MSU Deinterlacer (motion
adaptive) compensation)
CS MSU Graphics & Media
Lab (Video Group) 73

74. MSU Filter
Only for
Maxus 
Тестирование
PSNR Measuring (average)
50
PSN R value
40
30
20
1 2 3 4 5 6
Sequence Number
VirtualDub Internal
Smart Deinterlace
AlparySoft Deinterlace
De Haan deinterlacer
MSU MA
MSU MC
CS MSU Graphics & Media
Lab (Video Group) 74

75. Only for
Maxus 
Содержание
 Введение
 Классификация методов
 Простые методы
 Сложные методы
 Дальнейшие планы
 Список материалов
CS MSU Graphics & Media
Lab (Video Group) 75

76. Only for
Maxus 
Дальнейшие планы
 Опробовать изложенные методы
 Совместить следующие подходы
 Motion Adaptive
 Spatial
 Temporal
 Edge-based
 Motion Compensation based
 Возможно, вероятностный подход
 Анализ области и весовые функции
CS MSU Graphics & Media
Lab (Video Group) 76

77. Only for
Maxus 
Содержание
 Введение
 Классификация методов
 Простые методы
 Сложные методы
 Дальнейшие планы
 Список материалов
CS MSU Graphics & Media
Lab (Video Group) 77

78. Only for
Maxus 
Список материалов
1. A De-interlacing Algorithm Based on True Motion Vectors. Yi-Shan Shiu, Institute of Computer &
Communication, 2006 .
2. Video De-Interlacing by Adaptive 4-Field Global/Local Motion Compensated Approach. Yu-Lin Chang,
Shyh-Feng Lin, Ching-Yeh Chen, Liang-Gee Chen, IEEE Transactions on Circuits and Systems for Video
Technology, Volume 15, Issue 12, pp.1569 - 1582, Dec. 2005.
3. High Performance De-Interlacing Algorithm for Digital Television Displays. Li G.-L., Chen M.-J. Journal
of Display Technology, Volume 2, Issue 1, pp.85 - 90, March 2006.
4. Motion compensated frame interpolation by new block-based motion estimation algorithm. Taehyeun
Ha, Seongjoo Lee, Jaeseok Kim. IEEE Transactions on Consumer Electronics, Volume 50, Issue 2,
pp.752 - 759, May 2004.
5. Advanced de-interlacing techniques. E.B. Bellers and G. de Haan.
6. Direction-Oriented Interpolation and Its Application to De-interlacing. Hoon Yoo and Jechang Jeong.
IEEE Transactions on Consumer Electronics, Volume 48, Issue 4, pp.954 – 962, Nov. 2002.
7. A recursive approach for de-interlacing using improved ELA and motion compensation based on bi-
directional BMA. Seungchan Byun, Jeongmonn Byun, Gyeonghwan Kim. 2004 International Conference
on Image Processing, Volume 3, 24-27, pp.1679 – 1682, Oct. 2004.
8. A Motion-Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. Gwo Giun
Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. EURASIP Journal on Image and Video Processing, 2008.
9. Презентации Видеогруппы. Сергей Путилин, Денис Кубасов. 2003, 2004.
10. Отчет по MSU Deinterlacer.
CS MSU Graphics & Media
Lab (Video Group) 78

79. Only for
Maxus 
Вопросы
?
CS MSU Graphics & Media
Lab (Video Group) 79

80. Only for
Maxus 
Содержание
 Введение
 Классификация методов
 Простые методы
 Сложные методы
 Motion Adaptive
 Motion Compensation based
 MSU filter
 Вероятностный подход
 Дальнейшие планы
 Список материалов
CS MSU Graphics & Media
Lab (Video Group) 80

81. Сложные методы
Only for
Maxus 
Вероятностный подход
Максимальная апостериорная гипотеза (MAP):
– текущее поле (четные или нечетные строки)
– кадр на выходе, соответствующий
– область, соответствующая
– область, соответствующая
– const
Оценка максимального правдоподобия:
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-
CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal
Lab (Video Group) smoothness constraint. Science in China Series F: Information 81
Science. 2007.

82. Сложные методы
Only for
Maxus 
Вероятностный подход
- «похожесть» и на области . По сути, плотность
распределения шума.
- позиция каждого пикселя кадра
Существующие пиксели ( ) желательно оставить без изменений
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-
CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal
Lab (Video Group) smoothness constraint. Science in China Series F: Information 82
Science. 2007.

83. Сложные методы
Only for
Maxus 
Вероятностный подход
- априорная оценка
Модель Гиббса:
- функция энергии
- обратная абсолютная температура
- пространственно-временной градиент
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-
CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal
Lab (Video Group) smoothness constraint. Science in China Series F: Information 83
Science. 2007.

84. Сложные методы
Only for
Maxus 
Вероятностный подход
Таким образом, задача сводится к минимизации
функционала энергии:
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-
CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal
Lab (Video Group) smoothness constraint. Science in China Series F: Information 84
Science. 2007.

85. Сложные методы
Only for
Maxus 
Вероятностный подход
Соответствующее уравнение Эйлера-Лагранжа:
- нормаль вектора границы области
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-
CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal
Lab (Video Group) smoothness constraint. Science in China Series F: Information 85
Science. 2007.

86. Сложные методы
Only for
Maxus 
Вероятностный подход
Стандартное видео (без шума)
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-
CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal
Lab (Video Group) smoothness constraint. Science in China Series F: Information 86
Science. 2007.

87. Вероятностный подход
Only for
Maxus 
тестирование
Стандартное видео (с шумом)
(a) original video
(b) video with noise (zero-mean,
SNR=20 dB)
(c) LR (PSNR=22.10 dB)
(d) LA (PSNR=24.80 dB)
(e) FI (PSNR=21.78 dB)
(f) VT (PSNR = 22.68)
(g) MCmed (PSNR=24.11 dB)
(h) McVT (PSNR=25.96 dB)
(i) Proposed (PSNR=27.81dB)
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-
CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal
Lab (Video Group) smoothness constraint. Science in China Series F: Information 87
Science. 2007.

88. Вероятностный подход
Only for
Maxus 
тестирование
Стандартное видео (с шумом)
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-
CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal
Lab (Video Group) smoothness constraint. Science in China Series F: Information 88
Science. 2007.

89. Вероятностный подход
Only for
Maxus 
тестирование
Реальное видео
(a) original video
(b) LR
(c) LA
(d) Proposed
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-
CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal
Lab (Video Group) smoothness constraint. Science in China Series F: Information 89
Science. 2007.

90. Motion Adaptive
Only for
Maxus 
Motion Detector
- различие во времени
- различие в пространстве
CS MSU Graphics & Media
Lab (Video Group) 90