Deringing Cartoons

Deringing
Cartoons
Моисейцев Алексей
Video Group
CS MSU Graphics & Media Lab

1

Only for
Maxus 

Содержание
 Эффект Гиббса и причины возникновения
 Алгоритмы дерингинга
 Simple Adaptive Filter

 Fuzzy Post-Filtering

 Bilateral Filter

 Linear Post-Filtering

 Библиотека Артефактов

 Результаты

2
CS MSU Graphics & Media Lab (Video Group)

Only for

Понятие Ringing`а
Maxus 

Причины

В алгоритмах сжатия, основанных на DCT,
в результате квантования происходит
потеря информации.

При квантовании низкочастотных
коэффициентов появляется эффект
блочности, а при квантовании
высокочастотных – эффект Гиббса (ringing)

3

Only for

Maxus 

Примеры

4

Only for
Maxus 

Зачем?

 Современные кодеки ориентированы
на сжатие фотореалистичного видео
 Существует большое количество
анимированного видео, сжатого
такими кодеками

5

Only for

Maxus 

Возможные стратегии дерингинга

 Фильтрация
 Синтез
 Векторизация

 Дополнительная информация

6

Only for
Maxus 







7

Only for

Simple Adaptive Filter
Maxus 

Описание алгоритма

 Яркость каждого пикселя сравнивается с
соседними
 Если различие не превышает некий порог,
происходит усреднение цвета

Reduction of Ringing Noise in Transform Image Coding Using a Simple 8
CS MSU Graphics & Media Lab (Video Group) Adaptive Filter, André Kaup, Siemens Corporat Technology

Only for

Maxus 

Реализация
9 9
g 5  (g 5    i g i ) /(     i )
~
i 1 i 1
i 5 i 5

1, if g 5  g i  S
i  
0, else
 δ – Весовая функция
 λ – Сила фильтрации
 S – Порог


Only for

Maxus 

Пример работы

10

Only for

Maxus 


11

Only for

Maxus 


12

Only for
Maxus 


 Достоинства
 Высокая скорость работы

 Недостатки
 Не может полностью удалить артефакты
 Не учитывает характер области
фильтрации


Only for
Maxus 







14

Only for

Fuzzy Post Filtering
Maxus 

Схема алгоритма

15

Only for

Fuzzy Post-Filtering
Maxus 

Классификация блоков

 Для каждого пикселя определяется его
класс
 flat if  2 (x , y )  flatThreshold

pixel (x , y )   edge if  2 (x , y )  edgeThresh old
texture else


где  2 (x , y ) - дисперсия пикселя с центром в (x,y)

Coding Artifact Reduction Using Edge Map Guided Adaptive and Fuzzy Filter 16
CS MSU Graphics & Media Lab (Video Group) Hao-Song Kong, Yao Nie, Anthony Vetro, Huifang Sun, Kenneth E. Barner, TR-2004-056, 2004

Only for

Fuzzy Post-Filtering
Maxus 


17

Only for

Maxus 

Фильтрация блоков

 Класс блока определяется как
максимальный класс принадлежащего ему
пикселя (flat < texture < edge)
 Фильтруются только flat- и edge-блоки
 Фильтрация flat-блоков необходима для
удаления шумов на сплошных участках
 Фильтрация edge-блоков исправляет
ошибки квантования


Only for

Maxus 

Фильтрация

 Используется фильтр 5х5
~   j 1 x j  (x c , x j )
N

xc
 j 1  (x c , x j )
N

 ( a b ) 2 / 2 2
 (a , b )  e

 2  сила фильтра,
зависит от типа блока
~
x c  новое значение пикселя

Only for

Maxus 


20

Only for

Maxus 


21

Only for

Maxus 


22

Only for
Maxus 


 Исправляет многие артефакты

 Может размывать картину
 Необходим точный подбор параметров


Only for
Maxus 

Fuzzy Adaptive Filter

 Непрерывная зависимость силы
фильтрации от дисперсии блока

24

Only for
Maxus 


0 10 20 30 40 50 60 70 80 90 100
Стандартное отклонение блока
25

Only for
Maxus 

Зависимость силы фильтрации от дисперсии блока при наилучшем качестве (PSNR)

25
1500
20
Сила фильтра

1200
15
980
10
700
5
500
0
10 20 30 40 50 60 70 80 90 100

Стандартное отклонение блока

26

Only for
Maxus 

Сжатое видео Обработанное видео
43
42
41
40
39
Y-PSNR

38
37
36
35
34
500 600 700 800 900 1000 1100 1200 1300 1400 1500

Bitrate, kbps

27

Only for
Maxus 


 Учитывается характер блока

 Необходим точный подбор параметров


Only for
Maxus 







29

Only for
Maxus 

Bilateral Filter

 Идея:
 Использовать фильтр, аналогичный
 Учитывать не только фотометрическое
расстояние, но и геометрическое между
пикселями

Bilateral Filtering for Gray and Color Images. C. Tomasi. R. Manduchi. 30
CS MSU Graphics & Media Lab (Video Group) Computer Science Department, Stanford Univrsity, 1998

Only for
Maxus 

Bilateral Filter
 Геометрическая составляющая:
   
h( x)  k ( x) 
1
d  f( )c( , x)d , k d ( x)    c( , x)d
   

 Фотометрическая составляющая:
 
h( x)  k ( x) 
1
r  f( ) s(f( ), f( x))d
 
 
k r ( x)    s(f( ), f( x))d
 
f  исходное изображение
с( , x)  г еометрическое близость точек ξ и x
s(f( ), f( x))  фотометрическая близость точек ξ и x

Only for
Maxus 

Bilateral Filter
 
h( x)  k ( x) 
1
 f( )c( , x) s (f( ), f( x))d
 

2
  x
1

 2 

 d
c( , x)  e 

2
 f(  )  f( x ) 
1
2


r
s ( , x)  e  


Only for
Maxus 

Bilateral Filter

33
CS MSU Graphics & Media Lab (Video Group) Bilateral Filtering for Gray and Color Images. C. Tomasi. R. Manduchi.

Only for
Maxus 

Multipass Bilateral Filter
Несколько проходов фильтра приводят к ”картунизации”
изображения

исходное изображение одна итерация пять итераций


Only for
Maxus 


35

Only for

Maxus 

Результаты

Зависимость Y-SSIM от битрейта

1

0,99

0,98

0,97
Y-SSIM

0,96

0,95

0,94

0,93

0,92

0,91
500 700 900 1100 1300 1500 1700

Bitrate, kbps

36

Only for

Maxus 



38,5

36,5
Y-PSNR

34,5

32,5

30,5

28,5
900 1400 1900 2400 2900 3400

Bitrate, kbps

37

Only for

Maxus 


38

Only for

Maxus 


39

Only for

Maxus 


40

Only for

Maxus 


42

Only for
Maxus 


 Хорошее качество

 Эффект алиасинга
 Закрашивает текстуры
 Довольно медленный

43

Only for
Maxus  Сравнение
Фильтров

Simple Adaptive Filter Fuzzy Adaptive Filter Multipass Bilateral Filter

44

Only for
Maxus  Сравнение
Фильтров

Simple Adaptive Filter Fuzzy Adaptive Filter Multipass Bilateral Filter

45

Only for
Maxus 







46

Only for

Linear Post-Filtering
Maxus 


47

Only for

Maxus 


 Intra-блоки
S  u 0 v 0 Fu ,v (u ,v )  (0,0)
7 7

If ( S < Threshold )
Block ← Smooth
else
Block ← Complex

Fu,v - коэффициенты BDCT

A LOW-COMPLEXITY POSTPROCESSING ALGORITHM FOR BLOCK BASED VIDEO CODING 48
Ravikanth Maddikonda and Tushar K. Adhikary Emuzed India Pvt. Ltd.

Only for

Maxus 


 Inter-блоки

If ( R1, R2, R3 or R4 is Complex )
C ← Complex
else
C ← Smooth


Only for

Maxus 


 Только Complex блоки подлежат
фильтрации

 Smooth блоки копируются без изменений


Only for
Maxus 


if( |Pi+1 – Pi| >= QP )
Pi+1, Pi ← edge pixels

Если найдены граничные пиксели, то они копируются без фильтрации.

QP – коэффициент квантования


Only for
Maxus 


if( | P1 – P2 | < (0.5QP) && P1 lies in a smooth block )
P2' = ( P0 + P1 + 2P2 ) / 4
P3' = ( P1 + P2' + 2P3 ) / 4
1
1 1 2 0 0
P4' = ( P2' + P3' + 2P4 ) / 4 4
else
P3' = ( P2 + 2P3 + P4 ) / 4 1
1 2 1
P4' = ( P3' + 2P4 + P5 ) / 4 4


Only for
Maxus 


53

Only for
Maxus 


 Если не найдено ни одного граничного
пикселя

d = ( P1 – P2 )
if ( | d | < 2QP )
P1' = P1 – d/4
P2' = P2 + d/4

Only for
Maxus 


55

Only for

Maxus 

Пример

56

Only for
Maxus 

 Очень высокая скорость работы

 Требуется дополнительная информация
 ME
 Коэффициенты BDCT
 Коэффициент квантования
 Низкое качество


Only for
Maxus 







58

Only for

Библиотека артефактов
Maxus 

Идея алгоритма

Image Analogies,
Aaron Hertzmann, Charles E. Jacobs, Nuria Oliver, Brian Curless, David H. Salesin, 59
CS MSU Graphics & Media Lab (Video Group) New York University, Microsoft Research, University of Washington, 2001

Only for

Maxus 


Deringing Cartoons by Image Analogies,
GUANGYU WANG, TIEN-TSIN WONG, PHENG-ANN HENG, 60
CS MSU Graphics & Media Lab (Video Group) ACM Transactions on Graphics, Vol. 25, No. 4, October 2006

Only for
Maxus  Библиотека артефактов
Построение обучающей
последовательности
В алгоритме строится
некий набор
изображений, к
которому применяется
DCT и квантование.
Запоминаются пары
исходный сжатый блок
пиксель


Only for
Maxus 

Исходное изображение Сжатое изображение


Only for
Maxus 

Исходный блок Сжатый блок

Original artifact vector
pixel Deringing Cartoons by Image Analogies,

Only for

Maxus 

Определение границ

 Sobel operators
 f f 
grad f   , 
 x y 
 
f
[ x, y ]  S x [ x, y ]
x

-1 0 1 1 2 1
-2 0 2 0 0 0
-1 0 1 -1 -2 -1
2
 f   f 
2

grad f      
  64
CS MSU Graphics & Media Lab (Video Group)  x   y 

Only for

Maxus 

Определение границ

 Поиск блоков 8x8, содержащих границы.
Дерингинг будет производится только
внутри этих блоков.


Only for

Maxus 

Алгоритм
Для каждого пикселя внутри блока:
1. Выбирается область 5x5
2. Делается запрос в библиотеку
артефактов
3. Полученный исходный пиксель
записывается в обработанное
изображение

запрос


Only for

Maxus 

Алгоритм

 Для сравнения двух артефакт-векторов
используется метрика
De ( wa , wb )  i
G(i, j )(wa (i, j )  wb (i, j )) 2
j
где G – двумерное ядро Гаусса


Only for

Maxus 



Only for

Maxus 

Заключение

 Хорошо обрабатывает сложные случаи

 Недостатки:
 Крайне медленно работает
 При изменении параметров сжатия
необходимо повторить обучение


Only for
Maxus 







70

Only for
Maxus 


 Реализованы методы:
 Fuzzy Post Filtering
 Fuzzy Adaptive Filter
 Multipass Bilateral Filter
 Реализован фильтр
MSU Cartoon Restore

71

Only for
Maxus 

Список литературы
 Deringing Cartoons by Image Analogies
Guangyuwang, Tien-Tsinwong, and Pheng-Annheng
The Chinese University of Hong Kong, 2006.
 A low-complexity postprocessing algorithm for block based video coding
Ravikanth Maddikonda and Tushar K. Adhikary
Emuzed India Pvt. Ltd.
 Coding Artifact Reduction Using Edge Map Guided Adaptive and Fuzzy Filter
Hao-Song Kong, Yao Nie, Anthony Vetro, Huifang Sun, Kenneth E. Barner
MITSUBISHI ELECTRIC RESEARCH LABORATORY, 2004
 Reduction of Ringing Noise in Transform Image Coding Using a Simple Adaptive Filter
Andre Kaup
Siemens Corporate Technology, Networks and Video Communications, Munich, Germany, 1998
 Bilateral Filtering for Gray and Color Images.
C. Tomasi. R. Manduchi.
Computer Science Department, Stanford Univrsity, 1998
 MULTI-SCALE EDGE DETECTION AND IMAGE SEGMENTATION
Baris Sumengen, B. S. Manjunath
ECE Department, UC, Santa Barbara, USA, 2005
 DERINGING AND DEBLOCKING DCT COMPRESSION ARTIFACTS WITH EFFICIENT SHIFTED TRANSFORMS
Ramin Samadani, Arvind Sundararajan and Amir Said
HP Labs Palo Alto, Imaging Technologies Department, 2004
 Fast Adaptive Fuzzy Post-Filtering for Coding Artifacts Removal in Interlaced Video
Yao Nie, Hao-Song Kong, Anthony Vetro, Kenneth Barner
Mitsubishi Electric Research Laboratories, 2005

72

Only for
Maxus 

Дополнительная литература
 Video Codec for Classical Cartoon Animations with Hardware Accelerated Playback
Daniel Sykora, Jan Burianek, Jir Zara, Czech Technical University in Prague, 2005
 Segmentation of Black and White Cartoons, Daniel Sykora, Jan Burianek, Jiri Zara,
Czech Technical University in Prague, 2003
 A Multiscale Approach to Contour Detection by Texture Supression, Giuseppe Papari, Patrizio Campisi, Nikolai Petkov, Alessandro
Neri, Institute of Mathematics and Computing Science, University of Groningen, 2006
 A SIMPLE SCHEME FOR CONTOUR DETECTION
Gopal Datt Joshi, Jayanthi Sivaswamy
Center for Visual Information Technology, IIIT Hyderabad, 2003
 Multi-scale Approach to Salient Contour Extraction
Gopal Datt Joshi, Jayanthi Sivaswamy
Centre for Visual Information Technology, IIIT Hyderabad, 2005
 A Non-Maxima Suppression Method for Edge Detection with Sub-Pixel Accuracy
Frederic Devernay
The French National Institute for Research in Computer Science and Control,1995
 Maximum-Likelihood Parameter Estimation for Image Ringing-Artifact Removal
Seungjoon Yang, Yu-Hen Hu, Truong Q. Nguyen, Damon L. Tull
IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 11, NO. 8,2001

73

Only for
Maxus 

Дополнительная литература
 Simple and Effective Filter to Remove Corner Outlier Artifacts in Highly Compressed Video
Jongho Kim, Donghyung Kim, and Jechang Jeong
Department of Electrical and Computer Engineering, Hanyang University, 2006
 Perceptually Adaptive Joint Deringing-Deblocking Filtering for Scalable Video Transmission over Wireless Networks
Shuai Wan, Marta Mrak, Naeem Ramzan, Ebroul Izquierdo
Multimedia and Vision Group, Queen Mary, University of London, 2006
 Adaptive Vectorization of Line Drawing Images
RIK D. T. JANSSEN, ALBERT M. VOSSEPOEL
Delft University of Technology, Faculty of Applied Physics, Pattern Recognition Group, The Netherlands, 1995
 Robust Image Contour Detection by Watershed Transformation
Xiao Pei and Moncef Gabbouj
Signal Processing Laboratory, Tampere University of Technology, Finland
 Sparse Pixel Vectorization: An Algorithm and Its Performance Evaluation
Dov Dori, Wenyin Liu
Faculty of Industrial Engineering and Management, Technion, Israel Institute of Technology; Microsoft Research
1999

74

Only for
Maxus 

Вопросы

?
75

Deringing Cartoons

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie Deringing Cartoons

Ähnlich wie Deringing Cartoons (20)

Mehr von MSU GML VideoGroup

Mehr von MSU GML VideoGroup (6)

Deringing Cartoons