Оценка уровня шума

Оценка уровня
шума
Борис Кумок
Video Group
CS MSU Graphics & Media Lab

09.09.2010 1

Содержание доклада
 Введение
 Wavelet
 MAD
 MBE
 Trained moments
 CDF
 Block-based
 Classic
 Structure-oriented
 Temporal SO
 Сcылки
MSU Graphics & Media Lab (Video Group) 2

Введение

Определение уровня шума требуется для:
 Подавление шума
 Сжатие видео
 Сегментация
 Определение границ

Для большинства приложений критична
точность оценки, а для видео еще важна
скорость.


Постановка задачи
По входному изображению определить уровень шума.
Полагая, что шум является белым с нормальным
распределением (AWGN), сведем задачу к
определению σ.
 x2

p ( x)   1
2
e 2 2

MSU Graphics & Media Lab (Video Group) http://en.wikipedia.org/wiki/Normal_distribution 4

 Wavelet
 MAD
 MBE
 Trained moments
 CDF
 Сравнение
 Block-based
 Ссылки

MAD
MAD  median(| xi  median( xi ) |)

Для всех блоков
изображения
Изображение посчитаем MAD и
положим σ
пропорциональной их
медиане.

  1.483 * median(MAD( ))
i
MAD блоки

MSU Graphics & Media Lab (Video Group) D.L.Donoho, De-noising by soft-thresholding, IEEE Trans, 1995 6

MAD

Т.к. необходимо вычислять медиану, метод
работает медленно. Кроме того, он требует
дополнительную память.

Один из самых часто применяемых методов.

Существует несколько модификаций для
работы в разных пространствах.

MSU Graphics & Media Lab (Video Group) D.L.Donoho, De-noising by soft-thresholding, IEEE Trans, 1995 7

 Wavelet
 MAD
 MBE
 Идея
 Построение модели
 Метод максимального правдоподобия
 Метод соответствия моментов
 Trained moments
 CDF
 Block-based
 Ссылки


MBE
Идея метода

Построим модель зашумленного изображения.
Используем ее для оценки уровня шума.

Построениемодели
Оценка шума
 Метод максимального правдоподобия
 Метод моментов

Training methods for image noise level estimation on wavelet
MSU Graphics & Media Lab (Video Group) components. EURASIP Journal on Applied Signal Processing, 2004
9

MBE
Построение модели

Гистограмма вейвлет коэффициентов
чистого изображения похожа на
лапласиан. Предполагаемое распределение

2 /  u )| x|
pimage( x)   1 2 e (
u

10

MBE
Построение модели

Построим модель зашумленного изображения.
Модель распределения вейвлет
коэффициентов чистого изображения Плотность шума

 ( 2 /  u )| x|  x 2 /( 2 v )
2
pimage( x)   1
2
e pnoise( x)   1
2
e
u v


p1  2 ( y ) 

 p (u)  p ( y  u)du
1 2

Модель распределения коэффициентов
зашумленного изображения

e    
 v  u 2
pimage noise( x) 
e  erfc  v  x  e 
2 u x 2 u x  erfc  v  x
u u
v 2  2 v  2 v

11

MBE
Метод максимального правдоподобия

Оптимальное решение можно получить методом
максимального правдоподобия.
Функция правдоподобия

L( x,  )   pimagenoise ( xi , )

 ( x )  arg max L ( x ,  )


Аналитического решения данная задача не
имеет. Численное решение – очень медленно.

12

MBE
Метод моментов

pimage noise(x)
 
E x 2  m2   u2   v2

 
E x 4  m4  6 u2  3 v2  6 u2 v2

Решим систему и заменим
теоретические моменты на
Не оптимальный, но более выборочные.

быстрый метод моментов 
позволяет получить mk  1
N  x(i) k
результат за один проход. 
  1 m4 
 v  m2 1   2 1 
2

3 m2 
 

13

 Wavelet
 MAD
 MBE
 Trained moments
 Описание
 Обучение

 CDF
 Block-based
 Ссылки

Обученные моменты

Развитием предыдущего метода может быть
учет иных статистик кроме 2 и 4 моментов.


M 1  m1

  1 M 1   2 M 2   4 M 4

M 2  m2


m1
 
mk  1
N  x(i) k
M 4  m4 m2 m1

Выбор подходящих коэффициентов αk
осуществим путем обучения алгоритма.
15

Обучение алгоритма
Метод наименьших квадратов

Для нахождения хороших
коэффициентов алгоритм
 x    k M k x  необходимо предварительно
обучить.

Возьмем набор n изображений xi с известным
уровнем шума yi и применим метод
наименьших квадратов.

16

Обучение алгоритма
Метод наименьших квадратов
m
Найдем коэффициенты αk, при
F ( x)    k k ( x)
k 0
которых суммарная
квадратичная погрешность J
n
минимальна.
J    yi  F xi 
2

i 0
m

 lk  k  bl , l  0,1, , m,
Получим СЛАУ с m k 0
n
неизвестными,  lk   l  xi  k  xi ,
которую можно i 0
решить, например, n

методом Гаусса. bl   l  xi  yi
i 0

Вводные лекции по численным методам. А.П.Костомаров,
MSU Graphics & Media Lab (Video Group) А.П.Фаворский.
17

 Wavelet
 MAD
 MBE
 Trained moments
 CDF
 Алгоритм
 Обучение
 Block-based
 Ссылки


CDF
Введение

cdf ( x) - количество пикселей с Будем использовать
дисперсией меньшей x cdf(x) для определения
уровня шума.

Изображение Локальная дисперсия cdf(x)

19

CDF
Алгоритм
Вычислим cdf(x0) и по таблице найдем соответствующее
значение σ.

cdf(x0) σ

σ
m1 1
m2 2
… …
Среднее значение cdf(x)
среди изображений с σ = l.
Создание таблицы и выбор точки x0 N
ml x   cdf l k x 
1
происходят на этапе обучения
N

k 1
алгоритма.
20

CDF
Обучение

Не все точки графика дают надежную оценку.
Найдем наилучшую.
cdf(x) изображений с σ = 0 cdf(x) изображений с σ = 25

21

CDF
Обучение
На обучающем наборе изображений с известной
σ шума выберем точку x0, наиболее надежную
для классификации.
Степень различимости cdf(x)
между уровнями l1 и l2. Среднее значение cdf(x)
среди изображений с σ = l.

ml1 x   ml2 x  N
ml x   cdf l k x 
1
f l1 ,l2 x  
 l x    l x  N

k 1
1 2

Дисперсия cdf(x) среди
изображений с σ = l.

 cdf x   m x 
N
 x  
1
x0  arg max  f i , j ( x)
2 k 2
l l l
x i, j
N k 1

22

Сравнение

Методы основанные на обучении дают более
хороший результат.

23

 Wavelet
 Block-based
 Classic
 Temporal SO

 Ссылки


Блочный метод

Разобьем изображение на блоки (7х7) и
выберем из них N штук с наименьшей
дисперсией. Положим σ равной их усреднению.

N
1 k
   min  Bk  B  дисперсия k - ого блока
2 2 2
k
N k 1

N – фиксированная часть общего числа блоков.

S.I. Olsen. Noise variance estimation in images. In In 8 th Scandinavian
MSU Graphics & Media Lab (Video Group) Conference on Image Analysis, Norway, 1993.
25

Блочный метод

Метод является одним из самых
быстрых и требует мало
дополнительной памяти.

Для оценки уровня шума
используются «гладкие» области.
Если таких областей нет,
точность резко падает.

Дисперсия

S.I. Olsen. Noise variance estimation in images. In In 8 th Scandinavian
MSU Graphics & Media Lab (Video Group) Conference on Image Analysis, Norway, 1993.
26

 Wavelet
 Block-based
 Classic
 Temporal SO

 Ссылки


Структурный

Дисперсия – не лучший способ определить
гладкость блока.
Воспользуемся детектором границ.
Свертка {-1 -1 … (w-1) … -1 -1}
I1 I2 I3 I4

I k i    I i  1  2I i   I i  1

Мера гладкости блока. 8
I5 I6 I7 I8 Сумма сверток по всем
направлениям для
 B   I k i 
каждого пикселя блока. i k 1

Fast and reliable structure-oriented video noise estimation A. Amer and
MSU Graphics & Media Lab (Video Group) E. Dubois. IEEE Trans vol.15, pp. 113–118, January 2005
29


Bh – h-ый гладкий блок

1 Усредним дисперсию N
2  h1 B
N 2

N h
наиболее гладких блоков.

Дополнительно наложим ограничение на
слагаемые.

 B  B  T  B  median B : h  1,2,3
2 2
h R
2
R
2 h

T  const

30


При вычислении ξB можно 8
 B   I k i 
учитывать не все пиксели, а i k 1

только каждый s-ый.

Метод работает в 4
раза быстрее, чем
блочный и дает
лучший результат.

31

 Wavelet
 Block-based
 Classic
 Temporal SO

 Ссылки


Структурный метод
Расширение
Применим структурный
метод к видео.

Будем хранить
несколько кадров. Из
них образуем 3D блок,
который разобьем на
набор кубов.

Детектор границ теперь
работает еще и как
детектор движения.
M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio-
MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006
33

Расширение

Блоки могут быть  2V  2V  2V
 ST   2  2
i 2
j n
гладкими во времени (low-
motion), но совсем не  2V
T 
n 2
гладкими пространственно
(текстура). Поэтому меры  2V  2V
S  2  2
гладкости не i j
смешиваются, для  2V  2V
 VT   2
каждого из направлений j 2
n
есть своя.  ZT 
 2V  2V
 2
i 2
n
34

Расширение. Алгоритм.

1. Для каждого направления:
 Выбрать N наиболее гладких по этому
направлению блоков.
 Для каждого выбранного блока
 Если блок гладок в S (T), то дисперсия в нем равна
среднему дисперсий по слоям S (T).
 Если блок гладок в ST, VT или ZT, то дисперсия
считается по всему блоку обычным образом.
 Дисперсия направления равна среднему (или
медиане) дисперсий блоков.
2. Сигма шума равна среднему (медиане)
дисперсий по направлениям.

35

Расширение. Алгоритм.
Для каждого направления
Найти N наиболее гладких блоков

S T ST VT ZT Набор N блоков
гладких по направлению.

Дисперсия в слоях Дисперсия по всему
Усреднение блоку
Дисперсия блоков

Медиана блоков одного направления
Дисперсия
σS σT σST σVT σZT
для направления

Медиана σ
36

Расширение. Сравнение.

Метод требует много дополнительной памяти,
но его точность значительно выше, чем в
других методах.

37

 Wavelet
 MAD
 MBE
 Trained moments
 CDF
 Block-based
 Classic
 Temporal SO
 Ссылки

Список литературы
1. S.I. Olsen. Noise variance estimation in images. In In 8th Scandinavian Conference on
Image Analysis, Norway, 1993.
2. D.L.Donoho, “De-noising by soft-thresholding,” IEEE Transactions on Information
Theory, vol. 41, no. 3, pp. 613–627, 1995
3. De Stefano, A., White, P.R. and Collis, W.B. (2004) Training methods for image noise
level estimation on wavelet components. EURASIP Journal on Applied Signal Processing,
2004, (16), 2400-2407.
4. D.-H. Shin, R.-H. Park, S. Yang, J.-H. Jung, "Block-based noise estimation using adaptive
Gaussian filtering", IEEE Trans. Consumer Electronics, vol. 51, no. 1, pp. 218–226, Feb.
2005
5. A. Amer and E. Dubois, “Fast and reliable structure-oriented video noise estimation,”
IEEE Transactions on Circuits and Systems for Video Technology, vol.15, pp. 113–118,
January 2005.
6. M. Ghazal, A. Amer, and A. Ghrayeb, "Structure-Oriented Spatio-Temporal Video Noise
Estimation", in Proc. IEEE Int. Conference on Acoustics, Speech, and Signal Processing
(ICASSP), Toulouse, France, May 2006, pp. 845-848.


Вопросы

?

Оценка уровня шума

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (15)

Ähnlich wie Оценка уровня шума

Ähnlich wie Оценка уровня шума (13)

Mehr von MSU GML VideoGroup

Mehr von MSU GML VideoGroup (20)

Оценка уровня шума