1. СтуДень, Новосибирск, 24 сентября 2010
Атака на клоны!
Дмитрий Беляев
Руководитель группы мультимедийных поисков

2. images.yandex.ru
Яндекс.Картинки
— более 1 800 000 000 изображений
на сайтах Рунета и за его пределами
— в среднем ~460 картинок на 1 сайте
— средний размер ~200х300 пикс.
— В среднем за 1 секунду на поиск изображений:
— заходят 36 новых пользователей
— задают 133 запроса
1893 х32 х

3. «Что такое?», «Как выглядит?»
Для чего ищут картинки

4. Чтобы найти людей
Для чего ищут картинки

5. Чтобы найти людей
Для чего ищут картинки
А еще лучше — их портреты:

6. Выбрать товар…
Для чего ищут картинки

7. … или услугу
Для чего ищут картинки

8. Убить время!
Для чего ищут картинки

9. Убить время!
Для чего ищут картинки
Убивать время удобнее на странице просмотра:

10. Поставить на рабочий стол
Для чего ищут картинки

11. Copy-Paste
Для чего ищут картинки

12. Дизайнеры черпают вдохновение
Для чего ищут картинки

13. А по вечерам...
Для чего ищут картинки

14. Фильтрация порно по «серым» запросам
Для чего ищут картинки

15. Как продолжение веб-поиска
Для чего ищут картинки

16. [ягуар]
80%
15% 4%
1%

17. Разнообразие поиска
«Идеальная» выдача

18. Разнообразие поиска
[джоконда] – зачем тут разнообразие?

19. Где и как они живут?
Картинки в интернете

20. Хостовые клоны (дубликаты)
Картинки в интернете
Тумбнейлерные дубликаты
Джоконда
Джоконда
<Мо?на Ли?за>
(<Джоко?нда>; итал.
La Gioconda, фр. La
Joconde, полное
название - Портре?т
госпожи? Ли?зы
Джоко?ндо, итал.
Ritratto di Monna Lisa
Винчи, находящаяся в
Лувре (Париж, Франция),
одно из самых известных
произведений живописи в
мире[1][2], которое, как
считается,
dzhokonda_full.jpg
www.louvre.fr Полудубликаты

21. Хостовые и межхостовые дубликаты
Картинки в интернете

22. Клоны бывают разные!

23. Тумбнейлерные полудубликаты
182 х 264
100 х 100
50 х 50
20 х 20
20 х 20, 256 цветов 16 х 16, 256 цветов 16 х 16, 16 цветов

24. Нечеткие полудубликаты
Как их распознать?

25. Нечеткие полудубликаты
Как их распознать?

26. Нечеткие полудубликаты
Как их распознать?

27. Нечеткие полудубликаты
Как их распознать?

28. Нечеткие полудубликаты
Как их распознать?

29. Нечеткие полудубликаты
Задача свелась к предыдущей

30. Кластеризация полудубликатов
Вычисление
сигнатур
100 мс/изобр.
1
2
3
4
5
6
7
1
2
3
4
5
6
7
База
сигнатур
750-мерные
сжатые вектора
(в среднем – 56 байт)
Кластери-
зация
похожих
~20 часов на
1,5 млрд.
изображений
на 12 серверах
2, 5

31. Клоны – кто они для поиска?
Враги?
…или друзья?

32. Какие картинки чаще копируют?
— Закаты
— Фейерверки
— Дети
— Кошки
— Порно
— Города
— Бытовая техника
— Знаменитости

33. Какие картинки чаще копируют?

34. Нам известно:
— только ~50% картинок уникальны
остальные склеиваются в среднем как 1:3
— наиболее часто клонируемые картинки:
• изображения товаров
• произведения искусства
• приколы и т.п. (из блогов)
Какие картинки чаще копируют?
Немного цифр и фактов

35. Описания изображений на сайтах
Alt
Прикартиночный
текст
Заголовки
страниц и
разделов
URL картинок: http://img0.liveinternet.ru/images/attach/b/3/27/451/
27451268_1213812411_Mona_Liza_Dzhokonda_150306_Luvr_Parizh.jpg
Тексты ссылок на файлы: <a href=“Dzhokonda.jpg”>Джоконда</a>

36. Описания изображений на сайтах
«запорожец»
15 картинок
«синий запорожец»
10 картинок
«зеленый запорожец»
5 картинок
«лимузин»
10 картинок
Степень правдоподобия описаний:
• запорожец – 0,75 (30 картинок из 40)
• синий – 0,25 (10 картинок из 40)
• лимузин – 0,25
• зеленый – 0,13 (5 картинок из 40)
синий запорожец
запорожец лимузин
Сопоставление описаний

37. Применение дубликатов
Для чего используем:
— разнообразие выдачи
— точность поиска:
• популярные изображения
• сопоставление описаний
— поиска дубликатов
— уточнение порно-классификатора
— улучшение поиска «зеркал» и сайтов-клонов

38. ?
Дмитрий Беляев