Каждый день пользователи совершают миллионы действий в Интернете. Нам в FACETz DMP необходимо структурировать эти данные и проводить сегментацию для выявления предпочтений пользователей. Хочу рассказать, как мы: - Сегментируем в реальном времени 600 миллионов пользователей ежедневно; - Поставляем данные партнерам, DSP, Google с минимальной задержкой; - Храним статистику по количеству уникальных пользователей в сегменте при потоковой обработке; - Отслеживаем влияние изменения параметров сегментации; - Ведем подсчет аффинитивности домена к сегменту для аналитики аудиторий.

1. Сегментируем 600 млн
пользователей в режиме
реального времени каждый
день. HBase/Kafka на службе DMP
Маринов Артем
Лидер разработки Facetz DMP
Data-Centric Alliance
4

2. • Data Management Platform • 600 млн пользователей
Что такое Facetz DMP

3. • Data Management Platform • 600 млн пользователей
Что такое Facetz DMP
5.5 млрд / сутки

4. • Прямые установки пикселя
• Поток данных от партнеров
• Оффлайн выгрузки
DMP
Механизмы получения данных

5. Ключевые показатели
• Горизонтальная масштабируемость

6. Ключевые показатели
• Горизонтальная масштабируемость
• Оценка объема аудитории

7. Ключевые показатели
• Горизонтальная масштабируемость
• Оценка объема аудитории
• Удобство мониторинга и разработки
• Хорошая скорость реакции на события

8. Как было раньше

9. Как было раньше
Loader

10. Как мы храним данные в HBase
0674ae2-3b6f-…
ROW_KEY
a381112-2e6a-…
54947df8-0e9e-…

11. Как мы храним данные в HBase
0674ae2-3b6f-…
ROW_KEY
a381112-2e6a-…
54947df8-0e9e-…
family_1
family_2
FAMILY

12. Как мы храним данные в HBase
0674ae2-3b6f-…
ROW_KEY
a381112-2e6a-…
54947df8-0e9e-…
family_1
family_2
FAMILY COLUMN
IP
URL
SEARCH_QUERY

13. Как мы храним данные в HBase
0674ae2-3b6f-…
ROW_KEY
a381112-2e6a-…
54947df8-0e9e-…
family_1
family_2
FAMILY COLUMN
IP
URL
SEARCH_QUERY
ts1
VERSION / VALUE
highload.ru
ts2 upyachka.ru
ts3 buzzls.com
ts1 конференция

14. Как было раньше
Loader

15. Как было раньше
Loader
Analytic Engine
statistics
Partners

16. Ключевые показатели
+ Горизонтальная масштабируемость
+ Оценка объема аудитории

17. Ключевые показатели
+ Горизонтальная масштабируемость
+ Оценка объема аудитории
— Удобство мониторинга и разработки
— Хорошая скорость реакции на события

18. Ключевые показатели
+ Горизонтальная масштабируемость
+ Оценка объема аудитории
— Удобство мониторинга и разработки
— Хорошая скорость реакции на события

19. Ключевые показатели
+ Горизонтальная масштабируемость
+ Оценка объема аудитории
— Удобство мониторинга и разработки
— Хорошая скорость реакции на события

20. Чего мы хотим?
• Писать данные в HBase сразу
• Реагировать на события мгновенно
• Удобство мониторинга и разработки

21. Loader
bulk_load
Начинаем сегментировать сразу
• Смена workload, random read

22. Loader
bulk_load
Начинаем сегментировать сразу
• Смена workload, random read
• Макс. плотность хранения

23. Loader
Segmentator
trigger
bulk_load
Начинаем сегментировать сразу
Get: 5 Gb/s
• Смена workload, random read
• Макс. плотность хранения
• Trigger на изменение данных

24. Loader
Segmentator
trigger
bulk_load
Начинаем сегментировать сразу
Get: 5 Gb/s
• Смена workload, random read
• Макс. плотность хранения
• Trigger на изменение данных
• Увеличиваем нагрузку

25. Начинаем сегментировать сразу
Loader
Segmentator
trigger
bulk_load
/ GOOGLEPartners
Get: 5 Gb/s
• Смена workload, random read
• Макс. плотность хранения
• Trigger на изменение данных
• Увеличиваем нагрузку

26. Kafka — прекрасный инструмент
• Topic — набор partition
• Partition — файл(ы)
partition 1
partition 2
partition N

27. • Topic — набор partition
• Partition — файл(ы)
• Producers — пишут в конец
• Consumer Group — независимы
partition 1
partition 2
partition N
Producers
Kafka — прекрасный инструмент

28. • Topic — набор partition
• Partition — файл(ы)
• Producers — пишут в конец
• Consumer Group — независимы
partition 1
partition 2
partition N
Producers
Group AA: 7
A: 5
Kafka — прекрасный инструмент

29. • Topic — набор partition
• Partition — файл(ы)
• Producers — пишут в конец
• Consumer Group — независимы
partition 1
partition 2
partition N
Producers
Group A
Group B
A: 7
A: 5 B: 3
B: 8
Kafka — прекрасный инструмент

30. • Topic — набор partition
• Partition — файл(ы)
• Producers — пишут в конец
• Consumer Group — независимы
partition 1
partition 2
partition N
Producers
Consumer AA: 7
A: 5 B: 3
B: 8
Group A
Consumer BGroup B
Kafka — прекрасный инструмент

31. Независимые потребители
Loader
Segmentator
trigger
bulk_load
/ GOOGLEPartners
• Сегментирование при
изменении - done
• Независимое подключение
новых потребителей - done
• Нужно писать в HBase сразу
Get: 5 Gb/s

32. Пишем данные в реальном времени
Loader
• подготовка к random write

33. Stream-loaderLoader
Пишем данные в реальном времени
• подготовка к random write
• шлем все логи в Kafka

34. • подготовка к random write
• шлем все логи в Kafka
• не успеваем сегментировать
Stream-loaderLoader
Пишем данные в реальном времени
2 часа

35. Самомасштабирование
SegmentatorA
B
C
D
A A A A E A A AA
D D D D B D D D D Segmentator
partitioner
UID

36. Самомасштабирование
SegmentatorA
B
C
D
A A A A E A A AA
D D D D B D D D D Segmentator
event timestamp now
A: now
D: now
partitioner
UID

37. Пропускаем бесполезные события
segmentation
skipped

38. Боты — зло

39. • Весь pipeline перед глазами
• Поменяли - видим реакцию
• Легко провести постанализ
• Алертинг - не проблема
Мониторинг изменений

40. • Утилизация ресурсов hadoop кластера
• Точные средства хранения статистики в потоке
• Различные оптимизации по CPU
Планы

41. • Kafka хороша, но есть нюансы
• Реальные данные — важны
• Мониторинг, алертинг — вот это всё
Подводя итоги

42. Вопросы? Ответы?
Маринов Артем
Лидер разработки Facetz DMP
Data-Centric Alliance