ClickHouse - высокопроизводительная база данных для больших данных и аналитики. На ClickHouse основана Яндекс.Метрика - крупнейшая система веб-аналитики в России. Ради чего мы написали свою базу данных? Ради скорости! ClickHouse работает невероятно быстро, быстрее всех известных нам конкурентов, и при этом может обрабатывать запросы по петабайтам данных. Я расскажу про: - Краткую историю создания проекта; - Основные преимущества и особенности ClickHouse; - Архитектура проекта; подход к хранению данных, отказоустойчивости, исполнению запросов; - Как работает внутри, почему ClickHouse такой быстрый; - Текущие кейсы использования в Метрике и других проектах Яндекса; - Профит, который вы можете получить от ClickHouse.

2. ClickHouse: очень быстро
и очень удобно
Виктор Тарнавский
RGB

3. Разработчик, в прошлом
разработка железа
Руководитель отдела
аналитических продуктов
jkee@yandex-team.ru
Пару слов обо мне
3

4. Немного истории
ClickHouse

5. Яндекс.Метрика - в тройке крупнейших веб-аналитических
систем по количеству сайтов.
Более 20 млрд. событий в день
Более 1 млн. сайтов
Более 100 000 аналитиков каждый день
Яндекс.Метрика
5

6. Яндекс.Метрика
6

7. Как хранить данные?

8. Агрегированные данные
Много разных таблиц
Key → Metrics
Классический подход
8

9. Неагрегированные данные
Небольшое количество широких таблиц
Высокоэффективные фильтры и группировки
Event → Properties
Современный подход
9

10. Какую базу данных
взять?

11. Максимально быстро выполнять запросы
Обработка данных в реальном времени
Возможность хранить петабайты данных
Отказоустойивость в терминах датацентров
Гибкий язык запросов
Что мы хотим от базы данных?
11

12. На рынке пустота!

13. SQL
Линейная мастабируемость
Фокус на быстром выполнении
запросов
Column-oriented
Основные идеи при создании ClickHouse
13

14. ClickHouse timeline
14
Prototype
Январь 2009 Август 2012
Data
Transfer
Июнь 2014
Metrica 2.0
Декабрь 2014 Июнь 2016
Open
Source
Production

15. Более 20 проектов в Яндексе
Open-source с Июля 2016
В продакшне вне Яндекса
ClickHouse сегодня
15

16. Возможности
ClickHouse

17. Масштабируется до петабайт
данных
Cross-datacenter
High availability
Сжатие данных
Линейная масштабируемость
17

18. 3 Pb
412 серверов
6 датацентров
Часы даунтайма за 4 года
Кластер Яндекс.Метрики
18

19. SQL диалект
Приблизительные вычисления,
URI функции
Массивы, кортежи
Распределённые запросы из коробки
Внешние словари
Запросы
19

20. 20
# Weekly traffic and audience
SELECT
count() as visits,
sum(PageViews) as hits,
uniq(UserID) as users
FROM visits_all
WHERE StartDate > today() - 7

21. 21
# Using external dictionary for regions
SELECT
count() as visits,
regionToName(regionToCountry(RegionID), 'en')
as country
FROM visits_all
WHERE StartDate > today() - 7
GROUP BY country
ORDER BY visits DESC
LIMIT 10

22. Типичные запросы
быстрей чем за секунду
>100 раз быстрей чем Hadoop
>100 раз быстрей чем типичная DBMS
100 млн - 1 миллиард
строк в секунду на одной ноде
До 2 терабайт в секунду
для кластера на 400 нод
Скорость на грани фантастики
22

23. 23
1. Делаем запрос
2. Идём пить кофе
У тебя нет ClickHouse У тебя есть ClickHouse
Проверь 37 идей за 5 минут!
ВНИМАНИЕ: развидеть нельзя

24. More info: https://clickhouse.yandex/benchmark.html
24

25. Консольный клиент
HTTP
JDBC
Python, PHP, NodeJS,
Go и Perl коннекторы
Интерфейсы
25

26. Заглянем внутрь
ClickHouse

27. Код
Векторная обработка данных
Ориентированный на
производительность C++14 код
Каждая фича оптимизируется
по производительности
Почему ClickHouse такой быстрый?
27

28. Данные
Колоночное хранение
Merge Tree
минимум seek-ов
Обработка максимально близко
к данным
Почему ClickHouse такой быстрый?
28

29. Возможности
Семплирование из коробки
Функции с вероятностными
алгоритмами
Оптимизация производительности
на уровне запроса
Почему ClickHouse такой быстрый?
29

30. Нет единой точки координации
запросов
Асинхронная репликация
ZooKeeper для координации реплик
(не используется в SELECT)
Масштабируемость и отказоустойчивость
30

31. Кластер Яндекс.Метрики
31
– Shard
Data Center

32. Кейсы
ClickHouse

33. OLTP
Key-value
Document-oriented
Модифицирование данных
Когда НЕ надо использовать
33

34. Широкие таблицы
Много колонок
QPS относительно небольшой
но много данных используется
в каждом запросе
Большой поток входящих данных
Аналитика по петабайтам данных
ClickHouse: best practises
34

35. С этого обычно пробуют ClickHouse
Что делать:
Вставить access и серверные логи в ClickHouse
примерное время: несколько часов
Что получаем:
Анализируем любые инциденты за секунды
Мониторинг и дашборды по ошибкам, таймингам и прочему
Кейс: анализ серверных логов
35

36. Можно построить свой Data Warehouse и копать данные
с невероятной скоростью
Что делать:
Берём Hadoop или другую "не такую быструю" базу
Копируем все данные в ClickHouse
Что получаем:
Realtime аналитика бизнес-процессов
Довольные аналитики и менеджеры
Легко построить внутренние дашборды/метрики
Кейс: внутренняя база для аналитики
36

37. C чего начать?
ClickHouse

38. Tutorial: https://clickhouse.yandex/tutorial.html
Пишите вопросы: clickhouse-feedback@yandex-team.com
GitHub: https://github.com/yandex/ClickHouse
Больше информации: https://clickhouse.yandex
С чего начать?
38

39. Итого
ClickHouse

40. Open-source
колоночная DBMS
Линейная масштабируемость
Невероятная скорость
SQL диалект с расширенными
возможностями
ClickHouse за один слайд
40

41. Виктор Тарнавский
Руководитель отдела аналитических продуктов
jkee@yandex-team.ru
clickhouse-feedback@yandex-team.ru
Контакты