Общие сведения о clickhouse и возможностях его применения для аналитики на примере нашего опыта. More useful info on our: - website: https://clickky.biz - blog: https://clickky.biz/blog Sign up!

1. Clickhouse

2. О себе
10+ лет разработки
PHP, NodeJS, JAVA, LUA, и т.д.
Outsource, Product
На данный момент Head of
Development @Clickky
Clickhouse 2

3. Clickky
50Gb MYSQL
3.5Tb MongoDB (+3Gb/day)
~16k RPM == 20+KK requests/day
Backend: PHP + JAVA + LUA + nodeJS
~1.5KK lines of code
Clickhouse 3

4. Сложные запросы Проблемы в системе
ElasticSearch MonetDB Clickhouse
Проблемы Business Intelligence
Clickhouse 4

5. SQL
Линейная масштабируемость
Фокус на быстром выполнении запросов
Column-oriented
Основные идеи при создании ClickHouse
Clickhouse 6

6. Колоночные СУБД
Хранение
по столбцам
Чтение 3х столбцов
Хранение
по строкам
Чтение всех столбцов
Clickhouse 5

7. Relative query processing time (lower is better):
Clickhouse 7
https://clickhouse.yandex/benchmark.html

8. Консольный клиент
HTTP
JDBC
Python, PHP, NodeJS
Go и Perl коннекторы
Интерфейсы
Clickhouse 8

9. Чтобы выйти из клиента, нажмите Ctrl+D (или Ctrl+C), или наберите
вместо запроса одно из: "exit", "quit", "logout", "учше",
"йгше", "дщпщге", "exit;", "quit;", "logout;", "учшеж",
"йгшеж", "дщпщгеж", "q", "й", "q", "Q", ":q", "й", "Й",
"Жй"
Консольный клиент:
Clickhouse 9

10. https://github.com/smi2/tabix.ui
GUI: Tabix
Clickhouse 9
Links:
Github:
https://github.com/smi2/tabix.ui
Online:
http://ui.tabix.io/

11. Можно построить свой Data Warehouse и копать данные с невероятной скоростью
Что делать:
Берем Hadoop или другую “не такую быструю” базу
Копируем все данные в ClickHouse
Что получаем:
Realtime аналитика бизнес-процессов
Довольные аналитики и менеджеры
Легко построить внутренние дашбордыметрики
Кейс: внутренняя база для аналитики
Clickhouse 10

12. Запросы
Clickhouse
SQL диалект
Приблизительные вычисления, URI
функции
Массивы, кортежи
Распределенные запросы из коробки
Внешние словари
11

13. ClickHouse: best practices
Clickhouse
Широкие таблицы, много колонок
QPS относительно небольшой, но много
данных используется в каждом запросе
Большой поток входящих данных
Аналитика по петабайтам данных
12

14. Clickhouse
Когда НЕ надо использовать
OLTP
Key-value
Document-oriented
Модифицирование данных
12

15. URL:
domainWithoutWWW()
topLevelDomain()
firstSignificantSubdomain()
path()
queryString()
extractURLParameter(URL, name)
cutWWW()
IP:
IPv4NumToString(num)
IPv4StringToNum(s)
IPv4NumToStringClassC(num)
IPv6NumToString(x)
IPv6StringToNum(s)
Clickhouse
Функции для URL и IP
14

16. regionToCity(id[, geobase])
regionToArea(id[, geobase])
regionToCountry(id[, geobase])
regionToContinent(id[, geobase])
regionIn(lhs, rhs[, geobase])
Clickhouse
Функции яндекс метрики
15

17. Статистика по referer:
SELECT splitByChar('?',referer)[1] as referrer, count() as count
FROM stat.table
WHERE toMonth(ds) = toMonth(yesterday())
AND toYear(ds) = toYear(yesterday())
GROUP BY referrer WITH TOTALS ORDER BY count DESC
FORMAT CSVWithNames;
Clickhouse
Примеры из “реальности”
16

18. Лиды из одной подсети:
SELECT
toDateTime(dc) as date_time, app_id,
IPv4NumToStringClassC (IPv4StringToNum (tr_ips)) as ip,
concat(concat(toString(app_id),','), IPv4NumToStringClassC (IPv4StringToNu
m(tr_ips))) as uid,
FROM stat.leads
WHERE
concat(concat(toString(app_id),','), IPv4NumToStringClassC (IPv4StringToNum (tr
_ips)))
IN (...)
Clickhouse
Примеры из “реальности”
17

19. ● Очень быстро!
● Очень хорошая компрессия данных
● Привычный SQL с кучей доп. возможностей
● Нет транзакций, нет UPDATE / DELETE
● Нет UNIQUE KEY, нет авто-приведения типов
Clickhouse
Подведем итоги:
17

20. ★ Tutorial - https://clickhouse.yandex/tutorial.html
★ Вопросы - clickhouse-feedback@yandex-team.com
★ GitHub - https://github.com/yandex/ClickHouse
★ Документация - https://clickhouse.yandex/
Clickhouse
С чего начать?
17

21. Спасибо за внимание