PostgreSQLRussia meetup @ Avito (9.04.2016)

1. www.postgrespro.ru
Секционирование без границ
Мусин Ильдар

2. Секционирование
big table
partition 1 partition 2 partition 3

3. Пример секционирования
id title city
1 Велосипед Москва
2 Вафельница Санкт-Петербург
3 Фотоаппарат Москва
4 Контрабас Санкт-Петербург
id title city
1 Велосипед Москва
3 Фотоаппарат Москва
id title city
2 Вафельница Санкт-Петербург
4 Контрабас Санкт-Петербург
items
items_msc items_spb

4. Виды секционирования
Январь
Февраль
Март
Апрель
RANGE
h1
h2
h3
h4
HASH
Уфа
Челябинск
Пермь
Самара
Саратов
Владивосток
Хабаровск
LIST

5. Преимущества секционирования
● Рост производительности при условии, что
наиболее часто используемые данные
находятся в небольшом числе секций.
● Использование последовательного доступа к
небольшим секциям вместо индекса или
случайного доступа к одной большой таблице.
● Управление большими объемами данных.
● Редко используемые данные могут быть
вынесены на более дешевые и медленные
носители.

6. Когда нужно секционировать?
● Эмпирическое правило: размер таблицы
превышает размер физической памяти.
● Таблица содержит исторические данные, а
новые записи добавляются в последнюю
секцию.
● Содержимое таблицы должно быть
распределено между дисками или серверами.

7. Секционирование в PostgreSQL
Trigger
parent
child_1 child_2 child_3
checkcheck check

8. Виды секционирования в PostgreSQL
● RANGE
CHECK(dt_created >= '2015-01-01' AND
dt_created < '2016-01-01')
● LIST
CHECK(city IN (‘Уфа’, ‘Оренбург’, ‘Челябинск’))
● HASH (?)
CHECK( id % 10 = 0)
…
CHECK( id % 10 = 9)
SELECT * FROM my_table
WHERE id = 5 AND (id % 10) = (5 % 10)

9. Проблемы
● Полный перебор при поиске подходящих
секций (constraint exclusion)
● Нет встроенной поддержки HASH-
секционирования
● Ручное управление секциями

10. Решение
Определить структуры данных, над которыми
можно выполнять эффективный поиск
RANGE
• бинарный поиск в сортированном массиве
• поиск в бинарном дереве
HASH, LIST
• хеш-таблица
O(log2
N)
≈ O(1)

11. Этапы обработки запроса
Parser
Rewriter
Planner
Executor

12. Используемые средства
Hook-функции — лазейки, используемые для
внедрения в код СУБД:
• planner_hook
• set_rel_pathlist_hook
Path — прототип планов. Для каждой таблицы,
используемой в запросе, строятся
всевозможные способы обхода, из которых
выбирается лучший. На его основе строится
узел плана.

13. orders
id integer
dt_created timestamp
customer_id integer
city_id integer

14. orders
id integer
dt_created timestamp
customer_id integer
city_id integer
orders_1 orders_2 orders_3
[2016-01-01; 2016-02-01)
…
[2016-02-01; 2016-03-01) [2016-03-01; 2016-04-01)

15. Cache
OID Partitioning info
431287
431290
431295
431299
partitioning type RANGE
attribute dt_create
attribute type timestamp
children ■■■■■■■■■

16. Cache
partitioning type RANGE
attribute dt_create
attribute type timestamp
children ■■■■■■■■■
min 2016-01-01 2016-02-01 2016-03-01 2016-04-01
max 2016-02-01 2016-03-01 2016-04-01 2016-05-01
child orders_1 orders_2 orders_3 orders_4

17. Дерево выражений
OR
AND
>=
const:
2016-01-01
var:
dt_created
<
const:
2016-02-15
=
const:
2016-03-15
var:
dt_created
SELECT * FROM orders
WHERE (dt_created >= ‘2016-01-01’ AND
dt_created <= ‘2016-02-15’)
OR
(dt_created = ‘2016-03-15’ AND city_id=15)
AND
=
const:
15
var:
city_id
var:
dt_created

18. Дерево выражений
OR
AND
>=
const:
2016-01-01
var:
dt_created
<
const:
2016-02-15
=
const:
2016-03-15
var:
dt_created
SELECT * FROM orders
WHERE (dt_created >= ‘2016-01-01’ AND
dt_created <= ‘2016-02-15’)
OR
(dt_created = ‘2016-03-15’ AND city_id=15)
AND
=
const:
15
var:
city_id
var:
dt_created

19. Дерево выражений
OR
AND
>=
const:
2016-01-01
var:
dt_created
<
const:
2016-02-15
=
const:
2016-03-15
var:
dt_created
SELECT * FROM orders
WHERE (dt_created >= ‘2016-01-01’ AND
dt_created <= ‘2016-02-15’)
OR
(dt_created = ‘2016-03-15’ AND city_id=15)
AND
=
const:
15
var:
city_id
var:
dt_created

20. Поиск RANGE-секции
Ищем секцию,
содержащую CONST
KEY OP CONST
OP
[0; pos] [pos; pos] [pos; ∞)
<, <= >, >=
=
бинарный поиск
pos — позиция в массиве
children

21. Обработка булевых операторов
Вычисляем EXPR1,
Вычисляем EXPR2
EXPR1 BOOL_OP EXPR2
BOOL_OP
Пересечение Объединение
AND OR

22. 0 1 2 3
min 2016-01-01 2016-02-01 2016-03-01 2016-04-01
max 2016-02-01 2016-03-01 2016-04-01 2016-05-01
child orders_1 orders_2 orders_3 orders_4
Пример
OR
AND
dt_created >= ‘2016-01-15’ dt_created < ‘2016-03-01’ dt_created = ‘2016-04-01’

23. 0 1 2 3
min 2016-01-01 2016-02-01 2016-03-01 2016-04-01
max 2016-02-01 2016-03-01 2016-04-01 2016-05-01
child orders_1 orders_2 orders_3 orders_4
Пример
OR
AND
dt_created >= ‘2016-01-15’ dt_created < ‘2016-03-01’ dt_created = ‘2016-04-01’
T T T T

24. 0 1 2 3
min 2016-01-01 2016-02-01 2016-03-01 2016-04-01
max 2016-02-01 2016-03-01 2016-04-01 2016-05-01
child orders_1 orders_2 orders_3 orders_4
Пример
OR
AND
dt_created >= ‘2016-01-15’ dt_created < ‘2016-03-01’ dt_created = ‘2016-04-01’
T T T T T T F F

25. 0 1 2 3
min 2016-01-01 2016-02-01 2016-03-01 2016-04-01
max 2016-02-01 2016-03-01 2016-04-01 2016-05-01
child orders_1 orders_2 orders_3 orders_4
Пример
OR
AND
dt_created >= ‘2016-01-15’ dt_created < ‘2016-03-01’ dt_created = ‘2016-04-01’
T T T T T T F F F F F T

26. 0 1 2 3
min 2016-01-01 2016-02-01 2016-03-01 2016-04-01
max 2016-02-01 2016-03-01 2016-04-01 2016-05-01
child orders_1 orders_2 orders_3 orders_4
Пример
OR
AND
dt_created >= ‘2016-01-15’ dt_created < ‘2016-03-01’ dt_created = ‘2016-04-01’
T T T T T T F F F F F T
T T F F

27. 0 1 2 3
min 2016-01-01 2016-02-01 2016-03-01 2016-04-01
max 2016-02-01 2016-03-01 2016-04-01 2016-05-01
child orders_1 orders_2 orders_3 orders_4
Пример
OR
AND
dt_created >= ‘2016-01-15’ dt_created < ‘2016-03-01’ dt_created = ‘2016-04-01’
T T T T T T F F F F F T
T T F F
T T F T

28. 0 1 2 3
min 2016-01-01 2016-02-01 2016-03-01 2016-04-01
max 2016-02-01 2016-03-01 2016-04-01 2016-05-01
child orders_1 orders_2 orders_3 orders_4
Пример
OR
AND
dt_created >= ‘2016-01-15’ dt_created < ‘2016-03-01’ dt_created = ‘2016-04-01’
P T T T T T F F F F F P
P T F F
P T F P

29. 0 1 2 3
P T F P
Plan:
orders_4
dt_created >= ‘2016-01-15’ dt_created = ‘2016-04-01’full scan
orders_2orders_1

30. HASH секционирование
OID Partitioning info
431287
431290
431295
431299
partitioning type HASH
attribute city_id
attribute type integer
children ■■■■■■■■■

31. HASH секционирование
partitioning type HASH
attribute city_id
attribute type integer
children ■■■■■■■■■
child orders_1 orders_2 orders_3 orders_4

32. Дерево выражений
OR
=
const: 5
SELECT * FROM orders WHERE city_id=5 OR city_id=10
=
const: 10var: city_idvar: city_id

33. Дерево выражений
OR
=
const: 5
SELECT * FROM orders WHERE city_id=5 OR city_id=10
=
const: 10var: city_idvar: city_id

34. Поиск HASH-секции
KEY OP CONST
OP это оператор
равенства?
Вычислить hash
от CONST
да нет
[hash; hash] [0; ∞)
hash — позиция в массиве
children

35. Расширение pg_pathman
✓ Оптимизированный механизм построения
планов для секционированных таблиц
✓ Функции для управления секциями
✓ Триггеры на вставку

36. Roadmap
‣ Оптимизация NestedLoop JOIN-ов
‣ LIST-секционирование
‣ HASH-секционирование по нецелочисленным
атрибутам

37. Эксперимент для HASH
Время планирования в зависимости от количества секций
в разбиении
Таблица:
CREATE TABLE hash_test(id INTEGER);
Количество созданных секций:
2, 4, 8, 16, 32, 64, 128, 512, 1024, 2048
Количество запросов:
10000 на каждой конфигурации
EXPLAIN ANALYZE
SELECT * FROM hash_test
WHERE id = 10 AND (id%<N> = 10%<N>);
(где <N> - количество секций)

38. Эксперимент для HASH
original
pathman

39. Эксперимент для RANGE
Время планирования в зависимости от количества секций
в разбиении
Таблица:
CREATE TABLE range_test(id INTEGER);
Количество созданных секций:
2, 4, 8, 16, 32, 64, 128, 512, 1024, 2048
Количество запросов:
10000 на каждой конфигурации
EXPLAIN ANALYZE
SELECT * FROM range_test
WHERE id = 10;

40. Эксперимент для RANGE
original
pathman

41. Эксперимент для RANGE
Время планирования в зависимости от количества
секций в плане
Таблица:
CREATE TABLE range_test(
id INTEGER,
dt TIMESTAMP);
Количество созданных секций:
1095
Количество секций, попадающих в план:
от 1 до 1095

42. Эксперимент для RANGE

43. www.postgres
pro.ru
Спасибо за внимание!
Контакты:
i.musin@postgrespro.ru
+7 929 929 6075
github.com/postgrespro/pg_pathman