Всем известно о существовании временных таблиц в PostgreSQL, но как они устроены, и чем грозит их некорректное использование - не столь очевидно. На примере одного известного приложения, активно и некорректно использующего временные таблицы, мы расскажем о создаваемой ими проблеме фрагментации памяти. Что такое фрагментация памяти, по каким признакам можно определить ее наличие, чем она грозит, почему она возникает при активном использовании временных таблиц, и как мы пропатчили PostgreSQL, чтобы ее избежать - обо всем этом можно узнать из нашего доклада.

1. PostgreSQL, фрагментация
памяти и временные таблицы
Смолкин Григорий
Петров Сергей

2. Участники
● Смолкин Григорий
● Петров Сергей
● Попов Николай
● Лубенникова Анастасия
● Федор Сигаев
● Пан Константин
● Жданюк Александр
● Елисеев Андрей

3. Стенд
Software
Centos 7.2
PostgreSQL 9.5.4 +1C patchset
1С Платформа 8.3.8
Cluster size: 350GB
Время: 10 часов
Hardware
4 x 8core Intel(R)
E7-8837 2.67GHz
64GB RAM
Fusion ioDrive

4. Первые результаты

5. Первые результаты
CPU LOAD
CPU: SYSTEM USER IDLE

6. Инструментарий
- mamonsu
- strace
- perf
- flamegraph
- atop+atopsar

7. Фрагментация памяти?

8. Memory Allocation
0
1
2
3
4
5
6
7
8
9
MAX ORDER
2^0 size block
2^3 size block

9. Memory Reclamation
MIN WATERMARK
LOW WATERMARK
HIGH WATERMARK
Free Pages
Time

10. Memory Reclamation
ignore
swapiness=0
MIN WATERMARK
LOW WATERMARK
HIGH WATERMARK
Free Pages
Time

11. Memory Reclamation
ignore
swapiness=0
kswapd_wakeup
MIN WATERMARK
LOW WATERMARK
HIGH WATERMARK
Free Pages
Time

12. Memory Reclamation
ignore
swappiness=0
kswapd_wakeup
sync_alloc
MIN WATERMARK
LOW WATERMARK
HIGH WATERMARK
Free Pages
Time

13. Memory Reclamation
ignore
swapiness=0
kswapd_wakeup
sync_alloc
kswapd_sleep
MIN WATERMARK
LOW WATERMARK
HIGH WATERMARK
Free Pages
Time

14. Дефрагментация памяти

15. Дефрагментация памяти

16. Дефрагментация памяти

17. ISOLATE_MIGRATEPAGES

18. ISOLATE_FREEPAGES_BLOCK

19. MIGRATE_PAGES

20. Дефрагментация памяти

21. ISOLATE_FREEPAGES_BLOCK

22. Что делать?
vm.min_free_kbytes:
+kswapd раньше начнет работу
+больше свободных страниц
-меньше единовременно доступной памяти
vm.extfrag_threshold = 500
Уровень фрагментации:
/sys/kernel/debug/extfrag_index

23. vm.min_free_kbytes=3%RAM

24. Резервирование места
open("base/13090/t2_1043562", O_RDWR) = 40
write(40, "00000000000000000"..., 8192) = 8192
write(40, "00000000000000000"..., 8192) = 8192
write(40, "00000000000000000"..., 8192) = 8192
write(40, "00000000000000000"..., 8192) = 8192
write(40, "00000000000000000"..., 8192) = 8192
write(40, "00000000000000000"..., 8192) = 8192

25. Временные таблицы
1. Привязаны к определенному серверному процессу
2. Не имеют механизма сбора статистики
3. Размещены в локальной памяти
4. Удаляются после отключения клиента

26. Почему это плохо
1. Фрагментация памяти(8KB = 2^1 * 4KB)
2. Тройная буферизация!!!

27. Буферизация
1 2 3 a b c
temp buffers
page cache
disk cache
disk

28. Буферизация
1 2 3 a b c
0 0 0 0 0 0
0 0 0 0 0 0
0 0 0 0 0 0
temp buffers
page cache
disk cache
disk

29. Буферизация
1 2 3 b c d e
0 0 0 0 0 0 0 a
0 0 0 0 0 a
0 0 0 0 0 0 0 a
temp buffers
page cache
disk cache
disk

30. Что делать? TMPFS?
1. Фрагментация памяти(8KB = 2^1 * 4KB)
2. Тройная буферизация!!!
2. Двойная буферизация :)

31. TMPFS

32. Мы
отправились в
отдел
разработки

33. Патч №1: Отключение резервирования
Автор: Анастасия Лубенникова
- отключает резервирование для временных таблиц
- индексы, FSM, VM по-прежнему пишутся на диск
- PostgresPro Enterprise
- PostgresPro Enterprise 1C

34. Буферизация
1 2 3 a b c
temp buffers
page cache
disk cache
disk

35. Буферизация
1 2 3 b c d e
a
a
a
temp buffers
page cache
disk cache
disk

36. I/O

37. Патч №1: Отключение резервирования

38. Осиротевшие временные таблицы

39. Orphan temp tables
Условия появления:

40. Orphan temp tables
Условия появления:
- Крэш постгреса(питание, oom killer, etc.)

41. Orphan temp tables
Условия появления:
- Крэш постгреса(питание, oom killer, etc.)
- Не хватило памяти на локи

42. Orphan temp tables
Условия появления:
- Крэш постгреса(питание, oom killer, etc.)
- Не хватило памяти на локи
Симптомы:

43. Orphan temp tables
Условия появления:
- Крэш постгреса(питание, oom killer, etc.)
- Не хватило памяти на локи
Симптомы:
- out of shared memory

44. Orphan temp tables
Условия появления:
- Крэш постгреса(питание, oom killer, etc.)
- Не хватило памяти на локи
Симптомы:
- out of shared memory
- autovacuum «found orphan table»

45. Orphan temp tables
Почему это плохо?

46. Orphan temp tables
Почему это плохо?
- Распухание каталога

47. Orphan temp tables
Почему это плохо?
- Распухание каталога
- Вакуум не удаляет осиротевшие таблицы

48. Orphan temp tables
Почему это плохо?
- Распухание каталога
- Вакуум не удаляет осиротевшие таблицы
- Вакуум спамит в лог

49. Orphan temp tables
Что делать?

50. Orphan temp tables
Что делать?
- Увеличить размер lock_table:
lock_table = max_locks_per_transaction * (max_conn +
max_pred_locks_per_transaction)
- Удалить схемы с временными таблицами:
DROP SCHEMA pg_temp_n CASCADE;
DROP SCHEMA pg_toast_temp_n CASCADE;

51. Мы
отправились в
отдел
разработки

52. Патч №2: Orphan tables clean up
Автор: Константин Пан
- корректная работа с локами
- keep_orphan_tables = boolean
- https://commitfest.postgresql.org/11/831/
- PostgresPro Enterprise
- PostgresPro Enterprise 1C

53. В советском PostgreSQL
Статистика
Определяет
План

54. online_analyze
Расширение, призванное решить проблему сбора статистики
для временных таблиц:

55. online_analyze
Расширение, призванное решить проблему сбора статистики
для временных таблиц:
● Принудительно выполняет ANALYZE

56. online_analyze
Расширение, призванное решить проблему сбора статистики
для временных таблиц:
● Принудительно выполняет ANALYZE
● Полагается на статистику stats collector`а

57. online_analyze

58. online_analyze
При большом кол-ве таблиц:
- Чтение файла со статистикой становится дорогим

59. online_analyze

60. online_analyze
При большом кол-ве таблиц:
- Чтение файла со статистикой становится дорогим
- Поиск по прочитанному хэшу становится дорогим

61. online_analyze

62. online_analyze

63. online_analyze
Отключить?

65. Патч №3: online_analyze
Автор: Фёдор Сигаев
1. Реже обращаемся за статистикой
2. WIP - хранить статистику в локальной памяти

66. Патч для online_analyze

67. online_analyze patch
CPU LOAD
CPU: IDLE SYSTEM USER

68. online_analyze patch

69. online_analyze off
CPU LOAD
CPU: IDLE SYSTEM USER

70. online_analyze off

71. Вопросы ?

72. Спасибо за внимание!
Контакты:
g.smolkin@postgrespro.ru
s.petrov@postgrespro.ru

73. Итерация