SlideShare ist ein Scribd-Unternehmen logo
1 von 35
Downloaden Sie, um offline zu lesen
Архитектуры Backup & Recovery
          решений
          Илья Космодемьянский
          hydrobiont@gmail.com




               Москва 2011
Падения неизбежны


• Не бывает абсолютной отказоустойчивости
• “Быстро поднятое не считается упавшим”
“Поднятая” система


• Доступна
• Восстановлена производительность
• Не потеряны данные
восстановление
               доступности


0                                      время
    падение         восстановление
                  производительности
При работе системы проиходят
изменения
(копируем файлы, пишем в базу)


                                         w
             w               w
                         w           w
                 w                       w             восстановление
                     w           w                      доступности


         0                                                                      время
                                             падение         восстановление
                                                           производительности
При работе системы проиходят
изменения
(копируем файлы, пишем в базу)                         На момент падения:
                                                       • Завершились успешно
                                                       • Не завершились / не известно
                                         w
             w               w
                         w           w
                 w                       w             восстановление
                     w           w                      доступности


         0                                                                              время
                                             падение         восстановление
                                                           производительности
Данные:
Процедура восстановления


• Восстановлены данные, которые не изменялись
• Восстановлены данные, которые изменялись в момент падения
• Восстановлена работоспособность системы
Восстановлены данные, которые изменялись в момент
                      падения?




• Обычно это означает, что изменения вычищены из системы
• В транзакционных системах: откатить изменения
Восстановление
непротиворечивого состояния
 системы на момент падения
Backup & Recovery


                 Восстановление
           непротиворечивого состояния
            системы на момент падения
Backup & Recovery


                 Восстановление
           непротиворечивого состояния
            системы на момент падения
Recovery objectives


• RTO
• RPO
• SLA
Что бэкапить?

•   Всё?

•   Системный раздел ОС?

•   Данные?

•   Важные конфиги?
Что бэкапить?
Что бэкапить?




                    Архив

                +
данные                                                           20Tb
полный backup                                                           20Tb
   Diff -1 дня    1Tb
   Diff - 2 дня         2Tb
                              3Tb                     differential backup
                                    4Tb
                                          5Tb
                                                6Tb
                                                      7Tb
                                                            8Tb
                                                                  9Tb
 Diff - 10 дней                                                         10Tb
Инкрементальный бэкап
    полный backup                                        20Tb
2й день - инкремент 1Tb
                    1Tb
                          инкремент от полного бэкапа!
                    1Tb
                    1Tb
                    1Tb
                    1Tb
    полный backup                                        20Tb
Restore set
полный backup                             20Tb

2й день - инкремент   1Tb

         3й день - инкремент 1Tb
Restore set
полный backup                           20Tb

2й день - инкремент 1Tb


         3й день - инкремент 1Tb
Level backup
полный backup - L0                  20Tb
      2й день - L1
      3й день - L2
      4й день - L3




    полный backup                   20Tb
Backup retention
        плн.    инк.   инк.   инк.   инк.   инк.   инк.
1 нед   20Tb    1Tb    1Tb    1Tb    1Tb    1Tb    1Tb
2 нед   20Tb    1Tb    1Tb    1Tb    1Tb    1Tb    1Tb
3 нед   20Tb    1Tb    1Tb    1Tb    1Tb    1Tb    1Tb
4 нед   20Tb    1Tb    1Tb    1Tb    1Tb    1Tb    1Tb
5 нед   20Tb    1Tb    1Tb    1Tb    1Tb    1Tb    1Tb
6 нед   20Tb

        120Tb   5Tb    5Tb    5Tb    5Tb    5Tb    5Tb    150Tb
Период - 4 недели!

                Backup retention
        плн.    инк.   инк.   инк.   инк.   инк.   инк.
1 нед   20Tb    1Tb    1Tb    1Tb    1Tb    1Tb    1Tb
2 нед   20Tb    1Tb    1Tb    1Tb    1Tb    1Tb    1Tb
3 нед   20Tb    1Tb    1Tb    1Tb    1Tb    1Tb    1Tb
4 нед   20Tb    1Tb    1Tb    1Tb    1Tb    1Tb    1Tb
5 нед   20Tb    1Tb    1Tb    1Tb    1Tb    1Tb    1Tb
6 нед   20Tb

        120Tb   5Tb    5Tb    5Tb    5Tb    5Tb     5Tb   150Tb
Бэкап файловой системы

•   dump/restore

•   cpio и tar (GNU!!)

•   dd

•   rsync
Базы данных


•   Заточены под backup&recovery

•   Холодный и горячий backup
Архивирование WAL
       undo
redo                   WAL


              Archivelog
Как выглядит бэкап?


•   Копируем датафайл

•   Он (возможно) неконсистентен

•   Для восстановления нужны архивные логи
Oracle

•   RMAN

•   Уровни

•   параллелизм

•   работа с железом

•   каталог
PostgreSQL


•   Полный бэкап

•   Архивирование WAL

•   Нет уровней (вернее есть но один)
MySQL


•   Enterprise Backup и Percona XtraBackup

•   Только для транзакционных энджинов
Вредные советы
               Заменяйте бэкап репликацией!


•   Падения бывают не только от сбоя железа, но и от кривых рук

•   Проблемы от кривых рук очень быстро расползаются с мастера

•   За самой репликацией нужен глаз да глаз
Вредные советы
Выделяйте человеческие ресурсы на обеспечение бэкапа по
                остаточному принципу!


  •   Пока не понадобилось восстановление, про бэкап никто не
      помнит

  •   Часто это обязанность самого младшего админа
Вредные советы
       Тестовое восстановление придумали трусы!



•   Любой бэкап может быть битым

•   Проверить можно только восстановлением
Вредные советы
       Главное чтобы в целом все как-то работало!


•   C backup & recovery мелочей не бывает

•   “В системе было предусмотрено решение HP DataProtector
    стоимостью $$$$$$, но никто не вспомнил настройки LVM”

•   Сервер с каталогом RMAN восстановить не удалось
•   W. Curtis Preston - Backup & Recovery: Inexpensive Backup
    Solutions for Open Systems

•   Steven Nelson - Pro Data Backup and Recovery

•   Oracle Backup and Recovery User's Guide

Weitere ähnliche Inhalte

Was ist angesagt?

Symantec Backup Exec vs Microsoft DPM (Russian)
Symantec Backup Exec vs Microsoft DPM (Russian)Symantec Backup Exec vs Microsoft DPM (Russian)
Symantec Backup Exec vs Microsoft DPM (Russian)hdablin
 
5 способов деплоя PHP-кода в условиях хайлоада / Юрий Насретдинов (Badoo)
5 способов деплоя PHP-кода в условиях хайлоада / Юрий Насретдинов (Badoo)5 способов деплоя PHP-кода в условиях хайлоада / Юрий Насретдинов (Badoo)
5 способов деплоя PHP-кода в условиях хайлоада / Юрий Насретдинов (Badoo)Ontico
 
Константин Осипов
Константин ОсиповКонстантин Осипов
Константин ОсиповCodeFest
 
Девять кругов ада или PostgreSQL Vacuum / Алексей Лесовский (PostgreSQL-Consu...
Девять кругов ада или PostgreSQL Vacuum / Алексей Лесовский (PostgreSQL-Consu...Девять кругов ада или PostgreSQL Vacuum / Алексей Лесовский (PostgreSQL-Consu...
Девять кругов ада или PostgreSQL Vacuum / Алексей Лесовский (PostgreSQL-Consu...Ontico
 
колышкин Rootconf 2009 Openvz
колышкин Rootconf 2009 Openvzколышкин Rootconf 2009 Openvz
колышкин Rootconf 2009 OpenvzLiudmila Li
 
Эволюция программно-аппаратного обеспечения хранения фотографий в Badoo / Дми...
Эволюция программно-аппаратного обеспечения хранения фотографий в Badoo / Дми...Эволюция программно-аппаратного обеспечения хранения фотографий в Badoo / Дми...
Эволюция программно-аппаратного обеспечения хранения фотографий в Badoo / Дми...Ontico
 
Распределенные системы в Одноклассниках / Олег Анастасьев (Одноклассники)
Распределенные системы в Одноклассниках / Олег Анастасьев (Одноклассники)Распределенные системы в Одноклассниках / Олег Анастасьев (Одноклассники)
Распределенные системы в Одноклассниках / Олег Анастасьев (Одноклассники)Ontico
 
libfpta — обгоняя SQLite и Tarantool / Леонид Юрьев (Positive Technologies)
libfpta — обгоняя SQLite и Tarantool / Леонид Юрьев (Positive Technologies)libfpta — обгоняя SQLite и Tarantool / Леонид Юрьев (Positive Technologies)
libfpta — обгоняя SQLite и Tarantool / Леонид Юрьев (Positive Technologies)Ontico
 
Франкенштейнизация Voldemort или key-value данные в Одноклассниках. Роман Ан...
Франкенштейнизация Voldemort или key-value данные в Одноклассниках. Роман Ан...Франкенштейнизация Voldemort или key-value данные в Одноклассниках. Роман Ан...
Франкенштейнизация Voldemort или key-value данные в Одноклассниках. Роман Ан...odnoklassniki.ru
 
Операционные системы
Операционные системыОперационные системы
Операционные системыyaevents
 
Что такое Postgresql (Максим Богук)
Что такое Postgresql (Максим Богук)Что такое Postgresql (Максим Богук)
Что такое Postgresql (Максим Богук)Ontico
 
TMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual Machines
TMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual MachinesTMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual Machines
TMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual MachinesIosif Itkin
 
Константин Осипов (Mail.Ru)
Константин Осипов (Mail.Ru)Константин Осипов (Mail.Ru)
Константин Осипов (Mail.Ru)Ontico
 

Was ist angesagt? (13)

Symantec Backup Exec vs Microsoft DPM (Russian)
Symantec Backup Exec vs Microsoft DPM (Russian)Symantec Backup Exec vs Microsoft DPM (Russian)
Symantec Backup Exec vs Microsoft DPM (Russian)
 
5 способов деплоя PHP-кода в условиях хайлоада / Юрий Насретдинов (Badoo)
5 способов деплоя PHP-кода в условиях хайлоада / Юрий Насретдинов (Badoo)5 способов деплоя PHP-кода в условиях хайлоада / Юрий Насретдинов (Badoo)
5 способов деплоя PHP-кода в условиях хайлоада / Юрий Насретдинов (Badoo)
 
Константин Осипов
Константин ОсиповКонстантин Осипов
Константин Осипов
 
Девять кругов ада или PostgreSQL Vacuum / Алексей Лесовский (PostgreSQL-Consu...
Девять кругов ада или PostgreSQL Vacuum / Алексей Лесовский (PostgreSQL-Consu...Девять кругов ада или PostgreSQL Vacuum / Алексей Лесовский (PostgreSQL-Consu...
Девять кругов ада или PostgreSQL Vacuum / Алексей Лесовский (PostgreSQL-Consu...
 
колышкин Rootconf 2009 Openvz
колышкин Rootconf 2009 Openvzколышкин Rootconf 2009 Openvz
колышкин Rootconf 2009 Openvz
 
Эволюция программно-аппаратного обеспечения хранения фотографий в Badoo / Дми...
Эволюция программно-аппаратного обеспечения хранения фотографий в Badoo / Дми...Эволюция программно-аппаратного обеспечения хранения фотографий в Badoo / Дми...
Эволюция программно-аппаратного обеспечения хранения фотографий в Badoo / Дми...
 
Распределенные системы в Одноклассниках / Олег Анастасьев (Одноклассники)
Распределенные системы в Одноклассниках / Олег Анастасьев (Одноклассники)Распределенные системы в Одноклассниках / Олег Анастасьев (Одноклассники)
Распределенные системы в Одноклассниках / Олег Анастасьев (Одноклассники)
 
libfpta — обгоняя SQLite и Tarantool / Леонид Юрьев (Positive Technologies)
libfpta — обгоняя SQLite и Tarantool / Леонид Юрьев (Positive Technologies)libfpta — обгоняя SQLite и Tarantool / Леонид Юрьев (Positive Technologies)
libfpta — обгоняя SQLite и Tarantool / Леонид Юрьев (Positive Technologies)
 
Франкенштейнизация Voldemort или key-value данные в Одноклассниках. Роман Ан...
Франкенштейнизация Voldemort или key-value данные в Одноклассниках. Роман Ан...Франкенштейнизация Voldemort или key-value данные в Одноклассниках. Роман Ан...
Франкенштейнизация Voldemort или key-value данные в Одноклассниках. Роман Ан...
 
Операционные системы
Операционные системыОперационные системы
Операционные системы
 
Что такое Postgresql (Максим Богук)
Что такое Postgresql (Максим Богук)Что такое Postgresql (Максим Богук)
Что такое Postgresql (Максим Богук)
 
TMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual Machines
TMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual MachinesTMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual Machines
TMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual Machines
 
Константин Осипов (Mail.Ru)
Константин Осипов (Mail.Ru)Константин Осипов (Mail.Ru)
Константин Осипов (Mail.Ru)
 

Andere mochten auch

Флеш в серверах: работа со скоростью вспышки
Флеш в серверах: работа со скоростью вспышкиФлеш в серверах: работа со скоростью вспышки
Флеш в серверах: работа со скоростью вспышкиКРОК
 
Hl2008 Wtf Hl 169
Hl2008 Wtf Hl 169Hl2008 Wtf Hl 169
Hl2008 Wtf Hl 169Media Gorod
 
Symantec Backup Exec 2014 – быстрая, гибкая и надежная защита. Symantec. Макс...
Symantec Backup Exec 2014 – быстрая, гибкая и надежная защита. Symantec. Макс...Symantec Backup Exec 2014 – быстрая, гибкая и надежная защита. Symantec. Макс...
Symantec Backup Exec 2014 – быстрая, гибкая и надежная защита. Symantec. Макс...Fujitsu Russia
 
Symantec, Швыдченко Иван
Symantec, Швыдченко ИванSymantec, Швыдченко Иван
Symantec, Швыдченко ИванDiana Mokhina
 
ESXi 5.x CPU scheduler
ESXi 5.x CPU schedulerESXi 5.x CPU scheduler
ESXi 5.x CPU schedulerAnton Zhbankov
 
Оптимизации уровня CPU, Андрей Акиньшин (JetBrains)
Оптимизации уровня CPU,  Андрей Акиньшин (JetBrains)Оптимизации уровня CPU,  Андрей Акиньшин (JetBrains)
Оптимизации уровня CPU, Андрей Акиньшин (JetBrains)Ontico
 
Acronis Защита данных нового поколения
Acronis Защита данных нового поколенияAcronis Защита данных нового поколения
Acronis Защита данных нового поколенияЭЛВИС-ПЛЮС
 
төв процессор буюу Cpu
төв процессор буюу Cpuтөв процессор буюу Cpu
төв процессор буюу Cpushulam
 
Путь мониторинга 2.0 всё стало другим / Всеволод Поляков (Grammarly)
Путь мониторинга 2.0 всё стало другим / Всеволод Поляков (Grammarly)Путь мониторинга 2.0 всё стало другим / Всеволод Поляков (Grammarly)
Путь мониторинга 2.0 всё стало другим / Всеволод Поляков (Grammarly)Ontico
 

Andere mochten auch (11)

Флеш в серверах: работа со скоростью вспышки
Флеш в серверах: работа со скоростью вспышкиФлеш в серверах: работа со скоростью вспышки
Флеш в серверах: работа со скоростью вспышки
 
Hl2008 Wtf Hl 169
Hl2008 Wtf Hl 169Hl2008 Wtf Hl 169
Hl2008 Wtf Hl 169
 
Symantec Backup Exec 2014 – быстрая, гибкая и надежная защита. Symantec. Макс...
Symantec Backup Exec 2014 – быстрая, гибкая и надежная защита. Symantec. Макс...Symantec Backup Exec 2014 – быстрая, гибкая и надежная защита. Symantec. Макс...
Symantec Backup Exec 2014 – быстрая, гибкая и надежная защита. Symantec. Макс...
 
Symantec, Швыдченко Иван
Symantec, Швыдченко ИванSymantec, Швыдченко Иван
Symantec, Швыдченко Иван
 
ESXi 5.x CPU scheduler
ESXi 5.x CPU schedulerESXi 5.x CPU scheduler
ESXi 5.x CPU scheduler
 
Оптимизации уровня CPU, Андрей Акиньшин (JetBrains)
Оптимизации уровня CPU,  Андрей Акиньшин (JetBrains)Оптимизации уровня CPU,  Андрей Акиньшин (JetBrains)
Оптимизации уровня CPU, Андрей Акиньшин (JetBrains)
 
Acronis Защита данных нового поколения
Acronis Защита данных нового поколенияAcronis Защита данных нового поколения
Acronis Защита данных нового поколения
 
төв процессор буюу Cpu
төв процессор буюу Cpuтөв процессор буюу Cpu
төв процессор буюу Cpu
 
Cpu
CpuCpu
Cpu
 
Путь мониторинга 2.0 всё стало другим / Всеволод Поляков (Grammarly)
Путь мониторинга 2.0 всё стало другим / Всеволод Поляков (Grammarly)Путь мониторинга 2.0 всё стало другим / Всеволод Поляков (Grammarly)
Путь мониторинга 2.0 всё стало другим / Всеволод Поляков (Grammarly)
 
Bie daalt
Bie daaltBie daalt
Bie daalt
 

Ähnlich wie Архитектуры Backup&recovery решений (Илья Космодемьянский)

Про бэкапы (не энтерпрайз!)
Про бэкапы (не энтерпрайз!)Про бэкапы (не энтерпрайз!)
Про бэкапы (не энтерпрайз!)Alex Chistyakov
 
Живая миграция: плюсы, минусы и подводные камни - Павел Емельянов
Живая миграция: плюсы, минусы и подводные камни - Павел ЕмельяновЖивая миграция: плюсы, минусы и подводные камни - Павел Емельянов
Живая миграция: плюсы, минусы и подводные камни - Павел ЕмельяновOpenVZ
 
Живая миграция контейнеров: плюсы, минусы, подводные камни -- Павел Емельянов
Живая миграция контейнеров: плюсы, минусы, подводные камни -- Павел ЕмельяновЖивая миграция контейнеров: плюсы, минусы, подводные камни -- Павел Емельянов
Живая миграция контейнеров: плюсы, минусы, подводные камни -- Павел ЕмельяновOpenVZ
 
Выступление Юрия Насретдинова, Badoo, на High Performance Conference
Выступление Юрия Насретдинова, Badoo, на High Performance ConferenceВыступление Юрия Насретдинова, Badoo, на High Performance Conference
Выступление Юрия Насретдинова, Badoo, на High Performance ConferenceEYevseyeva
 
Асинхронная репликация без цензуры, Олег Царёв (Mail.ru Group)
Асинхронная репликация без цензуры, Олег Царёв (Mail.ru Group)Асинхронная репликация без цензуры, Олег Царёв (Mail.ru Group)
Асинхронная репликация без цензуры, Олег Царёв (Mail.ru Group)Ontico
 
Цикл разработки и внедрения функционала в Мамбе (Михаил Буйлов)
Цикл разработки и внедрения функционала в Мамбе (Михаил Буйлов)Цикл разработки и внедрения функционала в Мамбе (Михаил Буйлов)
Цикл разработки и внедрения функционала в Мамбе (Михаил Буйлов)Ontico
 
Жизнь проекта на production
Жизнь проекта на productionЖизнь проекта на production
Жизнь проекта на productionNikolay Sivko
 
Как делать backup MySQL
Как делать backup MySQLКак делать backup MySQL
Как делать backup MySQLSveta Smirnova
 

Ähnlich wie Архитектуры Backup&recovery решений (Илья Космодемьянский) (9)

Про бэкапы (не энтерпрайз!)
Про бэкапы (не энтерпрайз!)Про бэкапы (не энтерпрайз!)
Про бэкапы (не энтерпрайз!)
 
Живая миграция: плюсы, минусы и подводные камни - Павел Емельянов
Живая миграция: плюсы, минусы и подводные камни - Павел ЕмельяновЖивая миграция: плюсы, минусы и подводные камни - Павел Емельянов
Живая миграция: плюсы, минусы и подводные камни - Павел Емельянов
 
Живая миграция контейнеров: плюсы, минусы, подводные камни -- Павел Емельянов
Живая миграция контейнеров: плюсы, минусы, подводные камни -- Павел ЕмельяновЖивая миграция контейнеров: плюсы, минусы, подводные камни -- Павел Емельянов
Живая миграция контейнеров: плюсы, минусы, подводные камни -- Павел Емельянов
 
Выступление Юрия Насретдинова, Badoo, на High Performance Conference
Выступление Юрия Насретдинова, Badoo, на High Performance ConferenceВыступление Юрия Насретдинова, Badoo, на High Performance Conference
Выступление Юрия Насретдинова, Badoo, на High Performance Conference
 
Асинхронная репликация без цензуры, Олег Царёв (Mail.ru Group)
Асинхронная репликация без цензуры, Олег Царёв (Mail.ru Group)Асинхронная репликация без цензуры, Олег Царёв (Mail.ru Group)
Асинхронная репликация без цензуры, Олег Царёв (Mail.ru Group)
 
Mercurial
MercurialMercurial
Mercurial
 
Цикл разработки и внедрения функционала в Мамбе (Михаил Буйлов)
Цикл разработки и внедрения функционала в Мамбе (Михаил Буйлов)Цикл разработки и внедрения функционала в Мамбе (Михаил Буйлов)
Цикл разработки и внедрения функционала в Мамбе (Михаил Буйлов)
 
Жизнь проекта на production
Жизнь проекта на productionЖизнь проекта на production
Жизнь проекта на production
 
Как делать backup MySQL
Как делать backup MySQLКак делать backup MySQL
Как делать backup MySQL
 

Mehr von Ontico

One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...
One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...
One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...Ontico
 
Масштабируя DNS / Артем Гавриченков (Qrator Labs)
Масштабируя DNS / Артем Гавриченков (Qrator Labs)Масштабируя DNS / Артем Гавриченков (Qrator Labs)
Масштабируя DNS / Артем Гавриченков (Qrator Labs)Ontico
 
Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)
Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)
Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)Ontico
 
Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...
Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...
Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...Ontico
 
Новые технологии репликации данных в PostgreSQL / Александр Алексеев (Postgre...
Новые технологии репликации данных в PostgreSQL / Александр Алексеев (Postgre...Новые технологии репликации данных в PostgreSQL / Александр Алексеев (Postgre...
Новые технологии репликации данных в PostgreSQL / Александр Алексеев (Postgre...Ontico
 
PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)
PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)
PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)Ontico
 
Inexpensive Datamasking for MySQL with ProxySQL — Data Anonymization for Deve...
Inexpensive Datamasking for MySQL with ProxySQL — Data Anonymization for Deve...Inexpensive Datamasking for MySQL with ProxySQL — Data Anonymization for Deve...
Inexpensive Datamasking for MySQL with ProxySQL — Data Anonymization for Deve...Ontico
 
Опыт разработки модуля межсетевого экранирования для MySQL / Олег Брославский...
Опыт разработки модуля межсетевого экранирования для MySQL / Олег Брославский...Опыт разработки модуля межсетевого экранирования для MySQL / Олег Брославский...
Опыт разработки модуля межсетевого экранирования для MySQL / Олег Брославский...Ontico
 
ProxySQL Use Case Scenarios / Alkin Tezuysal (Percona)
ProxySQL Use Case Scenarios / Alkin Tezuysal (Percona)ProxySQL Use Case Scenarios / Alkin Tezuysal (Percona)
ProxySQL Use Case Scenarios / Alkin Tezuysal (Percona)Ontico
 
MySQL Replication — Advanced Features / Петр Зайцев (Percona)
MySQL Replication — Advanced Features / Петр Зайцев (Percona)MySQL Replication — Advanced Features / Петр Зайцев (Percona)
MySQL Replication — Advanced Features / Петр Зайцев (Percona)Ontico
 
Внутренний open-source. Как разрабатывать мобильное приложение большим количе...
Внутренний open-source. Как разрабатывать мобильное приложение большим количе...Внутренний open-source. Как разрабатывать мобильное приложение большим количе...
Внутренний open-source. Как разрабатывать мобильное приложение большим количе...Ontico
 
Подробно о том, как Causal Consistency реализовано в MongoDB / Михаил Тюленев...
Подробно о том, как Causal Consistency реализовано в MongoDB / Михаил Тюленев...Подробно о том, как Causal Consistency реализовано в MongoDB / Михаил Тюленев...
Подробно о том, как Causal Consistency реализовано в MongoDB / Михаил Тюленев...Ontico
 
Балансировка на скорости проводов. Без ASIC, без ограничений. Решения NFWare ...
Балансировка на скорости проводов. Без ASIC, без ограничений. Решения NFWare ...Балансировка на скорости проводов. Без ASIC, без ограничений. Решения NFWare ...
Балансировка на скорости проводов. Без ASIC, без ограничений. Решения NFWare ...Ontico
 
Перехват трафика — мифы и реальность / Евгений Усков (Qrator Labs)
Перехват трафика — мифы и реальность / Евгений Усков (Qrator Labs)Перехват трафика — мифы и реальность / Евгений Усков (Qrator Labs)
Перехват трафика — мифы и реальность / Евгений Усков (Qrator Labs)Ontico
 
И тогда наверняка вдруг запляшут облака! / Алексей Сушков (ПЕТЕР-СЕРВИС)
И тогда наверняка вдруг запляшут облака! / Алексей Сушков (ПЕТЕР-СЕРВИС)И тогда наверняка вдруг запляшут облака! / Алексей Сушков (ПЕТЕР-СЕРВИС)
И тогда наверняка вдруг запляшут облака! / Алексей Сушков (ПЕТЕР-СЕРВИС)Ontico
 
Как мы заставили Druid работать в Одноклассниках / Юрий Невиницин (OK.RU)
Как мы заставили Druid работать в Одноклассниках / Юрий Невиницин (OK.RU)Как мы заставили Druid работать в Одноклассниках / Юрий Невиницин (OK.RU)
Как мы заставили Druid работать в Одноклассниках / Юрий Невиницин (OK.RU)Ontico
 
Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)
Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)
Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)Ontico
 
100500 способов кэширования в Oracle Database или как достичь максимальной ск...
100500 способов кэширования в Oracle Database или как достичь максимальной ск...100500 способов кэширования в Oracle Database или как достичь максимальной ск...
100500 способов кэширования в Oracle Database или как достичь максимальной ск...Ontico
 
Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает...
Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает...Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает...
Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает...Ontico
 
Механизмы мониторинга баз данных: взгляд изнутри / Дмитрий Еманов (Firebird P...
Механизмы мониторинга баз данных: взгляд изнутри / Дмитрий Еманов (Firebird P...Механизмы мониторинга баз данных: взгляд изнутри / Дмитрий Еманов (Firebird P...
Механизмы мониторинга баз данных: взгляд изнутри / Дмитрий Еманов (Firebird P...Ontico
 

Mehr von Ontico (20)

One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...
One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...
One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...
 
Масштабируя DNS / Артем Гавриченков (Qrator Labs)
Масштабируя DNS / Артем Гавриченков (Qrator Labs)Масштабируя DNS / Артем Гавриченков (Qrator Labs)
Масштабируя DNS / Артем Гавриченков (Qrator Labs)
 
Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)
Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)
Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)
 
Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...
Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...
Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...
 
Новые технологии репликации данных в PostgreSQL / Александр Алексеев (Postgre...
Новые технологии репликации данных в PostgreSQL / Александр Алексеев (Postgre...Новые технологии репликации данных в PostgreSQL / Александр Алексеев (Postgre...
Новые технологии репликации данных в PostgreSQL / Александр Алексеев (Postgre...
 
PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)
PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)
PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)
 
Inexpensive Datamasking for MySQL with ProxySQL — Data Anonymization for Deve...
Inexpensive Datamasking for MySQL with ProxySQL — Data Anonymization for Deve...Inexpensive Datamasking for MySQL with ProxySQL — Data Anonymization for Deve...
Inexpensive Datamasking for MySQL with ProxySQL — Data Anonymization for Deve...
 
Опыт разработки модуля межсетевого экранирования для MySQL / Олег Брославский...
Опыт разработки модуля межсетевого экранирования для MySQL / Олег Брославский...Опыт разработки модуля межсетевого экранирования для MySQL / Олег Брославский...
Опыт разработки модуля межсетевого экранирования для MySQL / Олег Брославский...
 
ProxySQL Use Case Scenarios / Alkin Tezuysal (Percona)
ProxySQL Use Case Scenarios / Alkin Tezuysal (Percona)ProxySQL Use Case Scenarios / Alkin Tezuysal (Percona)
ProxySQL Use Case Scenarios / Alkin Tezuysal (Percona)
 
MySQL Replication — Advanced Features / Петр Зайцев (Percona)
MySQL Replication — Advanced Features / Петр Зайцев (Percona)MySQL Replication — Advanced Features / Петр Зайцев (Percona)
MySQL Replication — Advanced Features / Петр Зайцев (Percona)
 
Внутренний open-source. Как разрабатывать мобильное приложение большим количе...
Внутренний open-source. Как разрабатывать мобильное приложение большим количе...Внутренний open-source. Как разрабатывать мобильное приложение большим количе...
Внутренний open-source. Как разрабатывать мобильное приложение большим количе...
 
Подробно о том, как Causal Consistency реализовано в MongoDB / Михаил Тюленев...
Подробно о том, как Causal Consistency реализовано в MongoDB / Михаил Тюленев...Подробно о том, как Causal Consistency реализовано в MongoDB / Михаил Тюленев...
Подробно о том, как Causal Consistency реализовано в MongoDB / Михаил Тюленев...
 
Балансировка на скорости проводов. Без ASIC, без ограничений. Решения NFWare ...
Балансировка на скорости проводов. Без ASIC, без ограничений. Решения NFWare ...Балансировка на скорости проводов. Без ASIC, без ограничений. Решения NFWare ...
Балансировка на скорости проводов. Без ASIC, без ограничений. Решения NFWare ...
 
Перехват трафика — мифы и реальность / Евгений Усков (Qrator Labs)
Перехват трафика — мифы и реальность / Евгений Усков (Qrator Labs)Перехват трафика — мифы и реальность / Евгений Усков (Qrator Labs)
Перехват трафика — мифы и реальность / Евгений Усков (Qrator Labs)
 
И тогда наверняка вдруг запляшут облака! / Алексей Сушков (ПЕТЕР-СЕРВИС)
И тогда наверняка вдруг запляшут облака! / Алексей Сушков (ПЕТЕР-СЕРВИС)И тогда наверняка вдруг запляшут облака! / Алексей Сушков (ПЕТЕР-СЕРВИС)
И тогда наверняка вдруг запляшут облака! / Алексей Сушков (ПЕТЕР-СЕРВИС)
 
Как мы заставили Druid работать в Одноклассниках / Юрий Невиницин (OK.RU)
Как мы заставили Druid работать в Одноклассниках / Юрий Невиницин (OK.RU)Как мы заставили Druid работать в Одноклассниках / Юрий Невиницин (OK.RU)
Как мы заставили Druid работать в Одноклассниках / Юрий Невиницин (OK.RU)
 
Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)
Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)
Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)
 
100500 способов кэширования в Oracle Database или как достичь максимальной ск...
100500 способов кэширования в Oracle Database или как достичь максимальной ск...100500 способов кэширования в Oracle Database или как достичь максимальной ск...
100500 способов кэширования в Oracle Database или как достичь максимальной ск...
 
Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает...
Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает...Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает...
Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает...
 
Механизмы мониторинга баз данных: взгляд изнутри / Дмитрий Еманов (Firebird P...
Механизмы мониторинга баз данных: взгляд изнутри / Дмитрий Еманов (Firebird P...Механизмы мониторинга баз данных: взгляд изнутри / Дмитрий Еманов (Firebird P...
Механизмы мониторинга баз данных: взгляд изнутри / Дмитрий Еманов (Firebird P...
 

Архитектуры Backup&recovery решений (Илья Космодемьянский)

  • 1. Архитектуры Backup & Recovery решений Илья Космодемьянский hydrobiont@gmail.com Москва 2011
  • 2. Падения неизбежны • Не бывает абсолютной отказоустойчивости • “Быстро поднятое не считается упавшим”
  • 3. “Поднятая” система • Доступна • Восстановлена производительность • Не потеряны данные
  • 4. восстановление доступности 0 время падение восстановление производительности
  • 5. При работе системы проиходят изменения (копируем файлы, пишем в базу) w w w w w w w восстановление w w доступности 0 время падение восстановление производительности
  • 6. При работе системы проиходят изменения (копируем файлы, пишем в базу) На момент падения: • Завершились успешно • Не завершились / не известно w w w w w w w восстановление w w доступности 0 время падение восстановление производительности
  • 8. Процедура восстановления • Восстановлены данные, которые не изменялись • Восстановлены данные, которые изменялись в момент падения • Восстановлена работоспособность системы
  • 9. Восстановлены данные, которые изменялись в момент падения? • Обычно это означает, что изменения вычищены из системы • В транзакционных системах: откатить изменения
  • 11. Backup & Recovery Восстановление непротиворечивого состояния системы на момент падения
  • 12. Backup & Recovery Восстановление непротиворечивого состояния системы на момент падения
  • 14. Что бэкапить? • Всё? • Системный раздел ОС? • Данные? • Важные конфиги?
  • 16. Что бэкапить? Архив +
  • 17. данные 20Tb полный backup 20Tb Diff -1 дня 1Tb Diff - 2 дня 2Tb 3Tb differential backup 4Tb 5Tb 6Tb 7Tb 8Tb 9Tb Diff - 10 дней 10Tb
  • 18. Инкрементальный бэкап полный backup 20Tb 2й день - инкремент 1Tb 1Tb инкремент от полного бэкапа! 1Tb 1Tb 1Tb 1Tb полный backup 20Tb
  • 19. Restore set полный backup 20Tb 2й день - инкремент 1Tb 3й день - инкремент 1Tb
  • 20. Restore set полный backup 20Tb 2й день - инкремент 1Tb 3й день - инкремент 1Tb
  • 21. Level backup полный backup - L0 20Tb 2й день - L1 3й день - L2 4й день - L3 полный backup 20Tb
  • 22. Backup retention плн. инк. инк. инк. инк. инк. инк. 1 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb 2 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb 3 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb 4 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb 5 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb 6 нед 20Tb 120Tb 5Tb 5Tb 5Tb 5Tb 5Tb 5Tb 150Tb
  • 23. Период - 4 недели! Backup retention плн. инк. инк. инк. инк. инк. инк. 1 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb 2 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb 3 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb 4 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb 5 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb 6 нед 20Tb 120Tb 5Tb 5Tb 5Tb 5Tb 5Tb 5Tb 150Tb
  • 24. Бэкап файловой системы • dump/restore • cpio и tar (GNU!!) • dd • rsync
  • 25. Базы данных • Заточены под backup&recovery • Холодный и горячий backup
  • 26. Архивирование WAL undo redo WAL Archivelog
  • 27. Как выглядит бэкап? • Копируем датафайл • Он (возможно) неконсистентен • Для восстановления нужны архивные логи
  • 28. Oracle • RMAN • Уровни • параллелизм • работа с железом • каталог
  • 29. PostgreSQL • Полный бэкап • Архивирование WAL • Нет уровней (вернее есть но один)
  • 30. MySQL • Enterprise Backup и Percona XtraBackup • Только для транзакционных энджинов
  • 31. Вредные советы Заменяйте бэкап репликацией! • Падения бывают не только от сбоя железа, но и от кривых рук • Проблемы от кривых рук очень быстро расползаются с мастера • За самой репликацией нужен глаз да глаз
  • 32. Вредные советы Выделяйте человеческие ресурсы на обеспечение бэкапа по остаточному принципу! • Пока не понадобилось восстановление, про бэкап никто не помнит • Часто это обязанность самого младшего админа
  • 33. Вредные советы Тестовое восстановление придумали трусы! • Любой бэкап может быть битым • Проверить можно только восстановлением
  • 34. Вредные советы Главное чтобы в целом все как-то работало! • C backup & recovery мелочей не бывает • “В системе было предусмотрено решение HP DataProtector стоимостью $$$$$$, но никто не вспомнил настройки LVM” • Сервер с каталогом RMAN восстановить не удалось
  • 35. W. Curtis Preston - Backup & Recovery: Inexpensive Backup Solutions for Open Systems • Steven Nelson - Pro Data Backup and Recovery • Oracle Backup and Recovery User's Guide