Архитектура хранения и отдачи фотографий в Badoo / Артем Денисов (Badoo)
•Als PPTX, PDF herunterladen•
1 gefällt mir•2,373 views
В докладе будет рассмотрен процесс построения масштабируемой отказоустойчивой системы хранения, отдачи и обработки фотографий с точки зрения разработчика. На примере Badoo, я расскажу о стандартном пути эволюции такого рода проектов. Детально разберу каждый этап и остановлюсь на основных сложностях и неочевидных проблемах. Вместе с рассказом о наших решениях и подходах будут рассмотрены возможные альтернативы, их плюсы и минусы (вплоть до "мы небольшой стартап, как сделать что-нибудь похожее, но по-быстрому и на коленке"). Основные тезисы: - Эволюция и типичные узкие места каждого из 3-х компонентов системы (хранение, отдача, обработка). - Как отдавать фотографии? Когда лучше использовать сторонний CDN, а когда написать свой? - Что лучше - хранить оригинал фото и ресайзить его на лету или заранее нарезать типовые размеры? - Как сделать эффективное кэширование? Что такое consistent hashing и зачем он нужен? - Где лучше хранить фотографии? Локальные диски, облачные хранилища, кластерные ФС? - Надо ли их бэкапить и как часто? Что может пойти не так?
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Andere mochten auch
Andere mochten auch (20)
Mehr von Ontico
Mehr von Ontico (20)
Архитектура хранения и отдачи фотографий в Badoo / Артем Денисов (Badoo)
- 1. Архитектура хранения и отдачи фотографий в Badoo Артем Денисов, Badoo
- 2. 330 млн. пользователей 3 Pb фотографий 3,5 млн. новых фотографий в день 80 тыс. запросов в секунду за фото
- 5. Тривиальный пример place_id place_id: 1..5 place_id: 6..11 place_id: m..n photos1 photos2 photosN
- 8. ! Ограниченная вместимость Тривиальный пример: проблемы
- 9. ! Ограниченная вместимость ! Нетипичная конфигурация машин Тривиальный пример: проблемы
- 10. ! Ограниченная вместимость ! Нетипичная конфигурация машин ! Цена Тривиальный пример: проблемы
- 11. Используем систему хранения данных bphotos1 bphotos2 bphotosN Storage Area Network (SAN)
- 12. ! Меньше $/Gb bphotos1 bphotos2 bphotosN Storage Area Network (SAN) Используем систему хранения данных
- 13. ! Меньше $/Gb ! Больше плотность размещения bphotos2 bphotosN Storage Area Network (SAN) bphotos1 Используем систему хранения данных
- 14. ! Меньше $/Gb ! Больше плотность размещения ! Быстрая деградация чтения (>500 rps per host) bphotos2 bphotosN Storage Area Network (SAN) bphotos1 Используем систему хранения данных
- 15. Характер нагрузки Чтение преобладает над записью: 7*109 reads / 3.5*106 writes per day
- 16. Характер нагрузки Горячий dataset небольшой Чтение преобладает над записью: 7*109 reads / 3.5*106 writes per day
- 17. Характер нагрузки Горячий dataset небольшой Кажется, нам нужен кэш с LRU Чтение преобладает над записью: 7*109 reads / 3.5*106 writes per day
- 22. Структура фотокэша Local cache Buffer Hot cache Cold cache proxy_pass proxy_store bphotos
- 23. Структура фотокэша Local cache Buffer Hot cache Cold cache Access log <photo_path> <served_by> proxy_pass proxy_store bphotos
- 24. Структура фотокэша Local cache Buffer Hot cache Cold cache Access log <photo_path> <served_by> proxy_pass proxy_store bphotos Cache manager daemon
- 25. Структура фотокэша Local cache Buffer Hot cache Cold cache Access log <photo_path> <served_by> proxy_pass proxy_store bphotos Cache manager daemon Хранит статистику запросов по файлам
- 26. Структура фотокэша Local cache Buffer Hot cache Cold cache Access log <photo_path> <served_by> proxy_pass proxy_store bphotos Cache manager daemon Хранит статистику запросов по файлам Часто запрашиваемые -> Hot cache
- 27. Структура фотокэша Local cache Buffer Hot cache Cold cache Access log <photo_path> <served_by> proxy_pass proxy_store bphotos Cache manager daemon Хранит статистику запросов по файлам Часто запрашиваемые -> Hot cache Редко запрашиваемые -> Cold cache
- 28. Структура фотокэша Local cache Buffer Hot cache Cold cache Access log <photo_path> <served_by> proxy_pass proxy_store bphotos Cache manager daemon Хранит статистику запросов по файлам Часто запрашиваемые -> Hot cache Редко запрашиваемые -> Cold cache Постепенно удаляет из Cold cache
- 31. Как распределять запросы? Round-robin? Hash % count? photoscache2 photoscache1 photoscache3
- 32. Как распределять запросы? Round-robin? Hash % count? hash(“example_url”) = 5 server_idx0 = 5 % 3 = 2photoscache2 photoscache1 photoscache3
- 33. Как распределять запросы? Round-robin? Hash % count? hash(“example_url”) = 5 server_idx0 = 5 % 3 = 2 server_idx1 = 5 % 4 = 1
- 35. Как распределять запросы? Round-robin? Hash % count? Consistent hashing?photoscache2 photoscache1 photoscache3
- 45. Кэширование. Результаты - Hitrate (количество попаданий в кэш) 98% - Из 80k только 1600 rps доходят до bphotos
- 46. Кэширование. Результаты - Hitrate (количество попаданий в кэш) 98% - Из 80k только 1600 rps доходят до bphotos - 3 точки присутствия (Прага, Майами, Гонконг)
- 47. Кэширование. Результаты - Hitrate (количество попаданий в кэш) 98% - Из 80k только 1600 rps доходят до bphotos - 3 точки присутствия (Прага, Майами, Гонконг) + - Поддержка webp, progressive jpeg - Динамический resize/crop - Динамические вотермарки, фильтры (blur, pixelize)
- 48. Почему не CDN? - Хочется больше контроля и предсказуемости
- 49. Почему не CDN? - Хочется больше контроля и предсказуемости - Система развивалась постепенно
- 50. Почему не CDN? - Хочется больше контроля и предсказуемости - Система развивалась постепенно - Много специфической логики на фотокэшах
- 51. Почему не CDN? - Хочется больше контроля и предсказуемости - Система развивалась постепенно - Много специфической логики на фотокэшах - Невысокая сложность поддержки итогового решения
- 52. Почему не CDN? - Хочется больше контроля и предсказуемости - Система развивалась постепенно - Много специфической логики на фотокэшах - Невысокая сложность поддержки итогового решения Современный CDN — хорошая альтернатива в условиях дефицита ресурсов и времени
- 53. Хранение. 2013 год bphotos1 bphotos2 bphotosN Storage Area Network (SAN) photoscache1 photoscacheN
- 54. Хранение. 2013 год bphotos1 bphotos2 bphotosN Storage Area Network (SAN) photoscache1 photoscacheN 80 x bphotos = ~560Tb данных 40 x photoscache X 2 ДЦ
- 55. Хранение. 2013 год bphotos1 bphotos2 bphotosN Storage Area Network (SAN) photoscache1 photoscacheN 1 x POINT OF FAILURE
- 56. Хранение. 2013 год bphotos1 bphotos2 bphotosN Storage Area Network (SAN) photoscache1 photoscacheN 2 x POINT OF FAILURE
- 57. Хранение. 2013 год bphotos1 bphotos2 bphotosN Storage Area Network (SAN) photoscache1 photoscacheN 3 x POINT OF FAILURE
- 58. Хранение. 2013 год bphotos1 bphotos2 bphotosN Storage Area Network (SAN) photoscache1 photoscacheN 3 x POINT OF FAILURE ! MAINTENANCE
- 59. Хранение. 2013 год bphotos1 bphotos2 bphotosN Storage Area Network (SAN) photoscache1 photoscacheN 3 x POINT OF FAILURE ! DATA LOSS ! MAINTENANCE
- 60. Резервирование v.1 bphotos Main partition Local FS Fiber Storage Area Network
- 61. bphotos Local FS Main partition Backup partition Fiber Storage Area Network Fiber Storage Area Network Резервирование v.1
- 62. Async queue bphotos Local FS Main partition Backup partition Fiber Storage Area Network Fiber Storage Area Network Резервирование v.1
- 63. Async queue bphotos Local FS Main partition Backup partition Fiber Storage Area Network Fiber Storage Area Network Buffer partition Резервирование v.1
- 64. Async queue bphotos Local FS Main partition Backup partition Fiber Storage Area Network Fiber Storage Area Network Buffer partition ! NO DATA LOSS Резервирование v.1
- 65. Async queue bphotos Local FS Main partition Backup partition Fiber Storage Area Network Fiber Storage Area Network Buffer partition ! NO DATA LOSS ! POINT OF FAILURE Резервирование v.1
- 66. Async queue bphotos Local FS Main partition Backup partition Fiber Storage Area Network Fiber Storage Area Network Buffer partition ! NO DATA LOSS ! POINT OF FAILURE ! MAINTENANCE Резервирование v.1
- 67. Dphotos Async queue bphotos Local FS Main partition Backup partition Fiber Storage Area Network Fiber Storage Area Network Buffer partition
- 68. Dphotos Async queue bphotos Local FS Main partition Backup partition Buffer partition
- 69. Dphotos Async queue bphotos Local FS Main partition Backup partition Buffer partition
- 70. Dphotos dphotosN Buffer partition Main partition dphotosN+1 Buffer partition Main partition
- 71. Dphotos dphotosN Async queue Buffer partition Main partition dphotosN+1 Buffer partition Main partition
- 72. Dphotos. Upload Async queue dphotosN dphotosN+1Round robin + health checks Load balancer
- 73. Dphotos. Отдача photoscache Async queue dphotosN dphotosN+1Round robin + health checks
- 74. Dphotos. Отдача photoscache Async queue dphotosN dphotosN+1 HIT Round robin + health checks
- 75. Dphotos. Отдача Async queue dphotosN dphotosN+1 MISS Round robin + health checks photoscache
- 76. Dphotos. Отдача Async queue dphotosN dphotosN+1 MISS Round robin + health checks photoscache
- 77. Dphotos. Отказоустойчивость dphotosN Async queue Buffer partition Main partition dphotosN+1 Buffer partition Main partition
- 78. Dphotos. Отказоустойчивость dphotosN Async queue Buffer partition Main partition dphotosN+1 Buffer partition Main partition
- 79. Dphotos. Отказоустойчивость dphotosN Async queue Buffer partition Main partition dphotosN+1 Buffer partition Main partition
- 80. Dphotos. Отказоустойчивость dphotosN Async queue Buffer partition Main partition dphotosN+1 Buffer partition Main partition
- 82. Dphotos. Результаты - Отказоустойчивость - Простая эксплуатация
- 83. Dphotos. Результаты - Отказоустойчивость - Простая эксплуатация - Двойной запас по чтению
- 84. Dphotos. Результаты - Отказоустойчивость - Простая эксплуатация - Двойной запас по чтению - Сложность разработки
- 85. Dphotos. Результаты - Отказоустойчивость - Простая эксплуатация - Двойной запас по чтению - Сложность разработки Так хранить локально — это хорошо или плохо? - Проще в эксплуатации
- 86. Dphotos. Результаты - Отказоустойчивость - Простая эксплуатация - Двойной запас по чтению - Сложность разработки Так хранить локально — это хорошо или плохо? - Проще в эксплуатации - Производительнее
- 87. Dphotos. Результаты - Отказоустойчивость - Простая эксплуатация - Двойной запас по чтению - Сложность разработки Так хранить локально — это хорошо или плохо? - Проще в эксплуатации - Производительнее - В 1.5 раза дороже, чем SAN
- 88. Итоги
- 89. Итоги
- 92. Итоги photoscache dphotos CDN Storage layer
- 93. Итоги photoscache dphotos CDN Storage layer Local drives
- 94. Итоги photoscache dphotos Storage Area Network CDN Storage layer Local drives
- 95. Итоги - А надо ли улучшать? Сначала измерь
- 96. Итоги - А надо ли улучшать? Сначала измерь http://pinba.org
- 97. Итоги - А надо ли улучшать? Сначала измерь http://pinba.org - Чтение -> кэш - Запись -> шардинг
- 98. Итоги - А надо ли улучшать? Сначала измерь http://pinba.org - Чтение -> кэш - Запись -> шардинг - Immutable фотки
- 99. Итоги - А надо ли улучшать? Сначала измерь http://pinba.org - Чтение -> кэш - Запись -> шардинг - Immutable фотки - Resize на лету
- 100. Итоги - А надо ли улучшать? Сначала измерь http://pinba.org - Чтение -> кэш - Запись -> шардинг - Immutable фотки - Resize на лету - Инкрементальные асинхронные бэкапы - это хорошо
- 101. Итоги - А надо ли улучшать? Сначала измерь http://pinba.org - Чтение -> кэш - Запись -> шардинг - Immutable фотки - Resize на лету - Инкрементальные асинхронные бэкапы - это хорошо - Если что-то может сломаться - оно сломается