1. Распределенное
файловое
хранилище
(Nginx, Perl, ZFS)
Mons Anderson
Олег Мамонтов

2. NAS, SAN or custom?
SAN: FC/iSCSI
NAS: NFS/CIFS/...
Custom: *
Mons Anderson
Олег Мамонтов

3. Что нам нужно?
– отдавать данные
– по протоколу HTTP
Mons Anderson
Олег Мамонтов

4. HTTP это nginx ;)
Mons Anderson
Олег Мамонтов

5. Что нам нужно?
User → nginx → SAN ?
User → nginx → NAS ?
User → nginx → nginx ?
Mons Anderson
Олег Мамонтов

6. Стоимость решений
Nginx: $
NAS: $$
SAN: $$$$$$$
Mons Anderson
Олег Мамонтов

7. Наше хранилище
8 U, 24Tb
4 x ( 2U, 6Tb ( 2+10 Tb raw )
4 x redundancy
for each file
Mons Anderson
Олег Мамонтов

8. Что нам нужно от хранилища?
CRUD!
(Create, Read, Update, Delete )
Mons Anderson
Олег Мамонтов

9. Что нам нужно от хранилища?
Read → HTTP
C, U, D → ?
Mons Anderson
Олег Мамонтов

10. Что нам нужно от хранилища?
Read → HTTP
C, U, D → HTTP!
Mons Anderson
Олег Мамонтов

11. WebDAV
– Простой
– Прозрачный
– Поддерживаемый в nginx*
– Легко реализуемый
Mons Anderson
Олег Мамонтов

12. * WebDAV + ACL
Patch:
– X-ACL: 0644
– X-Time: 1234567890
Mons Anderson
Олег Мамонтов

13. Step by step: Front
nginx
Mons Anderson
Олег Мамонтов

14. Front
nginx
Mons Anderson
Олег Мамонтов

15. Front
nginx
CARP nginx
Mons Anderson
Олег Мамонтов

16. Front
nginx
CARP nginx
Mons Anderson
Олег Мамонтов

17. Storage
storage
N/2
N Tb =
storage
N/2
Mons Anderson
Олег Мамонтов

18. Storage
N Tb
storage
Front hash
storage
Mons Anderson
Олег Мамонтов

19. Storage
N Tb
storage
Front hash
storage
Mons Anderson
Олег Мамонтов

20. Storage
storage
storage
Front hash
storage
storage
Mons Anderson
Олег Мамонтов

21. Storage
storage
storage
Front hash
storage
storage
Mons Anderson
Олег Мамонтов

22. Resizer
storage
storage
image_filter()
Front hash
storage
storage
image_filter()
Mons Anderson
Олег Мамонтов

23. Resizer
storage
storage
Front hash
image_filter()
Low
storage
storage CPU
image_filter()
Mons Anderson
Олег Мамонтов

24. Resizer
storage
storage
Resize
Front Resize
Resize storage
storage
Mons Anderson
Олег Мамонтов

25. Hashing
storage
storage
Resize
Front Hash Resize
Resize ? storage
storage
Mons Anderson
Олег Мамонтов

26. Hashing
storage
storage
Resize
Resize
Resize
ScaleHash(time,id)
storage
storage
Mons Anderson
Олег Мамонтов

27. Hashing
URL: http://…/ObjectID
ObjectID = (xxx)-(xxx)-…
ID Time
Mons Anderson
Олег Мамонтов

28. Hashing
a
b c
d
e
past start upgrade over future
Timeline
0x0FFF
0x00FF
0x02FF
0x0000
0x0010
Mons Anderson
Олег Мамонтов

29. Hashing
TimeHash(Time) {
0x0000 - 0x00FF [ a, b ]
0x00FF - 0x02FF [ a, c, d ]
0x02FF - 0x0FFF [ c, d ]
0x0FFF - 0xFFFF [ f ]
} groups
Mons Anderson
Олег Мамонтов

30. Hashing
IDHash(ID, groups) group
Mons Anderson
Олег Мамонтов

31. Hashing
TimeHash(const Time) = const
IDHash(const ID, groups) = const
Mons Anderson
Олег Мамонтов

32. Access Control
ID
storage
ACLD
storage
group ACLD
Perl: DB
- AnyEvent::HTTPD
- AnyEvent::HTTP
- AnyEvent::DBI Mons Anderson
Олег Мамонтов

33. Access Control: Public object
→ GET /XXX
Perl handler (check perms)
← 200 OK
Mons Anderson
Олег Мамонтов

34. Access Control: Protected object
GET /XXX
Perl handler
X-Accel-Redirect: /access/...
GET /access/...
proxy_pass http://ACLD
X-Accel-Redirect: /int/..
GET /int/..
200 OK Mons Anderson
Олег Мамонтов

35. Result?
Front
Front Resize Storage ACL
Mons Anderson
Олег Мамонтов

36. 2+2=4, 2+2=4, 2+2=4, …
Front
Front !
Resize Storage ACL
CPU
Cache?
Mons Anderson
Олег Мамонтов

37. Cache…
Front
Front Cache Resize Storage ACL
Mons Anderson
Олег Мамонтов

38. Cache is a problem :(
Front
Front Cache Resize Storage ACL
Mons Anderson
Олег Мамонтов

39. Front Cache Resize Storage ACLD
/i /source/ /source /source/
/i/AxB /i/AxB
proxy: ?q=/i/AxB handler() ?q=/i/AxB
//storage XAccel: /cache/i/AxB+
(mtime:ctime:status)
200 OK /i /source/ /source/
HIT /i/AxB+
proxy: ?q=/i/AxB+ ?q=/i/AxB+
//cache /source
handler() XAccel: /int
/cache /i
proxy: proxy://store
//resize resize()
cache
200 OK 200 OK 200 OK 200 OK /internal
store Mons Anderson
Олег Мамонтов

40. Combine?
Front
Front Cache Resize Storage ACL
MEM CPU HDD
Mons Anderson
Олег Мамонтов

41. Combined! Money are saved :)
Deployed on same hosts
Front
Front Cache Resize Storage ACL
Full resource consumption
Mons Anderson
Олег Мамонтов

42. Combined, but scalable!
Cache Resize Storage
cluster cluster cluster
Front
Front Cache Resize Storage ACL
Cache Resize Storage
+ + +
MEM CPU HDD Mons Anderson
Олег Мамонтов

43. Create, Update, Delete?
Storage group
GET storage
PUT
GET storage DELETE
OPTIONS
Mons Anderson
Олег Мамонтов

44. Temporary loss
Storage group
GET storage
PUT
GET storage DELETE
OPTIONS
Mons Anderson
Олег Мамонтов

45. Flashing error
Storage group
GET storage
GET storage
Mons Anderson
Олег Мамонтов

46. No file? Ask a friend!
Storage group
GET storage
404
GET storage
fallback
proxy_pass
Mons Anderson
Олег Мамонтов

47. 404 Fallback: avoiding recursion
Storage group
GET storage ask
next…
unless storage
asked
Mons Anderson
Олег Мамонтов

48. 404 Fallback
Storage group
Just...
storage
proxy_next_upstream
http_404
storage
Mons Anderson
Олег Мамонтов

49. Again about PUT
Storage group
storage
PUT
storage
Mons Anderson
Олег Мамонтов

50. How about single PUT?
Storage group
storage
PUT
ZFS
storage DELETE
«replication»
OPTIONS
Mons Anderson
Олег Мамонтов

51. Приоритеты выбора решения
● Надежность / избыточность хранения
● Производительность чтения и записи
● Возможность распределения нагрузки
● Потенциальная масштабируемость
● Стандартные аппаратные компоненты
● Простота в настройке и обслуживании
Mons Anderson
Олег Мамонтов

52. Традиционная работа с диском
Файловая система
Имя <=> объект (inode)
Файловая система
объект <=> LBA тома
Менеджер томов
LBA тома <=> LBA RAID
RAID контроллер
LBA RAID <=> LBA диска
Дисковые устройства
Mons Anderson
Олег Мамонтов

53. Rampant layering violation ;)
Файловая система (zfs)
Модель агрегации (zpool)
Дисковые устройства
Mons Anderson
Олег Мамонтов

54. stripe / mirror / raidz / ?
stripe – быстро, дешево, ненадежно
mirror – быстро, надежно, дорого
raidz – относительно надежно, недорого, медленно :(
Mons Anderson
Олег Мамонтов

55. Универсального решения нет :(
Дано: 100 дисков по 100GB, 200 IOPS
Конфигурация Объем, GB IOPS
stripe 1 x 100 10000 20000
mirror 2 x 50 5000 20000
raidz 1 x ( 99 + 1 ) 9900 200
raidz 5 x ( 19 + 1 ) 9500 1000
raidz 33 x ( 2 + 1 ) 6600 6600
Mons Anderson
Олег Мамонтов

56. Наше хранилище — 6TB / 2U
2U: 2 x 500MB + 10 x 1TB, SATA-2
mirror raidz1 raidz1 raidz1 spare
stripe
Mons Anderson
Олег Мамонтов

57. Будущее уже наступило!
snapshot
мгновенный снимок
(cow - быстро, дешево)
Mons Anderson
Олег Мамонтов

58. Будущее уже наступило!
rollback
откат файловой системы
на заданный снимок
Mons Anderson
Олег Мамонтов

59. Будущее уже наступило!
clone
“альтернативная реальность”
(ветка из снимка)
Mons Anderson
Олег Мамонтов

60. Будущее уже наступило!
send
дамп снимка
(полный или разностный)
Mons Anderson
Олег Мамонтов

61. Будущее уже наступило!
receive
воссоздание
снимка из дампа
Mons Anderson
Олег Мамонтов

62. “Почти” репликация
1. Создание мгновенного снимка (snapshot)
2. Получение инкрементального дампа (send)
3. Пересылка дампа на целевую машину (socketpipe)
4. Восстановление дампа на целевой машине (receive)
5. Создание клона файловой системы (clone)
6. Переустановка символической ссылки (link -fhs)
7. sleep && goto п.1;
Mons Anderson
Олег Мамонтов

63. Неочевидные нюансы
Зачем нужны клоны и
символические ссылки?
Mons Anderson
Олег Мамонтов

64. Неочевидные нюансы
Удаление старых
снимков и клонов
Mons Anderson
Олег Мамонтов

65. Неочевидные нюансы
● Минимизация лага репликации
● Мониторинг актуальности
● Уникальные имена файлов при обновлениях
● Двухуровневое кеширование
Mons Anderson
Олег Мамонтов

66. © 2011
Mons Anderson <mons@cpan.org>
Олег Мамонтов <lonerr@cpan.org>
Рамблер Интернет Холдинг
Mons Anderson
Олег Мамонтов

67. ?
Mons Anderson
Олег Мамонтов