Каждый день на Яндекс.Диск заливается более десятка терабайт данных. Из доклада вы узнаете про то, как справиться с такой нагрузкой, и про другие интересные архитектурные особенности сервиса.

1. Архитектура загрузчика
Яндекс.Диска
Александр Киракозов,
руководитель группы разработки
Я.Cубботник в Санкт-Петербурге, 1 декабря 2012

2. Яндекс.Диск — это...
• Бесплатный сервис для хранения и работы с файлами и
личной информацией пользователя
• Интерфейс для обмена файлами и совместной работы с
ними
• Просмотр офисных документов и прослушивание музыки
• Тесная интеграция с сервисами Яндекса (Почта, Народ)
2

3. Архитектура Яндекс.Диска
Web Users Web UI
Почта
Applications API
uploader, downloader, API Mpfs API Народ
viewer
API
desktop Что угодно
mobile WebDAV
что угодно
3

4. Архитектура загрузчика
local
queue
client data
uploader
storage
webdav
web UI mpfs meta
storage
Кодовое название “Кладун”
4

5. Задачи загрузчика
Загрузить файл:
• от пользователя
• с другого сервиса Яндексa
• на другой сервис Яндекса
5

6. Стадии задач
• Загрузить файл локально
• Подсчитать хеш
• Загрузить файл в сторадж
• Отправить статус загрузки в mpfs
• Создать превьюшки
• Проверить на вирусы
• ...
6

7. Состояние стадий
success
In progress initial Temp fail
fail
7

8. Настройки стадий
• Время выполнения
• Политики времени выполнения повторов
• Обязательность успешного выполнения
• Максимальное число одинаковых
парралельно выполняющихся стадий
8

9. Дедупликация данных
12% файлов не загружается заново
9

10. Докачка файлов
Только не дисконнект!!!
10

11. Загрузка изменений патчами
Отредактированный файл не будет
заливаться целиком
11

12. Ежедневные загрузки в Мб
12

13. Немного статистики
●
каждый день заливается около 3 млн файлов
●
уже загрузили 1,5 петабайта данных
13

14. Загрузчик в Яндекс.Видео
использует ту же технологию
14

15. Еще больше интересного про Яндекс.Диск
●
«Архитектура сервиса Яндекс.Диск. Замыслы и реальность»,
Владимир Русинов. Минск, 2 июня 2012 года
http://bit.ly/V4V6vG
●
«Яндекс.Диск: архитектура, синхронизация и многое другое»,
Владимир Русинов, Алексей Капранов. Москва, 28 июля 2012 года
http://bit.ly/VfFnjz
●
API Яндекс.Диска
http://api.yandex.ru/disk/
15

16. Киракозов Александр
Руководитель группы
разработки
akirakozov@yandex-team.ru
@kirakozov