Доклад Валерия Старынина на DevConf 2014. "StatsCollector, или "Мама! Он и меня посчитал!"
•
3 gefällt mir•415,994 views
Рассказываем о том, как мы в Badoo собираем статистику для каждого пользователя, обсчитываем каждое открытие страницы (и не только!), обрабатываем 120000 событий в секунду и планируем расширяться. А также: - как собирать события с тысяч серверов; - как правильно распределять их для обработки на несколько серверов; - как устроена система сбора простых логов и агрегированной статистики в Badoo; - какие есть перспективы развития системы. Доклад будет интересен любому человеку, который хочет построить подобную систему распределенного сбора и перераспределения статистики.
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (19)
Andere mochten auch
Andere mochten auch (20)
Ähnlich wie Доклад Валерия Старынина на DevConf 2014. "StatsCollector, или "Мама! Он и меня посчитал!"
Ähnlich wie Доклад Валерия Старынина на DevConf 2014. "StatsCollector, или "Мама! Он и меня посчитал!" (20)
Mehr von Badoo Development
Mehr von Badoo Development (20)
Доклад Валерия Старынина на DevConf 2014. "StatsCollector, или "Мама! Он и меня посчитал!"
- 1. StatsCollector, или "Мама! Он и меня посчитал!" Старынин Валерий, Badoo.
- 2. В докладе будет рассказано: • как собирать события с тысяч серверов • как правильно распределять их для обработки на несколько серверов • как устроена система сбора простых логов и агрегированной статистики в Badoo • какие есть перспективы развития системы
- 3. Badoo это • Социальная сеть для поиска новых друзей • 200 млн. зарегистрированных пользователей • Работаем во всех странах мира • Мобильные приложения под Android, iOS, Windows, BlackBerry. А так же Wap и HTML5 версии • 2,5 датацентра: в Европе, Америке и Азии • Более 3 000 серверов
- 4. Событие в статистике - что это такое? • Действия пользователей • Действия модераторов • Действия скриптов • Ошибки • Отчеты о выполнении
- 5. Старая система сбора статистики USA Europe
- 6. StatsCollector • Структура • Типы данных • Варианты отчетов • Возможности • Мониторинг
- 7. Выбираем транспорт. Scribe! • Берет доставку на себя • Умеет перенаправлять куда нужно • Умеет делить потоки • Умеет резервировать • Наши C-шники могут поддерживать
- 12. Роутер и точка назначения Scribe- роутер Scribe Scribe Scribe Scribe
- 14. События и отчеты • Событие — источник данных • Отчет — результат сбора данных • 1 событие — много отчетов • Типы отчетов (логи, 2 вида агрегации) • Автоматика в базах данных
- 15. Отправка события
- 16. Конфиг отчета - лога
- 17. Отчет - лог ts method platform_id hostname ts_db 2014-06-01 00:00:10 FastEvent 2 scripts15.ulan 2014-06-01 00:00:26 2014-06-01 00:00:22 FastEvent 2 scripts45.ulan 2014-06-01 00:00:48 2014-06-01 00:01:03 FastEvent 1 scripts6.mlan 2014-06-01 00:01:14 2014-06-01 00:01:03 LocalFastEvent 1 scripts6.mlan 2014-06-01 00:01:22 2014-06-01 00:01:10 FastEvent 2 scripts44.ulan 2014-06-01 00:01:39 2014-06-01 00:01:28 FastEvent 1 scripts47.mlan 2014-06-01 00:01:39 2014-06-01 00:01:28 LocalFastEvent 1 scripts47.mlan 2014-06-01 00:01:48 2014-06-01 00:01:33 FastEvent 2 scripts31.ulan 2014-06-01 00:02:05 2014-06-01 00:01:40 FastEvent 2 scripts17.ulan 2014-06-01 00:02:05
- 18. Конфиг отчета - статистики
- 19. Отчет - статистика ts interface interface2 country_from country_to type count 2011-04-04 12:00:00 comet comet 13 13 read 10933 2011-04-04 13:00:00 comet comet 13 13 read 1698 2011-04-04 12:00:00 comet comet 13 13 send 9637 2011-04-04 13:00:00 comet comet 13 13 send 1168 2011-04-04 12:00:00 comet comet 13 19 read 6 2011-04-04 13:00:00 comet comet 13 19 read 2 2011-04-04 12:00:00 comet comet 13 19 send 3 2011-04-04 13:00:00 comet comet 13 19 send 1 2011-04-04 12:00:00 comet comet 19 13 read 1 2011-04-04 12:00:00 comet comet 19 13 send 1 Primary key
- 21. Отчет - multicounter ts country_id gender partner_id message_photo_ abuse_deleted message_photo_ab use_inappropriate message_photo_ abuse_ spam 2014-04-17 14:31:00 50 2 1 1 0 0 2014-04-17 14:49:00 13 2 1 1 0 0 2014-04-17 15:08:00 13 2 1 0 1 0 2014-04-17 15:11:00 50 1 1 1 0 0 2014-04-17 15:25:00 13 1 1 1 0 0 2014-04-17 15:31:00 50 2 1 1 0 0 2014-04-17 15:34:00 50 1 1 1 0 0 2014-04-17 15:48:00 50 2 1 1 0 0 2014-04-17 15:57:00 50 2 1 2 0 0 2014-04-17 16:02:00 50 1 1 1 0 0 Primary key
- 22. Автоматика в БД • В имени таблицы должна быть дата • Таблицу надо не забыть создать • А что, если надо поменять типы/набор данных? • А можно ли подчищать старые данные?
- 23. Автоматика в БД - пример
- 24. Увеличение объемов данных • Больше пользователей, больше критериев — больше данных! • Разбор данных из файлов — можно распараллелить • Доставка данных в БД — в несколько потоков
- 25. А почему все так медленно? • Промежуточная агрегация — теряем 10 минут • Графики нужно строить оперативно • Вообще хочется быстрее!
- 26. FastStats • Ускоряем доставку до <30 секунд • Делаем все на файлах • Транзакции и файлы — это реально! • Полностью прозрачный переход к новому
- 27. FastStats Scribe
- 28. Мониторинг • Работоспособность Scribe'ов • Количество файлов во временных хранилищах • Количество неразобранных файлов • Количество временных таблиц • Количество файлов по отчетам • Скорость вставки в базы
- 32. Цифры • 120 000 событий в секунду • Собираем с 3 000 серверов • 300 отчетов • 4 сервера-роутера и 4 сервера для StatsCollector'а