Suche senden
Hochladen
CodeFest 2014. Круглов И. — События на каждом углу. Путешествие в мир системных сообщений Booking.com
•
Als PPSX, PDF herunterladen
•
0 gefällt mir
•
8,429 views
CodeFest
Folgen
Internet
Melden
Teilen
Melden
Teilen
1 von 44
Jetzt herunterladen
Empfohlen
Эволюция php code coverage в Badoo. Доклад Ильи Агеева на LoveQA РИТ.
Эволюция php code coverage в Badoo. Доклад Ильи Агеева на LoveQA РИТ.
Badoo Development
Использование Hadoop в Badoo, Валерий Старынин (Badoo)
Использование Hadoop в Badoo, Валерий Старынин (Badoo)
Ontico
Последние новости постгреса с PGCon / О.Бартунов, А.Коротков, Ф.Сигаев (Postg...
Последние новости постгреса с PGCon / О.Бартунов, А.Коротков, Ф.Сигаев (Postg...
Ontico
Сага о кластере. Все что вы хотели знать про горизонтальное масштабирование в...
Сага о кластере. Все что вы хотели знать про горизонтальное масштабирование в...
Ontico
Реалтайм статистика скорости работы нативных и веб-приложений у реальных поль...
Реалтайм статистика скорости работы нативных и веб-приложений у реальных поль...
Ontico
Эволюция клиентской разработки: от веба ко "всеобщей мобилизации” или mobile-...
Эволюция клиентской разработки: от веба ко "всеобщей мобилизации” или mobile-...
Pavel Dovbush
Docker & Puppet: как их скрестить и надо ли вам это?
Docker & Puppet: как их скрестить и надо ли вам это?
Anton Turetsky
Управление памятью в CPython
Управление памятью в CPython
Anton Patrushev
Empfohlen
Эволюция php code coverage в Badoo. Доклад Ильи Агеева на LoveQA РИТ.
Эволюция php code coverage в Badoo. Доклад Ильи Агеева на LoveQA РИТ.
Badoo Development
Использование Hadoop в Badoo, Валерий Старынин (Badoo)
Использование Hadoop в Badoo, Валерий Старынин (Badoo)
Ontico
Последние новости постгреса с PGCon / О.Бартунов, А.Коротков, Ф.Сигаев (Postg...
Последние новости постгреса с PGCon / О.Бартунов, А.Коротков, Ф.Сигаев (Postg...
Ontico
Сага о кластере. Все что вы хотели знать про горизонтальное масштабирование в...
Сага о кластере. Все что вы хотели знать про горизонтальное масштабирование в...
Ontico
Реалтайм статистика скорости работы нативных и веб-приложений у реальных поль...
Реалтайм статистика скорости работы нативных и веб-приложений у реальных поль...
Ontico
Эволюция клиентской разработки: от веба ко "всеобщей мобилизации” или mobile-...
Эволюция клиентской разработки: от веба ко "всеобщей мобилизации” или mobile-...
Pavel Dovbush
Docker & Puppet: как их скрестить и надо ли вам это?
Docker & Puppet: как их скрестить и надо ли вам это?
Anton Turetsky
Управление памятью в CPython
Управление памятью в CPython
Anton Patrushev
Чем заняться вечером, если я знаю сколько будет ++i + ++i / Андрей Бородин (Y...
Чем заняться вечером, если я знаю сколько будет ++i + ++i / Андрей Бородин (Y...
Ontico
Доклад Валерия Старынина на DevConf 2014. "StatsCollector, или "Мама! Он и ме...
Доклад Валерия Старынина на DevConf 2014. "StatsCollector, или "Мама! Он и ме...
Badoo Development
Ровная балансировка нагрузки на фронтенд-кластере
Ровная балансировка нагрузки на фронтенд-кластере
Badoo Development
С чего начать внедрение Hadoop в компании. Доклад Алексея Еремихина (Badoo).
С чего начать внедрение Hadoop в компании. Доклад Алексея Еремихина (Badoo).
Badoo Development
Юрий Насретдинов, Badoo
Юрий Насретдинов, Badoo
Ontico
pgconf.ru 2015 avito postgresql
pgconf.ru 2015 avito postgresql
Михаил Тюрин
Near-realtime аналитика событий в высоконагруженном проекте
Near-realtime аналитика событий в высоконагруженном проекте
Alexandr Krasheninnikov
Дмитрий Лазаренко-«Живая миграция и отказоустойчивость контейнеров в гибридно...
Дмитрий Лазаренко-«Живая миграция и отказоустойчивость контейнеров в гибридно...
Tanya Denisyuk
WebCamp: Developer Day: N2O: The Most Powerful Erlang Web Framework - Максим ...
WebCamp: Developer Day: N2O: The Most Powerful Erlang Web Framework - Максим ...
GeeksLab Odessa
101 способ приготовления RabbitMQ и немного о pipeline архитектуре / Филонов ...
101 способ приготовления RabbitMQ и немного о pipeline архитектуре / Филонов ...
Ontico
Скорость с доставкой до пользователя
Скорость с доставкой до пользователя
Anatoliy Orlov
Как обслужить 60 миллионов абонентов, Артем Руфанов (ПЕТЕР-СЕРВИС)
Как обслужить 60 миллионов абонентов, Артем Руфанов (ПЕТЕР-СЕРВИС)
Ontico
Anton Turetckii "What does it take to build a host?"
Anton Turetckii "What does it take to build a host?"
Fwdays
Avito Stachka 2012
Avito Stachka 2012
Roman Pavlushko
Загрузка больших объемов данных для бизнес-аналитики
Загрузка больших объемов данных для бизнес-аналитики
Badoo Development
мониторинг производительности Web приложений на python
мониторинг производительности Web приложений на python
Slach
AVITO. Решардинг Redis без даунтайма. DevConf 2012
AVITO. Решардинг Redis без даунтайма. DevConf 2012
Roman Pavlushko
"Успеть за 100 миллисекунд: контекстная реклама на Sphinx" Дмитрий Хасанов (...
"Успеть за 100 миллисекунд: контекстная реклама на Sphinx" Дмитрий Хасанов (...
AvitoTech
"Мы два месяца долбались, а потом построили индекс" (c) Аксенов
"Мы два месяца долбались, а потом построили индекс" (c) Аксенов
Alex Chistyakov
Near-realtime аналитика событий в высоконагруженном проекте
Near-realtime аналитика событий в высоконагруженном проекте
Badoo Development
Near-realtime аналитика событий в высоконагруженном проекте
Near-realtime аналитика событий в высоконагруженном проекте
Yulia Kotova
Near-realtime аналитика событий в высоконагруженном проекте / Александр Краше...
Near-realtime аналитика событий в высоконагруженном проекте / Александр Краше...
Ontico
Weitere ähnliche Inhalte
Was ist angesagt?
Чем заняться вечером, если я знаю сколько будет ++i + ++i / Андрей Бородин (Y...
Чем заняться вечером, если я знаю сколько будет ++i + ++i / Андрей Бородин (Y...
Ontico
Доклад Валерия Старынина на DevConf 2014. "StatsCollector, или "Мама! Он и ме...
Доклад Валерия Старынина на DevConf 2014. "StatsCollector, или "Мама! Он и ме...
Badoo Development
Ровная балансировка нагрузки на фронтенд-кластере
Ровная балансировка нагрузки на фронтенд-кластере
Badoo Development
С чего начать внедрение Hadoop в компании. Доклад Алексея Еремихина (Badoo).
С чего начать внедрение Hadoop в компании. Доклад Алексея Еремихина (Badoo).
Badoo Development
Юрий Насретдинов, Badoo
Юрий Насретдинов, Badoo
Ontico
pgconf.ru 2015 avito postgresql
pgconf.ru 2015 avito postgresql
Михаил Тюрин
Near-realtime аналитика событий в высоконагруженном проекте
Near-realtime аналитика событий в высоконагруженном проекте
Alexandr Krasheninnikov
Дмитрий Лазаренко-«Живая миграция и отказоустойчивость контейнеров в гибридно...
Дмитрий Лазаренко-«Живая миграция и отказоустойчивость контейнеров в гибридно...
Tanya Denisyuk
WebCamp: Developer Day: N2O: The Most Powerful Erlang Web Framework - Максим ...
WebCamp: Developer Day: N2O: The Most Powerful Erlang Web Framework - Максим ...
GeeksLab Odessa
101 способ приготовления RabbitMQ и немного о pipeline архитектуре / Филонов ...
101 способ приготовления RabbitMQ и немного о pipeline архитектуре / Филонов ...
Ontico
Скорость с доставкой до пользователя
Скорость с доставкой до пользователя
Anatoliy Orlov
Как обслужить 60 миллионов абонентов, Артем Руфанов (ПЕТЕР-СЕРВИС)
Как обслужить 60 миллионов абонентов, Артем Руфанов (ПЕТЕР-СЕРВИС)
Ontico
Anton Turetckii "What does it take to build a host?"
Anton Turetckii "What does it take to build a host?"
Fwdays
Avito Stachka 2012
Avito Stachka 2012
Roman Pavlushko
Загрузка больших объемов данных для бизнес-аналитики
Загрузка больших объемов данных для бизнес-аналитики
Badoo Development
мониторинг производительности Web приложений на python
мониторинг производительности Web приложений на python
Slach
AVITO. Решардинг Redis без даунтайма. DevConf 2012
AVITO. Решардинг Redis без даунтайма. DevConf 2012
Roman Pavlushko
"Успеть за 100 миллисекунд: контекстная реклама на Sphinx" Дмитрий Хасанов (...
"Успеть за 100 миллисекунд: контекстная реклама на Sphinx" Дмитрий Хасанов (...
AvitoTech
Was ist angesagt?
(18)
Чем заняться вечером, если я знаю сколько будет ++i + ++i / Андрей Бородин (Y...
Чем заняться вечером, если я знаю сколько будет ++i + ++i / Андрей Бородин (Y...
Доклад Валерия Старынина на DevConf 2014. "StatsCollector, или "Мама! Он и ме...
Доклад Валерия Старынина на DevConf 2014. "StatsCollector, или "Мама! Он и ме...
Ровная балансировка нагрузки на фронтенд-кластере
Ровная балансировка нагрузки на фронтенд-кластере
С чего начать внедрение Hadoop в компании. Доклад Алексея Еремихина (Badoo).
С чего начать внедрение Hadoop в компании. Доклад Алексея Еремихина (Badoo).
Юрий Насретдинов, Badoo
Юрий Насретдинов, Badoo
pgconf.ru 2015 avito postgresql
pgconf.ru 2015 avito postgresql
Near-realtime аналитика событий в высоконагруженном проекте
Near-realtime аналитика событий в высоконагруженном проекте
Дмитрий Лазаренко-«Живая миграция и отказоустойчивость контейнеров в гибридно...
Дмитрий Лазаренко-«Живая миграция и отказоустойчивость контейнеров в гибридно...
WebCamp: Developer Day: N2O: The Most Powerful Erlang Web Framework - Максим ...
WebCamp: Developer Day: N2O: The Most Powerful Erlang Web Framework - Максим ...
101 способ приготовления RabbitMQ и немного о pipeline архитектуре / Филонов ...
101 способ приготовления RabbitMQ и немного о pipeline архитектуре / Филонов ...
Скорость с доставкой до пользователя
Скорость с доставкой до пользователя
Как обслужить 60 миллионов абонентов, Артем Руфанов (ПЕТЕР-СЕРВИС)
Как обслужить 60 миллионов абонентов, Артем Руфанов (ПЕТЕР-СЕРВИС)
Anton Turetckii "What does it take to build a host?"
Anton Turetckii "What does it take to build a host?"
Avito Stachka 2012
Avito Stachka 2012
Загрузка больших объемов данных для бизнес-аналитики
Загрузка больших объемов данных для бизнес-аналитики
мониторинг производительности Web приложений на python
мониторинг производительности Web приложений на python
AVITO. Решардинг Redis без даунтайма. DevConf 2012
AVITO. Решардинг Redis без даунтайма. DevConf 2012
"Успеть за 100 миллисекунд: контекстная реклама на Sphinx" Дмитрий Хасанов (...
"Успеть за 100 миллисекунд: контекстная реклама на Sphinx" Дмитрий Хасанов (...
Ähnlich wie CodeFest 2014. Круглов И. — События на каждом углу. Путешествие в мир системных сообщений Booking.com
"Мы два месяца долбались, а потом построили индекс" (c) Аксенов
"Мы два месяца долбались, а потом построили индекс" (c) Аксенов
Alex Chistyakov
Near-realtime аналитика событий в высоконагруженном проекте
Near-realtime аналитика событий в высоконагруженном проекте
Badoo Development
Near-realtime аналитика событий в высоконагруженном проекте
Near-realtime аналитика событий в высоконагруженном проекте
Yulia Kotova
Near-realtime аналитика событий в высоконагруженном проекте / Александр Краше...
Near-realtime аналитика событий в высоконагруженном проекте / Александр Краше...
Ontico
Building the Enterprise infrastructure with PostgreSQL as the basis for stori...
Building the Enterprise infrastructure with PostgreSQL as the basis for stori...
PavelKonotopov
Reinventing the wheel - why do it and how to feel good about it - Julik Tarkh...
Reinventing the wheel - why do it and how to feel good about it - Julik Tarkh...
Ruby Meditation
Построение мультисервисного стартапа в реалиях full-stack javascript
Построение мультисервисного стартапа в реалиях full-stack javascript
FDConf
Build your own multistack JS startup
Build your own multistack JS startup
Артем Захарченко
Как ВКонтакте использует Go
Как ВКонтакте использует Go
Artem Kovardin
Олег Царев, Кирилл Коринский Сравнительный анализ хранилищ данных
Олег Царев, Кирилл Коринский Сравнительный анализ хранилищ данных
Siel01
My talk on HBase ops engineering at TBD Jun 2016
My talk on HBase ops engineering at TBD Jun 2016
Alex Chistyakov
Open Source SQL-базы данных вступили в эру миллионов запросов в секунду / Фед...
Open Source SQL-базы данных вступили в эру миллионов запросов в секунду / Фед...
Ontico
OpenSource SQL Databases Enter Millions Queries per Second Era
OpenSource SQL Databases Enter Millions Queries per Second Era
Sveta Smirnova
Дмитрий Носов, Rambler&Co, H2O на Spark: как мы пили газировку и чуть не захл...
Дмитрий Носов, Rambler&Co, H2O на Spark: как мы пили газировку и чуть не захл...
Mail.ru Group
Сергей Еланцев - Troubleshooting
Сергей Еланцев - Troubleshooting
Yandex
Быстрое прототипирование бэкенда игры с геолокацией на OpenResty, Redis и Doc...
Быстрое прототипирование бэкенда игры с геолокацией на OpenResty, Redis и Doc...
Ontico
Docker в Badoo: ПМЖ или временная регистрация
Docker в Badoo: ПМЖ или временная регистрация
Badoo Development
Docker integration into Badoo
Docker integration into Badoo
Anton Turetsky
My talk on Hadoop stack operations engineering at OSPCon
My talk on Hadoop stack operations engineering at OSPCon
Alex Chistyakov
Мониторинг, когда не тестируешь
Мониторинг, когда не тестируешь
Uptime Community
Ähnlich wie CodeFest 2014. Круглов И. — События на каждом углу. Путешествие в мир системных сообщений Booking.com
(20)
"Мы два месяца долбались, а потом построили индекс" (c) Аксенов
"Мы два месяца долбались, а потом построили индекс" (c) Аксенов
Near-realtime аналитика событий в высоконагруженном проекте
Near-realtime аналитика событий в высоконагруженном проекте
Near-realtime аналитика событий в высоконагруженном проекте
Near-realtime аналитика событий в высоконагруженном проекте
Near-realtime аналитика событий в высоконагруженном проекте / Александр Краше...
Near-realtime аналитика событий в высоконагруженном проекте / Александр Краше...
Building the Enterprise infrastructure with PostgreSQL as the basis for stori...
Building the Enterprise infrastructure with PostgreSQL as the basis for stori...
Reinventing the wheel - why do it and how to feel good about it - Julik Tarkh...
Reinventing the wheel - why do it and how to feel good about it - Julik Tarkh...
Построение мультисервисного стартапа в реалиях full-stack javascript
Построение мультисервисного стартапа в реалиях full-stack javascript
Build your own multistack JS startup
Build your own multistack JS startup
Как ВКонтакте использует Go
Как ВКонтакте использует Go
Олег Царев, Кирилл Коринский Сравнительный анализ хранилищ данных
Олег Царев, Кирилл Коринский Сравнительный анализ хранилищ данных
My talk on HBase ops engineering at TBD Jun 2016
My talk on HBase ops engineering at TBD Jun 2016
Open Source SQL-базы данных вступили в эру миллионов запросов в секунду / Фед...
Open Source SQL-базы данных вступили в эру миллионов запросов в секунду / Фед...
OpenSource SQL Databases Enter Millions Queries per Second Era
OpenSource SQL Databases Enter Millions Queries per Second Era
Дмитрий Носов, Rambler&Co, H2O на Spark: как мы пили газировку и чуть не захл...
Дмитрий Носов, Rambler&Co, H2O на Spark: как мы пили газировку и чуть не захл...
Сергей Еланцев - Troubleshooting
Сергей Еланцев - Troubleshooting
Быстрое прототипирование бэкенда игры с геолокацией на OpenResty, Redis и Doc...
Быстрое прототипирование бэкенда игры с геолокацией на OpenResty, Redis и Doc...
Docker в Badoo: ПМЖ или временная регистрация
Docker в Badoo: ПМЖ или временная регистрация
Docker integration into Badoo
Docker integration into Badoo
My talk on Hadoop stack operations engineering at OSPCon
My talk on Hadoop stack operations engineering at OSPCon
Мониторинг, когда не тестируешь
Мониторинг, когда не тестируешь
Mehr von CodeFest
Alexander Graebe
Alexander Graebe
CodeFest
Никита Прокопов
Никита Прокопов
CodeFest
Денис Баталов
Денис Баталов
CodeFest
Елена Гальцина
Елена Гальцина
CodeFest
Александр Калашников
Александр Калашников
CodeFest
Ирина Иванова
Ирина Иванова
CodeFest
Marko Berković
Marko Berković
CodeFest
Денис Кортунов
Денис Кортунов
CodeFest
Александр Зимин
Александр Зимин
CodeFest
Сергей Крапивенский
Сергей Крапивенский
CodeFest
Сергей Игнатов
Сергей Игнатов
CodeFest
Николай Крапивный
Николай Крапивный
CodeFest
Alexander Graebe
Alexander Graebe
CodeFest
Вадим Смирнов
Вадим Смирнов
CodeFest
Константин Осипов
Константин Осипов
CodeFest
Raffaele Rialdi
Raffaele Rialdi
CodeFest
Максим Пугачев
Максим Пугачев
CodeFest
Rene Groeschke
Rene Groeschke
CodeFest
Иван Бондаренко
Иван Бондаренко
CodeFest
Mete Atamel
Mete Atamel
CodeFest
Mehr von CodeFest
(20)
Alexander Graebe
Alexander Graebe
Никита Прокопов
Никита Прокопов
Денис Баталов
Денис Баталов
Елена Гальцина
Елена Гальцина
Александр Калашников
Александр Калашников
Ирина Иванова
Ирина Иванова
Marko Berković
Marko Berković
Денис Кортунов
Денис Кортунов
Александр Зимин
Александр Зимин
Сергей Крапивенский
Сергей Крапивенский
Сергей Игнатов
Сергей Игнатов
Николай Крапивный
Николай Крапивный
Alexander Graebe
Alexander Graebe
Вадим Смирнов
Вадим Смирнов
Константин Осипов
Константин Осипов
Raffaele Rialdi
Raffaele Rialdi
Максим Пугачев
Максим Пугачев
Rene Groeschke
Rene Groeschke
Иван Бондаренко
Иван Бондаренко
Mete Atamel
Mete Atamel
CodeFest 2014. Круглов И. — События на каждом углу. Путешествие в мир системных сообщений Booking.com
1.
События на каждом
углу: путешествие в мир системных сообщений Иван Круглов CodeFest 2014 29.03.2014
2.
?
3.
Мы выкладываем код
в продакшн без тестирования!!!
4.
несколько раз в
день!
5.
каждый день!
6.
ну, почти не
тестируем
7.
но тестировщики в
деплое не участвуют
8.
и это легально!
9.
9
10.
10
11.
git-deploymonitoring https://github.com/git-deploy
12.
Что делаем?! 12 max. 10-20 сек прием предостав ление данных хранение (1
неделя)
13.
Размер имеет значение 13 2009
2010 2011 2012 2013 2014
14.
real-time monitoring 14 hadoop hive A/B testing elastic search other magic box
15.
Содержимое события ● Свободная
структура ● Любые данные ● Например: ● тайминги, счетчики ● HTTP-request 15 { "__created_epoch__" => "1395410355.22336", "__dc__" => 4, "__dc_name__" => "ams4", "__listener_epoch__" => "1395410355", "__send_freeze_epoch__" => "1395410355.22908", "__type__" => "CRON", "__type_ordinal__" => 0, "__uuid__" => "7bacddc5b5ca480b9d00e6a8f078662e", "event_processing_monitors" => { "benchmark_data" => { "class_stats" => {}, "insert_time" => "1.40666961669922e-05", "lookup_time" => "6.00814819335938e-05", "processing_time" => "1.00135803222656e-05", "read_time" => "0.0494740009307861", "type" => "ME" }, "duration" => "0.145873069763184", "from_epoch" => "1395410346", "mother_pid" => 44525, "package" => "Bookings::Db::ME", "production" => 1, "q_cpu" => 0, "q_total" => 5, "q_wallclock" => "0.107249736785889", "records" => 0, "script" => “event_processor.pl", "start_epoch" => "1395410355.07741", "until_epoch" => "1395410352", "vmsize" => 0, "worker" => 1, "workers" => 1 } }
16.
Почему UDP? ● Отправил
и забыл ● Ограничения: ● пакет может быть потерян ● max size 64KB ● Теряем 0,1 – 0,5 % 16
17.
17 отправители клиенты UDP TCP listener provider UDP TCP
18.
18 отправители клиенты UDP TCP 1396000015 1396000016 1396000017
1396000018 … time …
19.
19 отправители UDPUDP
20.
20 отправители UDP UDP
21.
21 tдоставки = 2xtдоставки
= 1x t1 <> t2 отправители
22.
22 time
23.
23
24.
24 отправители клиенты
25.
25 отправители клиентыклиенты
26.
listener 26 отправители клиенты provider UDP TCP UDP TCP listener 10 MB/sec 70 MB/sec
27.
27 клиенты multiplexer
28.
28 клиенты multiplexer DC2DC1
29.
29 клиенты клиенты отправи тели отправи тели multiplexer multiplexer DC2DC1 UDPUDP
30.
Network storage ● GFS2
(Global File System 2) 30
31.
31
32.
Network storage ● GFS2
(Global File System 2) ● зависала, выпадали ноды ● медленные мета-операции ● NFS ● работает, проверено, медленно 32
33.
33
34.
Замена NFS ● Сетевая
ФС ● HDFS ● NoSQL ● Riak, Cassandra, HBase ● key – секунда, value – события за секунду ● Другое, главное, чтобы масштабировалось 34
35.
В теории суммарная пропускная
способность: 12 машин x 1Gbit/s = 12 Gbit/s 35
36.
В теории суммарная пропускная
способность: 12 машин x 1Gbit/s = 12 Gbit/s 36
37.
В теории суммарная пропускная
способность: 12 машин x 1Gbit/s = 12 Gbit/s 37
38.
В теории суммарная пропускная
способность: 12 машин x 1Gbit/s = 12 Gbit/s 38
39.
В теории суммарная пропускная
способность: 12 машин x 1Gbit/s = 12 Gbit/s 39 на практике: кол-во реплик 3 x 1Gbit/s = 3 Gbit/s
40.
40 клиенты multiplexer ФС примонтирована
41.
41 multiplexer клиенты API API
42.
42 отправители клиенты ? Apache Kafka Scribe ??? Еще варианты:
43.
Иван Круглов ivan.kruglov@booking.com
44.
This document was
created using the official VMware icon and diagram library. Copyright © 2012 VMware, Inc. All rights reserved. This product is protected by U.S. and international copyright and intellectual property laws. VMware products are covered by one or more patents listed at http://www.vmware.com/go/patents. VMware does not endorse or make any representations about third party information included in this document, nor does the inclusion of any VMware icon or diagram in this document imply such an endorsement.
Jetzt herunterladen