SlideShare ist ein Scribd-Unternehmen logo
1 von 26
Downloaden Sie, um offline zu lesen
Распределённый мониторинг с
      помощью Icinga
А оно вам надо ?
●   Ваш ресурс используют люди,
    которые не знают вас
●   У вас используется
    автоматическая загрузка данных
●   Ваш ресурс важен для вас
    Тогда оно вам надо!
Правила проведения мониторинга
●   Начните мониторить — пока вы
    выбираете чем мониторить, ваш сервис
    лежит!
●   Продумайте систему доставки «красной
    лампочки»
●    Разработайте регламент реакции на
    «красную лампочку»
●   Мониторьте ваш мониторинг
Используемые компоненты
●   Icinga — мониторинг, ядро системы
●   Mod Gearman — расширение для icinga/nagios для
    выполнения распределённого мониторинга
●   Gearman — фреймворк для распределения задач
●   check_mk — многофункциональное расширение для
    icinga/nagios
●   Pnp4nagios — система построения графиков
Общая схема работы
          Icinga
    Mod Gearman Broker
                                      Сервер - обработчик
                         Запросы и
                         результаты   Обработчик Mod Gearman

       Gearmand
                                                    Результат
Статистика                                          запуска
(perfdata)               Счетчики            check_mk


       pnp4nagios
●   Высокая скорость работы
●   Надёжность, проверенная временем
●   Модульность
●   Огромное количество расширений
Распределённый мониторинг, зачем ?


●   Если вам не хватает производительности одного сервера
●   Если у вас несколько сегментов сети, изолированных друг от
    друга
●   У вас несколько проектов и одна группа дежурных для всех
    проектов
Мониторинг с централизованным
        управлением
                        Центральный
                           сервер
                     Все настройки здесь
                                  Команда          Результат
Команда              Результат
                            •••
      Обработчик 1                      Обработчик N
Централизованное управление, особенности

●   Единые настройки для всех проектов
●   Производительность системы выше чем при одиночном
    сервере
Мониторинг с децентрализованным
         управлением

                     Центральный
                        сервер
               Пассивный сбор результатов

  Результат                         Результат

     Обработчик 1         •••
                                       Обработчик N
    Настройки здесь                   Настройки здесь
Децентрализованное управление,
                  особенности
●   Настройки выполняются индивидуально для каждого
    проекта
●   Масштабируемость системы выше, чем при
    централизованном управлении
●   Сервер gearmand в большинстве случаев не требует
    настройки и прекрасно работает с настройками по
    умолчанию!
●   Не требует баз данных
●   Не создает нагрузки на диск
Mod Gearman
●   Шифрование сообщений — защита от влияния со стороны
●   Установление соединения от обработчика к серверу — не требуется открытие
    входящих соединений на серверах - обработчиках
●   Возможность резервирования сервера задач (gearmand)
●   Возможность передачи статистики (perfdata) через gearmand
●   Возможность передачи событий для Event Handlers — обработчиков событий
    смены статуса хостов или сервисов (например для восстановления
    работоспособности сервиса)
Схема работы Mod Gearman
                    Icinga
            Mod Gearman Broker



Основной сервер              Резервный сервер
   Gearmand                      Gearmand


                     Workers
                  (Обработчики)
Очереди задач
Создание отдельных очередей для отдельных групп icinga:
hostgroups=ru, us, de
servicegroups=ru, us, de

Исключение отдельных групп из gearman — локальные проверки

localhostgroups=local_checks
localservicegroups=local_checks
Пример работы gearman_top
 Queue Name                    | Worker Available | Jobs Waiting | Jobs Running
--------------------------------------------------------------------------------
 check_results                 |               2 |            0 |            0
 eventhandler                  |             250 |            0 |            0
 host                          |             250 |            0 |            0
 hostgroup_ru                  |             150 |            0 |           38
 hostgroup_us                  |             100 |            0 |           16
 perfdata                      |               2 |            0 |            0
 service                       |             250 |            0 |            0
 servicegroup_ru               |             150 |            0 |            0
 servicegroup_us               |             100 |            0 |            0
--------------------------------------------------------------------------------
Дублирование результатов проверок
●   Всё ПО из состава Mod Gearman позволяет дублировать
    результаты проверок на один или более серверов
●   Дублированные результаты могут быть использованы для
    систем отчетности
check_mk

●   Инвентаризация — автоматическое определение доступных счетчиков
●   Все параметры одного сервера получаются одним запуском check_mk
     (скорость)
●   Очень удобная система настроек позволяет практически полностью
     заменить стандартные конфиги icinga
●   Шаблоны pnp4nagios для большей части снимаемых параметров
●   Lifestatus + multisite
●   WATO — Web Administration Tool
Инвентаризация
   >check_mk -I localhost
cpu.loads              1 new checks
cpu.threads          1 new checks
df                   7 new checks
diskstat             4 new checks
ipmi                 1 new checks
kernel               3 new checks
kernel.util          1 new checks
lnx_if               1 new checks
md                   2 new checks
mem.used             1 new checks
mounts               7 new checks
tcp_conn_stats       1 new checks
check_mk это просто
# Хостов может быть сколько угодно
www_hosts = [
  'www1.icq.com|main',
  'www2.icq.com',
]

# Эти хосты живут в России
ru_hosts += www_hosts
all_hosts += www_hosts

# Дополнительные проверки
legacy_checks += [
   ( ( "check_apachestatus!80!1000!400", "apache_status", True ), www_hosts ),
   ( ( "check_https_cert!443", "www_ssl_cert", True ), www_hosts ),
   ( ( "check_main", "www_main", False ), [ "main" ] ,www_hosts ),
]

# Создаем группу www_hosts в icinga для удобства
host_groups += [ ( "www_hosts", www_hosts ) ]
Схема работы check_mk и Gearman
                              Icinga
                        Mod Gearman Broker



            Основной сервер                Резервный сервер
               Gearmand                        Gearmand

                        Серверы - обработчики
                                 Worker
                                       Ответ на запуск check_mk
                                       (активная проверка)
                                check_mk
Все счетчики
(пассивная проверка)
●   Умеет работать через gearman
●   В комплекте к check_mk темплейты для pnp4nagios
●   Умеет работать с rrdcached
Пример работы pnp4nagios
Анатолий Жердев
Заместитель директора по эксплуатации
        a.zherdev@corp.mail.ru

Weitere ähnliche Inhalte

Was ist angesagt?

One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...
One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...
One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...Ontico
 
Мониторинг и отладка MySQL: максимум информации при минимальных потерях
Мониторинг и отладка MySQL: максимум информации при минимальных потеряхМониторинг и отладка MySQL: максимум информации при минимальных потерях
Мониторинг и отладка MySQL: максимум информации при минимальных потеряхSveta Smirnova
 
Дизайн REST API для высокопроизводительных систем / Александр Лебедев (Новые ...
Дизайн REST API для высокопроизводительных систем / Александр Лебедев (Новые ...Дизайн REST API для высокопроизводительных систем / Александр Лебедев (Новые ...
Дизайн REST API для высокопроизводительных систем / Александр Лебедев (Новые ...Ontico
 
Переезжаем с Zabbix на Prometheus / Василий Озеров (fevlake)
Переезжаем с Zabbix на Prometheus / Василий Озеров (fevlake)Переезжаем с Zabbix на Prometheus / Василий Озеров (fevlake)
Переезжаем с Zabbix на Prometheus / Василий Озеров (fevlake)Ontico
 
Путь DevOps в «Parallels» / Константин Назаров (Parallels)
Путь DevOps в «Parallels» / Константин Назаров (Parallels)Путь DevOps в «Parallels» / Константин Назаров (Parallels)
Путь DevOps в «Parallels» / Константин Назаров (Parallels)Ontico
 
Zero Downtime PHP Deployment with Envoyer And Forge
Zero Downtime PHP Deployment with Envoyer And ForgeZero Downtime PHP Deployment with Envoyer And Forge
Zero Downtime PHP Deployment with Envoyer And ForgeYehor Herasymchuk
 
MySQL: чек-лист для новичка в highload (Cвета Cмирнова, Aнастасия Распопина ...
MySQL:  чек-лист для новичка в highload (Cвета Cмирнова, Aнастасия Распопина ...MySQL:  чек-лист для новичка в highload (Cвета Cмирнова, Aнастасия Распопина ...
MySQL: чек-лист для новичка в highload (Cвета Cмирнова, Aнастасия Распопина ...Anastasia Rostova
 
Производительность MySQL для DevOps
 Производительность MySQL для DevOps Производительность MySQL для DevOps
Производительность MySQL для DevOpsSveta Smirnova
 
Сегментируем 600 млн. пользователей в режиме реального времени каждый день. H...
Сегментируем 600 млн. пользователей в режиме реального времени каждый день. H...Сегментируем 600 млн. пользователей в режиме реального времени каждый день. H...
Сегментируем 600 млн. пользователей в режиме реального времени каждый день. H...Ontico
 
Тестирование отклика Web-интерфейса с JMeter и Selenium
Тестирование отклика Web-интерфейса с JMeter и SeleniumТестирование отклика Web-интерфейса с JMeter и Selenium
Тестирование отклика Web-интерфейса с JMeter и SeleniumSQALab
 
RootConf 2015: Как Vagrant и Chef ускорили разработку в несколько раз
RootConf 2015: Как Vagrant и Chef ускорили разработку в несколько разRootConf 2015: Как Vagrant и Chef ускорили разработку в несколько раз
RootConf 2015: Как Vagrant и Chef ускорили разработку в несколько разTimur Batyrshin
 
Путь мониторинга: модульность, гибкость, devops / Всеволод Поляков (Grammarly)
Путь мониторинга: модульность, гибкость, devops / Всеволод Поляков (Grammarly)Путь мониторинга: модульность, гибкость, devops / Всеволод Поляков (Grammarly)
Путь мониторинга: модульность, гибкость, devops / Всеволод Поляков (Grammarly)Ontico
 
Как построить кластер для расчета сотен тысяч high-CPU/high-MEM-задач и не ра...
Как построить кластер для расчета сотен тысяч high-CPU/high-MEM-задач и не ра...Как построить кластер для расчета сотен тысяч high-CPU/high-MEM-задач и не ра...
Как построить кластер для расчета сотен тысяч high-CPU/high-MEM-задач и не ра...Ontico
 
2021.09.04 PHP FWDays. Our experience of transferring Laravel microservices t...
2021.09.04 PHP FWDays. Our experience of transferring Laravel microservices t...2021.09.04 PHP FWDays. Our experience of transferring Laravel microservices t...
2021.09.04 PHP FWDays. Our experience of transferring Laravel microservices t...Yehor Herasymchuk
 
Zabbix: рецепты высокопроизводительного мониторинга / Алексей Владышев (Zabbix)
Zabbix: рецепты высокопроизводительного мониторинга / Алексей Владышев (Zabbix)Zabbix: рецепты высокопроизводительного мониторинга / Алексей Владышев (Zabbix)
Zabbix: рецепты высокопроизводительного мониторинга / Алексей Владышев (Zabbix)Ontico
 
Мастер-класс про организацию службы эксплуатации
Мастер-класс про организацию службы эксплуатацииМастер-класс про организацию службы эксплуатации
Мастер-класс про организацию службы эксплуатацииNikolay Sivko
 
smart balancing with nginx+lua / Андрей Кононов (IPONWEB)
smart balancing with nginx+lua / Андрей Кононов (IPONWEB)smart balancing with nginx+lua / Андрей Кононов (IPONWEB)
smart balancing with nginx+lua / Андрей Кононов (IPONWEB)Ontico
 
Платформа для поставки счастья в команду QA
Платформа для поставки счастья в команду QAПлатформа для поставки счастья в команду QA
Платформа для поставки счастья в команду QASlava Kuznetsov
 
Жизнь проекта на production
Жизнь проекта на productionЖизнь проекта на production
Жизнь проекта на productionNikolay Sivko
 
120618 ит проблема-было-сделали-стало-будет
120618   ит проблема-было-сделали-стало-будет120618   ит проблема-было-сделали-стало-будет
120618 ит проблема-было-сделали-стало-будетАндрей Степенко
 

Was ist angesagt? (20)

One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...
One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...
One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...
 
Мониторинг и отладка MySQL: максимум информации при минимальных потерях
Мониторинг и отладка MySQL: максимум информации при минимальных потеряхМониторинг и отладка MySQL: максимум информации при минимальных потерях
Мониторинг и отладка MySQL: максимум информации при минимальных потерях
 
Дизайн REST API для высокопроизводительных систем / Александр Лебедев (Новые ...
Дизайн REST API для высокопроизводительных систем / Александр Лебедев (Новые ...Дизайн REST API для высокопроизводительных систем / Александр Лебедев (Новые ...
Дизайн REST API для высокопроизводительных систем / Александр Лебедев (Новые ...
 
Переезжаем с Zabbix на Prometheus / Василий Озеров (fevlake)
Переезжаем с Zabbix на Prometheus / Василий Озеров (fevlake)Переезжаем с Zabbix на Prometheus / Василий Озеров (fevlake)
Переезжаем с Zabbix на Prometheus / Василий Озеров (fevlake)
 
Путь DevOps в «Parallels» / Константин Назаров (Parallels)
Путь DevOps в «Parallels» / Константин Назаров (Parallels)Путь DevOps в «Parallels» / Константин Назаров (Parallels)
Путь DevOps в «Parallels» / Константин Назаров (Parallels)
 
Zero Downtime PHP Deployment with Envoyer And Forge
Zero Downtime PHP Deployment with Envoyer And ForgeZero Downtime PHP Deployment with Envoyer And Forge
Zero Downtime PHP Deployment with Envoyer And Forge
 
MySQL: чек-лист для новичка в highload (Cвета Cмирнова, Aнастасия Распопина ...
MySQL:  чек-лист для новичка в highload (Cвета Cмирнова, Aнастасия Распопина ...MySQL:  чек-лист для новичка в highload (Cвета Cмирнова, Aнастасия Распопина ...
MySQL: чек-лист для новичка в highload (Cвета Cмирнова, Aнастасия Распопина ...
 
Производительность MySQL для DevOps
 Производительность MySQL для DevOps Производительность MySQL для DevOps
Производительность MySQL для DevOps
 
Сегментируем 600 млн. пользователей в режиме реального времени каждый день. H...
Сегментируем 600 млн. пользователей в режиме реального времени каждый день. H...Сегментируем 600 млн. пользователей в режиме реального времени каждый день. H...
Сегментируем 600 млн. пользователей в режиме реального времени каждый день. H...
 
Тестирование отклика Web-интерфейса с JMeter и Selenium
Тестирование отклика Web-интерфейса с JMeter и SeleniumТестирование отклика Web-интерфейса с JMeter и Selenium
Тестирование отклика Web-интерфейса с JMeter и Selenium
 
RootConf 2015: Как Vagrant и Chef ускорили разработку в несколько раз
RootConf 2015: Как Vagrant и Chef ускорили разработку в несколько разRootConf 2015: Как Vagrant и Chef ускорили разработку в несколько раз
RootConf 2015: Как Vagrant и Chef ускорили разработку в несколько раз
 
Путь мониторинга: модульность, гибкость, devops / Всеволод Поляков (Grammarly)
Путь мониторинга: модульность, гибкость, devops / Всеволод Поляков (Grammarly)Путь мониторинга: модульность, гибкость, devops / Всеволод Поляков (Grammarly)
Путь мониторинга: модульность, гибкость, devops / Всеволод Поляков (Grammarly)
 
Как построить кластер для расчета сотен тысяч high-CPU/high-MEM-задач и не ра...
Как построить кластер для расчета сотен тысяч high-CPU/high-MEM-задач и не ра...Как построить кластер для расчета сотен тысяч high-CPU/high-MEM-задач и не ра...
Как построить кластер для расчета сотен тысяч high-CPU/high-MEM-задач и не ра...
 
2021.09.04 PHP FWDays. Our experience of transferring Laravel microservices t...
2021.09.04 PHP FWDays. Our experience of transferring Laravel microservices t...2021.09.04 PHP FWDays. Our experience of transferring Laravel microservices t...
2021.09.04 PHP FWDays. Our experience of transferring Laravel microservices t...
 
Zabbix: рецепты высокопроизводительного мониторинга / Алексей Владышев (Zabbix)
Zabbix: рецепты высокопроизводительного мониторинга / Алексей Владышев (Zabbix)Zabbix: рецепты высокопроизводительного мониторинга / Алексей Владышев (Zabbix)
Zabbix: рецепты высокопроизводительного мониторинга / Алексей Владышев (Zabbix)
 
Мастер-класс про организацию службы эксплуатации
Мастер-класс про организацию службы эксплуатацииМастер-класс про организацию службы эксплуатации
Мастер-класс про организацию службы эксплуатации
 
smart balancing with nginx+lua / Андрей Кононов (IPONWEB)
smart balancing with nginx+lua / Андрей Кононов (IPONWEB)smart balancing with nginx+lua / Андрей Кононов (IPONWEB)
smart balancing with nginx+lua / Андрей Кононов (IPONWEB)
 
Платформа для поставки счастья в команду QA
Платформа для поставки счастья в команду QAПлатформа для поставки счастья в команду QA
Платформа для поставки счастья в команду QA
 
Жизнь проекта на production
Жизнь проекта на productionЖизнь проекта на production
Жизнь проекта на production
 
120618 ит проблема-было-сделали-стало-будет
120618   ит проблема-было-сделали-стало-будет120618   ит проблема-было-сделали-стало-будет
120618 ит проблема-было-сделали-стало-будет
 

Andere mochten auch

Smirnov reverse-engineering-techforum
Smirnov reverse-engineering-techforumSmirnov reverse-engineering-techforum
Smirnov reverse-engineering-techforumkuchinskaya
 
Smirnov dependency-injection-techforum(1)
Smirnov dependency-injection-techforum(1)Smirnov dependency-injection-techforum(1)
Smirnov dependency-injection-techforum(1)kuchinskaya
 
DNS в условиях хостинг-провайдера / Константин Новаковский (Selectel)
DNS в условиях хостинг-провайдера / Константин Новаковский (Selectel)DNS в условиях хостинг-провайдера / Константин Новаковский (Selectel)
DNS в условиях хостинг-провайдера / Константин Новаковский (Selectel)Ontico
 

Andere mochten auch (9)

Kharkov
KharkovKharkov
Kharkov
 
Rabovoluk
RabovolukRabovoluk
Rabovoluk
 
Panfilov
PanfilovPanfilov
Panfilov
 
Balashov
BalashovBalashov
Balashov
 
Smirnov reverse-engineering-techforum
Smirnov reverse-engineering-techforumSmirnov reverse-engineering-techforum
Smirnov reverse-engineering-techforum
 
Platov
PlatovPlatov
Platov
 
Smirnov dependency-injection-techforum(1)
Smirnov dependency-injection-techforum(1)Smirnov dependency-injection-techforum(1)
Smirnov dependency-injection-techforum(1)
 
Zamyakin
ZamyakinZamyakin
Zamyakin
 
DNS в условиях хостинг-провайдера / Константин Новаковский (Selectel)
DNS в условиях хостинг-провайдера / Константин Новаковский (Selectel)DNS в условиях хостинг-провайдера / Константин Новаковский (Selectel)
DNS в условиях хостинг-провайдера / Константин Новаковский (Selectel)
 

Ähnlich wie Zherdev icinga 20120423

Kubasov 1 7_deploy
Kubasov 1 7_deployKubasov 1 7_deploy
Kubasov 1 7_deploykuchinskaya
 
Как не положить тысячи серверов с помощью системы централизованного управлени...
Как не положить тысячи серверов с помощью системы централизованного управлени...Как не положить тысячи серверов с помощью системы централизованного управлени...
Как не положить тысячи серверов с помощью системы централизованного управлени...Ontico
 
Как не положить тысячи серверов с помощью системы централизованного управлени...
Как не положить тысячи серверов с помощью системы централизованного управлени...Как не положить тысячи серверов с помощью системы централизованного управлени...
Как не положить тысячи серверов с помощью системы централизованного управлени...Dmitry Samsonov
 
Xp days 2019 - Why startups need SRE practices
Xp days 2019 - Why startups need SRE practicesXp days 2019 - Why startups need SRE practices
Xp days 2019 - Why startups need SRE practicesAlexey Andreev
 
Антон Довгоброд: Highload и очереди задач на примере PHP + Gearman + Yii2
Антон Довгоброд: Highload и очереди задач на примере PHP + Gearman + Yii2Антон Довгоброд: Highload и очереди задач на примере PHP + Gearman + Yii2
Антон Довгоброд: Highload и очереди задач на примере PHP + Gearman + Yii2Oleg Poludnenko
 
Monitoring-driven эксплуатация (rootconf2015)
Monitoring-driven эксплуатация (rootconf2015)Monitoring-driven эксплуатация (rootconf2015)
Monitoring-driven эксплуатация (rootconf2015)Nikolay Sivko
 
Доклад Ильи Кудинова на DevConf 2013. "Организация автоматизированного тестир...
Доклад Ильи Кудинова на DevConf 2013. "Организация автоматизированного тестир...Доклад Ильи Кудинова на DevConf 2013. "Организация автоматизированного тестир...
Доклад Ильи Кудинова на DevConf 2013. "Организация автоматизированного тестир...Badoo Development
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеSQALab
 
Building deployment pipeline - DevOps way
Building deployment pipeline - DevOps wayBuilding deployment pipeline - DevOps way
Building deployment pipeline - DevOps wayAndrey Rebrov
 
Введение в performance management
Введение в performance managementВведение в performance management
Введение в performance managementSQALab
 
Илья Кудинов
Илья КудиновИлья Кудинов
Илья КудиновCodeFest
 
Как Vagrant и Chef ускорили разработку в несколько раз / Тимур Батыршин (Cina...
Как Vagrant и Chef ускорили разработку в несколько раз / Тимур Батыршин (Cina...Как Vagrant и Chef ускорили разработку в несколько раз / Тимур Батыршин (Cina...
Как Vagrant и Chef ускорили разработку в несколько раз / Тимур Батыршин (Cina...Ontico
 
Robot Framework: универсальный инструмент автоматизатора
Robot Framework: универсальный инструмент автоматизатораRobot Framework: универсальный инструмент автоматизатора
Robot Framework: универсальный инструмент автоматизатораSQALab
 
Gnevshev мониторинг
Gnevshev   мониторингGnevshev   мониторинг
Gnevshev мониторингkuchinskaya
 
Организация автоматического тестирования в схеме непрерывной интеграции
Организация автоматического тестирования в схеме непрерывной интеграцииОрганизация автоматического тестирования в схеме непрерывной интеграции
Организация автоматического тестирования в схеме непрерывной интеграцииSQALab
 
Call of Postgres: Advanced Operations (part 1)
Call of Postgres: Advanced Operations (part 1)Call of Postgres: Advanced Operations (part 1)
Call of Postgres: Advanced Operations (part 1)Alexey Lesovsky
 
Dmytro Nemesh "Building the perfect infrastructure with Kubernetes"
Dmytro Nemesh "Building the perfect infrastructure with Kubernetes"Dmytro Nemesh "Building the perfect infrastructure with Kubernetes"
Dmytro Nemesh "Building the perfect infrastructure with Kubernetes"Fwdays
 
Развитие процессов тестирования в Badoo за три года
Развитие процессов тестирования в Badoo за три годаРазвитие процессов тестирования в Badoo за три года
Развитие процессов тестирования в Badoo за три годаSQALab
 
Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...
Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...
Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...WrikeTechClub
 
Dev & test на windows azure
Dev & test на windows azureDev & test на windows azure
Dev & test на windows azureMicrosoft
 

Ähnlich wie Zherdev icinga 20120423 (20)

Kubasov 1 7_deploy
Kubasov 1 7_deployKubasov 1 7_deploy
Kubasov 1 7_deploy
 
Как не положить тысячи серверов с помощью системы централизованного управлени...
Как не положить тысячи серверов с помощью системы централизованного управлени...Как не положить тысячи серверов с помощью системы централизованного управлени...
Как не положить тысячи серверов с помощью системы централизованного управлени...
 
Как не положить тысячи серверов с помощью системы централизованного управлени...
Как не положить тысячи серверов с помощью системы централизованного управлени...Как не положить тысячи серверов с помощью системы централизованного управлени...
Как не положить тысячи серверов с помощью системы централизованного управлени...
 
Xp days 2019 - Why startups need SRE practices
Xp days 2019 - Why startups need SRE practicesXp days 2019 - Why startups need SRE practices
Xp days 2019 - Why startups need SRE practices
 
Антон Довгоброд: Highload и очереди задач на примере PHP + Gearman + Yii2
Антон Довгоброд: Highload и очереди задач на примере PHP + Gearman + Yii2Антон Довгоброд: Highload и очереди задач на примере PHP + Gearman + Yii2
Антон Довгоброд: Highload и очереди задач на примере PHP + Gearman + Yii2
 
Monitoring-driven эксплуатация (rootconf2015)
Monitoring-driven эксплуатация (rootconf2015)Monitoring-driven эксплуатация (rootconf2015)
Monitoring-driven эксплуатация (rootconf2015)
 
Доклад Ильи Кудинова на DevConf 2013. "Организация автоматизированного тестир...
Доклад Ильи Кудинова на DevConf 2013. "Организация автоматизированного тестир...Доклад Ильи Кудинова на DevConf 2013. "Организация автоматизированного тестир...
Доклад Ильи Кудинова на DevConf 2013. "Организация автоматизированного тестир...
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
 
Building deployment pipeline - DevOps way
Building deployment pipeline - DevOps wayBuilding deployment pipeline - DevOps way
Building deployment pipeline - DevOps way
 
Введение в performance management
Введение в performance managementВведение в performance management
Введение в performance management
 
Илья Кудинов
Илья КудиновИлья Кудинов
Илья Кудинов
 
Как Vagrant и Chef ускорили разработку в несколько раз / Тимур Батыршин (Cina...
Как Vagrant и Chef ускорили разработку в несколько раз / Тимур Батыршин (Cina...Как Vagrant и Chef ускорили разработку в несколько раз / Тимур Батыршин (Cina...
Как Vagrant и Chef ускорили разработку в несколько раз / Тимур Батыршин (Cina...
 
Robot Framework: универсальный инструмент автоматизатора
Robot Framework: универсальный инструмент автоматизатораRobot Framework: универсальный инструмент автоматизатора
Robot Framework: универсальный инструмент автоматизатора
 
Gnevshev мониторинг
Gnevshev   мониторингGnevshev   мониторинг
Gnevshev мониторинг
 
Организация автоматического тестирования в схеме непрерывной интеграции
Организация автоматического тестирования в схеме непрерывной интеграцииОрганизация автоматического тестирования в схеме непрерывной интеграции
Организация автоматического тестирования в схеме непрерывной интеграции
 
Call of Postgres: Advanced Operations (part 1)
Call of Postgres: Advanced Operations (part 1)Call of Postgres: Advanced Operations (part 1)
Call of Postgres: Advanced Operations (part 1)
 
Dmytro Nemesh "Building the perfect infrastructure with Kubernetes"
Dmytro Nemesh "Building the perfect infrastructure with Kubernetes"Dmytro Nemesh "Building the perfect infrastructure with Kubernetes"
Dmytro Nemesh "Building the perfect infrastructure with Kubernetes"
 
Развитие процессов тестирования в Badoo за три года
Развитие процессов тестирования в Badoo за три годаРазвитие процессов тестирования в Badoo за три года
Развитие процессов тестирования в Badoo за три года
 
Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...
Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...
Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...
 
Dev & test на windows azure
Dev & test на windows azureDev & test на windows azure
Dev & test на windows azure
 

Mehr von kuchinskaya

Kalugin balashov
Kalugin balashovKalugin balashov
Kalugin balashovkuchinskaya
 
владимир габриелян
владимир габриелянвладимир габриелян
владимир габриелянkuchinskaya
 
чашкин иван
чашкин иванчашкин иван
чашкин иванkuchinskaya
 
сумин андрей
сумин андрейсумин андрей
сумин андрейkuchinskaya
 
митасов роман
митасов романмитасов роман
митасов романkuchinskaya
 
кренин владимир
кренин владимиркренин владимир
кренин владимирkuchinskaya
 
константин лебедев
константин лебедевконстантин лебедев
константин лебедевkuchinskaya
 
дыдыкин егор
дыдыкин егордыдыкин егор
дыдыкин егорkuchinskaya
 
ярослав рабоволюк
ярослав рабоволюкярослав рабоволюк
ярослав рабоволюкkuchinskaya
 

Mehr von kuchinskaya (20)

Zacepin
ZacepinZacepin
Zacepin
 
Zagursky
ZagurskyZagursky
Zagursky
 
Haritonov
HaritonovHaritonov
Haritonov
 
Chudov
ChudovChudov
Chudov
 
Bubnov
BubnovBubnov
Bubnov
 
A.pleshkov
A.pleshkovA.pleshkov
A.pleshkov
 
Zenovich
ZenovichZenovich
Zenovich
 
Romanenko
RomanenkoRomanenko
Romanenko
 
Perepelitsa
PerepelitsaPerepelitsa
Perepelitsa
 
Osipov
OsipovOsipov
Osipov
 
Kubasov
KubasovKubasov
Kubasov
 
Kalugin balashov
Kalugin balashovKalugin balashov
Kalugin balashov
 
владимир габриелян
владимир габриелянвладимир габриелян
владимир габриелян
 
чашкин иван
чашкин иванчашкин иван
чашкин иван
 
сумин андрей
сумин андрейсумин андрей
сумин андрей
 
митасов роман
митасов романмитасов роман
митасов роман
 
кренин владимир
кренин владимиркренин владимир
кренин владимир
 
константин лебедев
константин лебедевконстантин лебедев
константин лебедев
 
дыдыкин егор
дыдыкин егордыдыкин егор
дыдыкин егор
 
ярослав рабоволюк
ярослав рабоволюкярослав рабоволюк
ярослав рабоволюк
 

Zherdev icinga 20120423

  • 1.
  • 3. А оно вам надо ? ● Ваш ресурс используют люди, которые не знают вас ● У вас используется автоматическая загрузка данных ● Ваш ресурс важен для вас Тогда оно вам надо!
  • 4. Правила проведения мониторинга ● Начните мониторить — пока вы выбираете чем мониторить, ваш сервис лежит! ● Продумайте систему доставки «красной лампочки» ● Разработайте регламент реакции на «красную лампочку» ● Мониторьте ваш мониторинг
  • 5. Используемые компоненты ● Icinga — мониторинг, ядро системы ● Mod Gearman — расширение для icinga/nagios для выполнения распределённого мониторинга ● Gearman — фреймворк для распределения задач ● check_mk — многофункциональное расширение для icinga/nagios ● Pnp4nagios — система построения графиков
  • 6. Общая схема работы Icinga Mod Gearman Broker Сервер - обработчик Запросы и результаты Обработчик Mod Gearman Gearmand Результат Статистика запуска (perfdata) Счетчики check_mk pnp4nagios
  • 7. Высокая скорость работы ● Надёжность, проверенная временем ● Модульность ● Огромное количество расширений
  • 8. Распределённый мониторинг, зачем ? ● Если вам не хватает производительности одного сервера ● Если у вас несколько сегментов сети, изолированных друг от друга ● У вас несколько проектов и одна группа дежурных для всех проектов
  • 9. Мониторинг с централизованным управлением Центральный сервер Все настройки здесь Команда Результат Команда Результат ••• Обработчик 1 Обработчик N
  • 10. Централизованное управление, особенности ● Единые настройки для всех проектов ● Производительность системы выше чем при одиночном сервере
  • 11. Мониторинг с децентрализованным управлением Центральный сервер Пассивный сбор результатов Результат Результат Обработчик 1 ••• Обработчик N Настройки здесь Настройки здесь
  • 12. Децентрализованное управление, особенности ● Настройки выполняются индивидуально для каждого проекта ● Масштабируемость системы выше, чем при централизованном управлении
  • 13.
  • 14. Сервер gearmand в большинстве случаев не требует настройки и прекрасно работает с настройками по умолчанию! ● Не требует баз данных ● Не создает нагрузки на диск
  • 15. Mod Gearman ● Шифрование сообщений — защита от влияния со стороны ● Установление соединения от обработчика к серверу — не требуется открытие входящих соединений на серверах - обработчиках ● Возможность резервирования сервера задач (gearmand) ● Возможность передачи статистики (perfdata) через gearmand ● Возможность передачи событий для Event Handlers — обработчиков событий смены статуса хостов или сервисов (например для восстановления работоспособности сервиса)
  • 16. Схема работы Mod Gearman Icinga Mod Gearman Broker Основной сервер Резервный сервер Gearmand Gearmand Workers (Обработчики)
  • 17. Очереди задач Создание отдельных очередей для отдельных групп icinga: hostgroups=ru, us, de servicegroups=ru, us, de Исключение отдельных групп из gearman — локальные проверки localhostgroups=local_checks localservicegroups=local_checks
  • 18. Пример работы gearman_top Queue Name | Worker Available | Jobs Waiting | Jobs Running -------------------------------------------------------------------------------- check_results | 2 | 0 | 0 eventhandler | 250 | 0 | 0 host | 250 | 0 | 0 hostgroup_ru | 150 | 0 | 38 hostgroup_us | 100 | 0 | 16 perfdata | 2 | 0 | 0 service | 250 | 0 | 0 servicegroup_ru | 150 | 0 | 0 servicegroup_us | 100 | 0 | 0 --------------------------------------------------------------------------------
  • 19. Дублирование результатов проверок ● Всё ПО из состава Mod Gearman позволяет дублировать результаты проверок на один или более серверов ● Дублированные результаты могут быть использованы для систем отчетности
  • 20. check_mk ● Инвентаризация — автоматическое определение доступных счетчиков ● Все параметры одного сервера получаются одним запуском check_mk (скорость) ● Очень удобная система настроек позволяет практически полностью заменить стандартные конфиги icinga ● Шаблоны pnp4nagios для большей части снимаемых параметров ● Lifestatus + multisite ● WATO — Web Administration Tool
  • 21. Инвентаризация >check_mk -I localhost cpu.loads 1 new checks cpu.threads 1 new checks df 7 new checks diskstat 4 new checks ipmi 1 new checks kernel 3 new checks kernel.util 1 new checks lnx_if 1 new checks md 2 new checks mem.used 1 new checks mounts 7 new checks tcp_conn_stats 1 new checks
  • 22. check_mk это просто # Хостов может быть сколько угодно www_hosts = [ 'www1.icq.com|main', 'www2.icq.com', ] # Эти хосты живут в России ru_hosts += www_hosts all_hosts += www_hosts # Дополнительные проверки legacy_checks += [ ( ( "check_apachestatus!80!1000!400", "apache_status", True ), www_hosts ), ( ( "check_https_cert!443", "www_ssl_cert", True ), www_hosts ), ( ( "check_main", "www_main", False ), [ "main" ] ,www_hosts ), ] # Создаем группу www_hosts в icinga для удобства host_groups += [ ( "www_hosts", www_hosts ) ]
  • 23. Схема работы check_mk и Gearman Icinga Mod Gearman Broker Основной сервер Резервный сервер Gearmand Gearmand Серверы - обработчики Worker Ответ на запуск check_mk (активная проверка) check_mk Все счетчики (пассивная проверка)
  • 24. Умеет работать через gearman ● В комплекте к check_mk темплейты для pnp4nagios ● Умеет работать с rrdcached
  • 26. Анатолий Жердев Заместитель директора по эксплуатации a.zherdev@corp.mail.ru