2. Истомин Евгений
архитектор IT-решений
e.istomin@edss.ee
Cone Center,Tallinn
Без единого разрыва:
механизмы их тушения
горящие IT-сервисы
и

3. Кратко:
Грани IT-бизнеса
Цель доклада:
Рассказать о различных
сторонах IT-мира

4. 4
●
КлиентКлиент
● Сотрудник техподдержкиСотрудник техподдержки
● Управлящий отделом техподдержкиУправлящий отделом техподдержки
● Администратор системыАдминистратор системы
Действующие лица
Case: SaaS-провайдер
● Управляющий отделомУправляющий отделом
администрированияадминистрирования
● РазработчикРазработчик

5. 5
● Клиент –Клиент – не получил услугу на ожидаемом уровнене получил услугу на ожидаемом уровне
● Сотрудник техподдержки –Сотрудник техподдержки – некомпетентностьнекомпетентность
●
Управлящий отделом техподдержкиУправлящий отделом техподдержки
–– запоздалая эскалация проблемызапоздалая эскалация проблемы
●
Администратор системыАдминистратор системы
–– халатное поведениехалатное поведение
Горим, Сэр!
Case: SaaS-провайдер
● Управляющий отделом администрирования –Управляющий отделом администрирования –
отсутствие пониманияотсутствие понимания
технической ситуациитехнической ситуации
●
РазработчикРазработчик –– просто писал кодпросто писал код
Шеф - “Господа, вы ели уху?”

6. 6
Горим-горим!
Case: SaaS-провайдер

7. 7
Back to the Future

8. 8
Back to the Future

9. 9
● Отраслевые стандартыОтраслевые стандарты
● Организационный пулОрганизационный пул
● Технологический пулТехнологический пул
Back to the Future
Грани IT-бизнеса
● Управление знаниямиУправление знаниями
● Определение схемы бизнесаОпределение схемы бизнеса

10. 10
●Отраслевые стандартыОтраслевые стандарты
● Организационный пулОрганизационный пул
● Технологический пулТехнологический пул
Back to the Future
Грани IT-бизнеса
● Управление знаниямиУправление знаниями
● Определение схемы бизнесаОпределение схемы бизнеса
Отраслевые стандарты

11. 11
● Предоставление в виде, доступном для пониманияПредоставление в виде, доступном для понимания
всем участникам процесса:всем участникам процесса:
● Механизмов аггрегацииМеханизмов аггрегации
и координации задачи координации задач
Отраслевые стандарты
●
Коротко:Коротко:
Создание и поддержание ядра организацииСоздание и поддержание ядра организации
●
Метрик эффективностиМетрик эффективности
● ЦелейЦелей
Зачем нужны стандарты?
Отраслевые стандарты

12. 12
● ISO 9000/9001ISO 9000/9001
● ISO/IEC 20000:2011ISO/IEC 20000:2011
● ITIL v3ITIL v3
● COBITCOBIT
● ....
Какие IT-стандарты существуют?
Что осталось за пределамиЧто осталось за пределами
стандартов?стандартов?
Отраслевые стандарты

13. 13
● ScrumScrum
● AgileAgile
● 6 Sigma6 Sigma
● Lean ManagementLean Management
● CanbanCanban
● TOCTOC
Подходы, методологии
● KaizenKaizen
● PDCAPDCA
● PMBOKPMBOK
● ……......
Отраслевые стандарты

14. 14
Итоги: Отраслевые стандарты
● Инцидент – есть любое событие, которое не
является частью стандартных операций сервиса
и вызывает, или может вызвать, прерывание
обслуживания или снижение качества сервиса.
● Проблема – есть неизвестная причина одного
или более инцидентов. Одна проблема может
породить несколько инцидентов.
● Ошибки - результат действий по решению
инцендентов и проблем.
Отраслевые стандарты
ITIL v3

15. 15
● Отраслевые стандартыОтраслевые стандарты
●Организационный пулОрганизационный пул
● Технологический пулТехнологический пул
Back to the Future
Грани IT-бизнеса
● Управление знаниямиУправление знаниями
● Определение схемы бизнесаОпределение схемы бизнеса
Организационный пул

16. 16
● «Бэкап», он же «резервная копия»«Бэкап», он же «резервная копия»
● «Кластер», он же «высокодоступное-«Кластер», он же «высокодоступное-
решение-всех-проблем»решение-всех-проблем»
● «Standby», он же«Standby», он же
«классное-решение-класса-всё-будет-хорошо»«классное-решение-класса-всё-будет-хорошо»
Вездесущий маркетинг
●
«облако», оно же «облачный хостинг»«облако», оно же «облачный хостинг»
● «мониторинг», «SLA», «качество услуги»«мониторинг», «SLA», «качество услуги»
Слова, несущие непонимание
Организационный пул

17. 17
Сила грамотного договора
● Датацентр
физическое местоположение инфосистем
Исполнителя, которые находятся в границах
участка обслуживания Провайдера;
● Виртуальный сервер
ИТ-система Клиента, ограниченная
операционной системой, размещаемая в
Датацентрах Исполнителя;
Организационный пул

18. 18
Сила грамотного договора
Неисправности или проблемы являются
критичными с точки зрения продолжения
нормального функционирования Ресурсов или
Услуг Клиента
если клиент не может получить выбранное им
Качество обслуживания (QOS) более промежутка
времени, указанного в Соглашении о качестве
обслуживания (SLA)“
Организационный пул

19. 19
ПрограмистПрограмист
●
ПрикладнойПрикладной
●
СистемныйСистемный
Кто такой DevOps?
IT-руководительIT-руководитель
●
Стандарты (ITIL/COBIT)Стандарты (ITIL/COBIT)
●
Методологии (Agile/Scrum)Методологии (Agile/Scrum)
●
Понимание бизнес-ориентированных задачПонимание бизнес-ориентированных задач
DevOps — двигатель IT-прогресса
Организационный пул
IT-специалистIT-специалист
●
*nix/Windows*nix/Windows
●
IP StackIP Stack
●
Chef/Puppet/etc..Chef/Puppet/etc..

20. 20
Кто такой DevOps?
● основной рабочий процесс сосредоточен на
контексте компании
● автоматизация процессов и формализация знаний -
основа успеха всей компании
● умение кратко рассказать руководителю/лицу,
представляющему задачу о проблемных моментах
и возможных сдвигах сроков
● умение в контексте задачи быть на стороне
клиента (с его проблемами, сроками итд)
● умение по требованию руководителя
переключаться от контекста компании к контексту
клиента (особенно актуально для задач со
срываемыми сроками)
Организационный пул

21. 21
Кто такой DevOps?
● умение вникнуть в суть технологии и понять логику
взаимодействия компонентов
● умение нарисовать технологию/подход/логику
работы на бумаге до её конечной реализации
● умение реализовать модель на абстрактном языке
программирования (Perl/Ruby/Bash/etc)
● умение рассказать, чего им нехватает для того,
чтобы решить задачу
● здравое понимание того, что им никто не скажет,
что же конкретно нужно сделать - как раз наоборот
Организационный пул

22. 22
Кто такой DevOps?
● здравое понимание того, что без согласованного с
коллегами выбора способов решения не нужно
ничего реализовывать (testbed/testcases не в счёт)
● здравое понимание того, что клиент и
администраторы видят решения совсем с другой
стороны
● передача готовых решений в "Отдел
Администрирования" согласно их метрикам приёма
● сотрудничество с "Отделом администри-рования"
по вопросам использования имеющихся и
проектирования новых решений
Организационный пул

23. 23
Кто такой DevOps?
Организационный пул

24. 24
Администирирование ставит цельюАдминистирирование ставит целью
эффективное использованиеэффективное использование
существующих подходов.существующих подходов.
Кто такой Администратор?
Организационный пул
выполнение ряда согласованных ивыполнение ряда согласованных и
формализованных процедурформализованных процедур
Основная задачаОсновная задача
администрирования -администрирования -

25. 25
Кто такой Администратор?
Организационный пул
● поддержание работоспособности
сервисов
● обновление конфигураций
● предупреждение возможности
возникновения сбоев в работе
● возврат сервиса к работе после
аппаратного сбоя
в рамках имеющейся квалификации и
инструкций.
Чем занимается администратор?
Ключевое положение:

26. 26
Кто такой Администратор?
● Обеспечение бесперебойной работы сервисов в
рамках имеющихся прав, инструментов и
информации
● Предоставление данных о прошедших через
системы потоках/сообщениях и оказание
консультации по возникающим вопросам
● Отслеживание возникающих в системах событий,
используя предоставленные разработчиками
инструменты
● Реакция на возникающих в системах события
используя документацию и собственные знания
● Обеспечение (не снижение) уровня безопасности,
заложенного при проектировании сервиса
Организационный пул

27. 27
Кто такой Администратор?
● Обеспечение доступности резервных копий/реплик
сервиса, предоставленных согласно документации
● Проведение регламентных процедур (в т.ч.
обновлений, проверки резервных копий и т.д.)
согласно документации
● Проведение работ по установке/вводу в
эксплуатацию сервисов согласно документации
● Информирование разработчиков о
инцендентах/ошибках/неверной работе сервисов
● Расширение знаний по обслуживанию
предоставляемых компанией сервисов
Организационный пул

28. 28
Сопровождение инфраструктуры:Сопровождение инфраструктуры:
Что такое сопровождение?
Организационный пул
Повышение количества и качества​Повышение количества и качества​
автоматизации и документированныхавтоматизации и документированных
операцийопераций
●
устранение проблем, ошибок и их последствий,устранение проблем, ошибок и их последствий,
непокрытыхнепокрытых
инструкциями / автоматизациейинструкциями / автоматизацией
● Разработка решений по автоматизацииРазработка решений по автоматизации
Основная задачаОсновная задача
сопровождения -сопровождения -

29. 29
● Отраслевые стандартыОтраслевые стандарты
● Организационный пулОрганизационный пул
●Технологический пулТехнологический пул
Back to the Future
Грани IT-бизнеса
● Управление знаниямиУправление знаниями
● Определение схемы бизнесаОпределение схемы бизнеса
Технологический пул

30. 30
“Talk is cheap. Show me the code.”
Технологический пул

31. 31
● Максимальное использованиеМаксимальное использование
технологий с открытым кодомтехнологий с открытым кодом
● Использование линейки Linux-Использование линейки Linux-
ядер 3.12.xядер 3.12.x
Концепции: системная часть
Технологический пул
● Использование OS xxx (Linux-based)Использование OS xxx (Linux-based)
●
Все данные сервисов хранятся наВсе данные сервисов хранятся на
подключаемых дискахподключаемых дисках

32. 32
● Цель виртуализации – обеспечениеЦель виртуализации – обеспечение
переносимости серверов и консолидацияпереносимости серверов и консолидация
ресурсовресурсов
Концепции: виртуализация
Технологический пул
●
Использование программно-управляемогоИспользование программно-управляемого
коммутатора сетевых потоков с гарантиейкоммутатора сетевых потоков с гарантией
MAC/IP antispoofingMAC/IP antispoofing
●
Возможность создания снимковВозможность создания снимков
состояния дисков ВМсостояния дисков ВМ
● Режимы паравиртуализации или полнойРежимы паравиртуализации или полной
виртуализации с паравиртуализированнымивиртуализации с паравиртуализированными
драйверамидрайверами

33. 33
Концепции: сетевые сервисы
Технологический пул
●
Использование шлюза уровняИспользование шлюза уровня
приложений (ALG) как единой точкиприложений (ALG) как единой точки
клиентских запросовклиентских запросов
● Использование шифрования (TLS)Использование шифрования (TLS)
при передаче информации черезпри передаче информации через
открытые каналы связиоткрытые каналы связи
● HTTP-контент должен отдаваться сHTTP-контент должен отдаваться с
использованием асинхронного сервераиспользованием асинхронного сервера
● Сервисы должны стремиться разделять trace-Сервисы должны стремиться разделять trace-
и log- потокии log- потоки

34. 34
Концепции: логгирование
Технологический пул
●
Каждый инфопоток, проходящий черезКаждый инфопоток, проходящий через
сервис, обязан предоставлятьсервис, обязан предоставлять
информацию о себе и возникающихинформацию о себе и возникающих
ошибках.ошибках.
● Все потоки логгирования должныВсе потоки логгирования должны
проходить нормализациюпроходить нормализацию
к виду CEE/LumberJackк виду CEE/LumberJack
● Инфопотоками считаются так жеИнфопотоками считаются так же
системные/внутренние потоки данных,системные/внутренние потоки данных,
которые могут быть залогированы.которые могут быть залогированы.

35. 35
Концепции: логгирование
Технологический пул
● Сервер должен посылать CEE-потоки наСервер должен посылать CEE-потоки на
центральный сервер логгированияцентральный сервер логгирования
● Потоки, не прошедшие нормализацию,Потоки, не прошедшие нормализацию,
должны записываться в согласованноедолжны записываться в согласованное
местоположениеместоположение
●
Сервер должен иметь возможностьСервер должен иметь возможность
формирования произвольных JSON-структур дляформирования произвольных JSON-структур для
отправки в систему мониторингаотправки в систему мониторинга

36. 36
Концепции: мониторинг
Технологический пул
Под мониторингом понимается сочетание методовПод мониторингом понимается сочетание методов
и технологий, позволяющих:и технологий, позволяющих:
● эффективно собирать значенияэффективно собирать значения
●
отправлять их на серверотправлять их на сервер
● хранить и аггрегировать значенияхранить и аггрегировать значения
● выполнять действия по заданным условиямвыполнять действия по заданным условиям
(триггеры)(триггеры)
● эффективно описывать метрики мониторингаэффективно описывать метрики мониторинга
(шаблоны)(шаблоны)
● строить графики и комплекты графиковстроить графики и комплекты графиков

37. 37
Концепции: резервирование данных
Технологический пул
обеспечение восстановления данных вобеспечение восстановления данных в
случае потери работоспособности / данныхслучае потери работоспособности / данных
сервиса в согласованные длясервиса в согласованные для
предоставляемого сервиса срокипредоставляемого сервиса сроки
средство восстановления набора данных сервисасредство восстановления набора данных сервиса
за определённый промежуток времени и неза определённый промежуток времени и не
должно рассматриваться как источникдолжно рассматриваться как источник
оперативного получения всех данных сервиса.оперативного получения всех данных сервиса.
Файловое резервное копирование -Файловое резервное копирование -
Цель резервирования данныхЦель резервирования данных ––

38. 38
Концепции: резервирование данных
Технологический пул
●
Все блочные устройства с данными сервисовВсе блочные устройства с данными сервисов
должны иметь однудолжны иметь одну реплику реальногореплику реального
временивремени (синхронную)(синхронную)
● Доступ к резервым данным и технологиямДоступ к резервым данным и технологиям
резервирования данных имеют толькорезервирования данных имеют только
авторизированные сотрудники.авторизированные сотрудники.
●
ЗапускЗапуск снимковснимков всех виртуальных томоввсех виртуальных томов
каждый час. Количество снимковкаждый час. Количество снимков
поддерживается на уровне 24 в день, 28 вподдерживается на уровне 24 в день, 28 в
неделю, 10 в месяц.неделю, 10 в месяц.

39. 39Технологический пул
●
Резервные данные (включая резервныеРезервные данные (включая резервные
копии/реплики и др.) должны храниться каккопии/реплики и др.) должны храниться как
минимум на двух разных физическихминимум на двух разных физических
системахсистемах
●
С интерваламиС интервалами не реже,чем в пол-годане реже,чем в пол-года длядля
пробного ипробного и раза в годраза в год для аварийногодля аварийного
восстановления должно проводитсявосстановления должно проводится
тестирование восстановления сервисов. Притестирование восстановления сервисов. При
этом как минимум два метода должны датьэтом как минимум два метода должны дать
положительный результат.положительный результат.
Концепции: резервирование данных

40. 40
Итоги: Технологический пул - атомы
● Аппаратные серверные платформы
● Интерфейсы/протоколы передачи данных между
аппаратными устройствами
● Операционные система типа "Linux"
● Операционные системы типа "Windows"
● Системы виртуализации
● Системы, реализующие управление VM/сегментацию
ресурсов VM
● Файловые системы
● Системы блочной репликации данных
● Системы файлового резервного копирования
● Системы централизованной аутентификации и авторизации
Технологический пул

41. 41
Итоги: Технологический пул - атомы
● Системы безопасности ОС
● Система, реализующая PKI
● Системы централизованной агрегации данных мониторинга
● Системы централизованной агрегации лог-потоков
● Системы централизованного управления конфигурациями
серверов/сервисов
● Серверы, реализующие проксирование/L4/L7 анализ
● Решения, реализующие Heartbeat/Failover
● Веб-серверы с инерпретаторами языков
● Фреймворки написания сетевых сервисов
● Фреймворки написания application-сервисов
Технологический пул

42. 42
Итоги: Технологический пул - атомы
● Базы данных
● Почтовые серверы (MTA/MDA)
● Методы спам-фильтрации
● DNS серверы
● Программные решения для сетевого
роутинга/NAT/Masquarade
● Аппаратные решения для сетевого
роутинга/NAT/Masquarade
● Клиентские VPN-решения
● VPN-решения класса Server2Server, Network2Network
● Системные приложения для тестирования
производительности
● Системы/фреймворки интерфейсов и предоставления
данных
Технологический пул

43. 43
Пример описания атомов
Технологический пул
●
Ядром передачи данных между серверамиЯдром передачи данных между серверами
(расстояние 3-10 метров) является Infiniband(расстояние 3-10 метров) является Infiniband
(IPoIB/RoCE стеки).(IPoIB/RoCE стеки).
Критерии выбора:Критерии выбора:
● RDMA;RDMA;
●
низкая стоимость внедрения понизкая стоимость внедрения по
сравнению с Fibre Channel;сравнению с Fibre Channel;
●
40/50 Gbit bandwith40/50 Gbit bandwith
2. Интерфейсы/протоколы передачи данных2. Интерфейсы/протоколы передачи данных
между аппаратными устройствамимежду аппаратными устройствами

44. 44
=)
Технологический пул
●
Код добраКод добра – программный код, очевидно– программный код, очевидно
содержащий непоправимые улучшениясодержащий непоправимые улучшения
● Метод пристального взглядаМетод пристального взгляда – способ отладки– способ отладки
программы без использования отладчика илипрограммы без использования отладчика или
оптимизации без использованияоптимизации без использования
профилировщика.профилировщика.

45. 45
● Отраслевые стандартыОтраслевые стандарты
● Организационный пулОрганизационный пул
● Технологический пулТехнологический пул
Back to the Future
Грани IT-бизнеса
●Управление знаниямиУправление знаниями
● Определение схемы бизнесаОпределение схемы бизнеса
Управление знаниями

46. 46
Ключевой аспект → управление знаниямиКлючевой аспект → управление знаниями
Управление знаниями
●
Вовлечение в процессВовлечение в процесс
● Получение комфортного уровня знанийПолучение комфортного уровня знаний
● Формализация знанийФормализация знаний
● Создание решений,Создание решений,
коммерциализациякоммерциализация
Управление знаниями

47. 47
● Отраслевые стандартыОтраслевые стандарты
● Организационный пулОрганизационный пул
● Технологический пулТехнологический пул
Back to the Future
Грани IT-бизнеса
● Управление знаниямиУправление знаниями
●Определение схемыОпределение схемы
бизнесабизнеса
Определение схемы бизнеса

48. 48
●
Объекты:Объекты:
клиентские PC, принтеры, простые локальные сетиклиентские PC, принтеры, простые локальные сети
итд.итд.
● Цель со стороны клиента:Цель со стороны клиента:
минимизация затрат на обслуживание SW/HWминимизация затрат на обслуживание SW/HW
Схемы IT-бизнеса: 1
● Цель со стороны исполнителя:Цель со стороны исполнителя:
выполнение технических работ свыполнение технических работ с
надлежащим качеством, решениенадлежащим качеством, решение
проблем на месте.проблем на месте.
Определение схемы бизнеса

49. 49
● Как представителя клиента:Как представителя клиента:
поддержание уровня бизнес-отношенийподдержание уровня бизнес-отношений
● Как владельца сервисов/процессов:Как владельца сервисов/процессов:
максимальный переходмаксимальный переход
на удалённое решение проблем, планированиена удалённое решение проблем, планирование
задачзадач
Схемы IT-бизнеса: 1
● Как представителя исполнителя:Как представителя исполнителя:
решение проблем исполнителярешение проблем исполнителя
Цель со стороны бизнеса
Определение схемы бизнеса

50. 50
Схемы IT-бизнеса: 1
●
Основа эффективности бизнеса:Основа эффективности бизнеса:
низкие издержки на базовые операции.низкие издержки на базовые операции.
Определение схемы бизнеса

51. 51
●
Объекты:Объекты:
серверы, сложные локальные сети, системысерверы, сложные локальные сети, системы
хранения/обработки данных.хранения/обработки данных.
● Цель со стороны клиента:Цель со стороны клиента:
передача сложных для клиента задач в рукипередача сложных для клиента задач в руки
квалифицированных специалистовквалифицированных специалистов
Схемы IT-бизнеса: 2
● Цель со стороны исполнителя:Цель со стороны исполнителя:
выполнение технических работ свыполнение технических работ с
надлежащим качеством, владениенадлежащим качеством, владение
широким спектром знанийшироким спектром знаний
Определение схемы бизнеса

52. 52
● Как представителя клиента:Как представителя клиента:
формализация рисков и ожиданий клиента вформализация рисков и ожиданий клиента в
технические задачитехнические задачи
●
Как владельца сервисов/процессов:Как владельца сервисов/процессов:
обеспечение прозрачности техническойобеспечение прозрачности технической
инфраструктурыинфраструктуры
Схемы IT-бизнеса: 2
документирование, автоматизация рутинных задачдокументирование, автоматизация рутинных задач
● Как представителя исполнителя:Как представителя исполнителя:
отслеживание сроков работ, планированиеотслеживание сроков работ, планирование
Цель со стороны бизнеса
Определение схемы бизнеса

53. 53
Схемы IT-бизнеса: 2
●
Основа эффективности бизнеса:Основа эффективности бизнеса:
корректный перевод рисков клиента в стоимостькорректный перевод рисков клиента в стоимость
сопровождения.сопровождения.
Определение схемы бизнеса

54. 54
Bonus pack: IT trends
● SupermicroSupermicro
●
Infiniband (RoCE)Infiniband (RoCE)
● xen >= 4.4xen >= 4.4
● OpenVSwitch >= 2.xOpenVSwitch >= 2.x
● OCFS2OCFS2
● DRBD >= 8.4DRBD >= 8.4
●
BaculaBacula
● Corosync/PacemakerCorosync/Pacemaker
●
Nginx PHP-FPMNginx PHP-FPM
● JettyJetty
●
Erlang, Scala,PythonErlang, Scala,Python
● Postgres >= 9.xPostgres >= 9.x
● EximExim
● ZabbixZabbix
●
Rsyslog >= 8.1Rsyslog >= 8.1
● Chef >= 11.4Chef >= 11.4
● Haproxy >= 1.5Haproxy >= 1.5

55. 55
Bonus pack: Литература
● Just for fun - Linus TorvaldsJust for fun - Linus Torvalds
●
The Road ahead - Bill GatesThe Road ahead - Bill Gates
Серия книг cтокгольмской школы экономики:Серия книг cтокгольмской школы экономики:
●
Бизнес в стиле фанк - Кьелл Нордстрем, Йонас РиддерстралеБизнес в стиле фанк - Кьелл Нордстрем, Йонас Риддерстрале
●
Влейте в неё своё сердце - Говард ШульцВлейте в неё своё сердце - Говард Шульц
●
Общество мечты - Рольф ЙенсенОбщество мечты - Рольф Йенсен
●
Michael Harry - 6 SigmaMichael Harry - 6 Sigma
● Standards - ITIL v3, COBITStandards - ITIL v3, COBIT

56. Истомин Евгений
архитектор IT-решений
e.istomin@edss.ee
Cone Center,Tallinn
Спасибо за внимание!
info@cone.ee
Mail your CV:
“Talk is cheap. Show me the code.” L.Torvalds