1. Кадровые вопросы. 1.1. Как отбирать персонал? Возможно ли обучение с нуля? 1.2. Специфика сменной работы, график работы. 1.3. Передача знаний между сотрудниками. 2. Управление процессом, специфика вопросов менеджмента. 2.1. Специфика постановки задач, связанных с поддержкой и оперативным реагированием. 2.2. Регламентирование процессов поддержки. 2.3. Как возможно планирование в условиях хаотической смены приоритетов? 3. Мониторинг техподдержки как средство минимизации человеческого фактора. 3.1. Мониторинг обработки входящих запросов. 3.2. Мониторинг времени, затраченного на выполнение задач. 3.3. Организация и автоматизация "бэк-офиса".

1. Строим 24/7
Евгений Потапов
на высоконагруженном проекте
DevOps центр

2. Евгений Потапов
ITSumma.ru,
генеральный директор
Круглоcуточное удаленное
администрирование
серверов и техническая
поддержка сайтов
100 миллионов
уникальных посетителей в
сутки на поддерживаемых
сайтах
50 человек в штате

3. На поддержке

4. Работаем с 2008 года
Рост от 3 до 50 человек
до 300 оповещений в час
70 активных чатов в день
Головной офис в Иркутске,
офисы в Санкт-Петербурге и
Москве
8-часовые смены,
полноценный 24/7
О компании

5. Содержание
• Когда пора строить 24/7 команду?
• Из каких людей? Сколько их должно быть?
• В чем специфика этой работы? Как бороться с
хаосом?
• Как ставить задачи и организовать
планирование?
• Как обеспечить передачу знаний?
• Как контролировать процесс?
• Как сделать это небольшой компании (и не
тратиться на аутсорс). Как это сделать крупным
проектам?

6. 1. С чего все начинается
Незадолго до релиза и сразу после него

7. 1. С чего все начинается
• О полноценной поддержке никто не
задумывается
Незадолго до релиза и сразу после него

8. 1. С чего все начинается
• О полноценной поддержке никто не
задумывается
• Команда эксплуатации = команда
разработчиков
Незадолго до релиза и сразу после него

9. 1. С чего все начинается
• О полноценной поддержке никто не
задумывается
• Команда эксплуатации = команда
разработчиков
• Алерты приходят всем одновременно, смс-
ками
Незадолго до релиза и сразу после него

10. 1. С чего все начинается
• О полноценной поддержке никто не
задумывается
• Команда эксплуатации = команда
разработчиков
• Алерты приходят всем одновременно, смс-
ками
• Нет «базы знаний» по инцидентам
Незадолго до релиза и сразу после него

11. 1. С чего все начинается
• О полноценной поддержке никто не
задумывается
• Команда эксплуатации = команда
разработчиков
• Алерты приходят всем одновременно, смс-
ками
• Нет «базы знаний» по инцидентам
• Очень простая коммуникация
Незадолго до релиза и сразу после него

12. 1. С чего все начинается
• Неизвестно кто ответственный
Проблемы

13. 1. С чего все начинается
• Неизвестно кто ответственный
• Пропущенные аварии
Проблемы

14. 1. С чего все начинается
• Неизвестно кто ответственный
• Пропущенные аварии
• Нет знаний как чинить аварии
Проблемы

15. 1. С чего все начинается
• Хотя бы самые простые правила назначения
дежурных
Рекомендации

16. 1. С чего все начинается
• Хотя бы самые простые правила назначения
дежурных
• Ретроспектива (постмортем) по любым
пропущенным авариям
Рекомендации

17. 1. С чего все начинается
• Хотя бы самые простые правила назначения
дежурных
• Ретроспектива (постмортем) по любым
пропущенным авариям
• База знаний
Рекомендации

18. 2. Первый выделенный сотрудник
Рост проекта

19. 2. Первый выделенный сотрудник
• Проблем становится больше
Рост проекта

20. 2. Первый выделенный сотрудник
• Проблем становится больше
• «Совместители» начинают уставать
Рост проекта

21. 2. Первый выделенный сотрудник
• Проблем становится больше
• «Совместители» начинают уставать
• Появляется выделенный сотрудник
Рост проекта

22. 2. Первый выделенный сотрудник
• Реагирование и администрирование –
разные компетенции
Проблемы

23. 2. Первый выделенный сотрудник
• Реагирование и администрирование –
разные компетенции
• Сотрудник не готов просыпаться по ночам
Проблемы

24. 2. Первый выделенный сотрудник
• Реагирование и администрирование –
разные компетенции
• Сотрудник не готов просыпаться по ночам
• Болезнь сотрудника становится большой
проблемой
Проблемы

25. 2. Первый выделенный сотрудник
• Сотрудник должен уметь быстро находить
решения
Рекомендации

26. 2. Первый выделенный сотрудник
• Сотрудник должен уметь быстро находить
решения
• Обсудите характер работы
Рекомендации

27. 2. Первый выделенный сотрудник
• Сотрудник должен уметь быстро находить
решения
• Обсудите характер работы
• Продумайте бэкап-план
Рекомендации

28. 2. Первый выделенный сотрудник
• Сотрудник должен уметь быстро находить
решения
• Обсудите характер работы
• Продумайте бэкап-план
• Готовьтесь нанимать больше людей
Рекомендации

29. 3. Команда поддержки
Выход на стабильный уровень

30. 3. Команда поддержки
• Большое количество регулярных задач
Выход на стабильный уровень

31. 3. Команда поддержки
• Большое количество регулярных задач
• Один человек не справляется
Выход на стабильный уровень

32. 3. Команда поддержки
• Большое количество регулярных задач
• Один человек не справляется
• Поддержка все еще может спать
Выход на стабильный уровень

33. 3. Команда поддержки
• Большое количество регулярных задач
• Один человек не справляется
• Поддержка все еще может спать
• Первые организационные сложности
Выход на стабильный уровень

34. 3. Команда поддержки
• Архитектурные проблемы – затыкание дыр
Проблемы

35. 3. Команда поддержки
• Архитектурные проблемы – затыкание дыр
• Много задач со статусом «срочно» и «надо
было вчера»
Проблемы

36. 3. Команда поддержки
• Архитектурные проблемы – затыкание дыр
• Много задач со статусом «срочно» и «надо
было вчера»
• Много знаний в голове у людей
Проблемы

37. 3. Команда поддержки
• Архитектурные проблемы – затыкание дыр
• Много задач со статусом «срочно» и «надо
было вчера»
• Много знаний в голове у людей
• Еще нет формализации процессов
поддержки
Проблемы

38. 3. Команда поддержки
• Акцент на стабильность и формализацию
Рекомендации

39. 3. Команда поддержки
• Акцент на стабильность и формализацию
• Быстро научить админа нельзя
Рекомендации

40. 3. Команда поддержки
• Акцент на стабильность и формализацию
• Быстро научить админа нельзя
• Четкое расписание дежурств, эскалация
Рекомендации

41. 3. Команда поддержки
• Акцент на стабильность и формализацию
• Быстро научить админа нельзя
• Четкое расписание дежурств, эскалация
• Четкая постановка задач, чеклисты
Рекомендации

42. 3. Команда поддержки
• Акцент на стабильность и формализацию
• Быстро научить админа нельзя
• Четкое расписание дежурств, эскалация
• Четкая постановка задач, чеклисты
• Шанс зафиксировать команду
Рекомендации

43. 4. Спать больше нельзя
12-часовые смены

44. 4. Спать больше нельзя
• Относится к крупным проектам или к
бардаку
12-часовые смены

45. 4. Спать больше нельзя
• Относится к крупным проектам или к
бардаку
• Проще не спать, чем спать
12-часовые смены

46. 4. Спать больше нельзя
• Относится к крупным проектам или к
бардаку
• Проще не спать, чем спать
• 12-часовые смены, 2 через 2
12-часовые смены

47. 4. Спать больше нельзя
• Физически тяжело
Проблемы, проблемы, проблемы

48. 4. Спать больше нельзя
• Физически тяжело
• Человеческий фактор
Проблемы, проблемы, проблемы

49. 4. Спать больше нельзя
• Физически тяжело
• Человеческий фактор
• Опять проблемы с расписанием
Проблемы, проблемы, проблемы

50. 4. Спать больше нельзя
• Физически тяжело
• Человеческий фактор
• Опять проблемы с расписанием
• Высокая нагрузка
Проблемы, проблемы, проблемы

51. 4. Спать больше нельзя
• Людей должно быть много
Рекомендации

52. 4. Спать больше нельзя
• Людей должно быть много
• Мониторим нагрузку на человека
Рекомендации

53. 4. Спать больше нельзя
• Людей должно быть много
• Мониторим нагрузку на человека
• Контролируем перегорание людей
Рекомендации

54. 4. Спать больше нельзя
• Людей должно быть много
• Мониторим нагрузку на человека
• Контролируем перегорание людей
• Этот этап – переходный период
Рекомендации

55. 5. Стабильная команда
8-часовые смены

56. 5. Стабильная команда
• Хватает людей
8-часовые смены

57. 5. Стабильная команда
• Хватает людей
• Серьезный менеджмент
8-часовые смены

58. 5. Стабильная команда
• Хватает людей
• Серьезный менеджмент
• Бэк-офис
8-часовые смены

59. 5. Стабильная команда
• Очень сложно передаются знания
Проблемы

60. 5. Стабильная команда
• Очень сложно передаются знания
• Не хватает инструментов
Проблемы

61. 5. Стабильная команда
• Очень сложно передаются знания
• Не хватает инструментов
• Огромный человеческий фактор
Проблемы

62. 5. Стабильная команда
• Очень сложно передаются знания
• Не хватает инструментов
• Огромный человеческий фактор
• Классические проблемы роста
Проблемы

63. 5. Стабильная команда
• Повальная регламентация
Рекомендации

64. 5. Стабильная команда
• Повальная регламентация
• Ресурсы – в оптимизацию инструментов
Рекомендации

65. 5. Стабильная команда
• Повальная регламентация
• Ресурсы – в оптимизацию инструментов
• Борьба с самоуправством
Рекомендации

66. 5. Стабильная команда
• Повальная регламентация
• Ресурсы – в оптимизацию инструментов
• Борьба с самоуправством
• С людьми надо разговаривать
Рекомендации

67. 6. Географически распределенная команда
Максимальная бдительность

68. 6. Географически распределенная команда
• Для проектов с критической важностью
доступности
Максимальная бдительность

69. 6. Географически распределенная команда
• Для проектов с критической важностью
доступности
• Распределение по часовым поясам
Максимальная бдительность

70. 6. Географически распределенная команда
• Для проектов с критической важностью
доступности
• Распределение по часовым поясам
• Больше организационных проблем
Максимальная бдительность

71. 6. Географически распределенная команда
• В регионах очень сложно найти людей
Проблемы

72. 6. Географически распределенная команда
• В регионах очень сложно найти людей
• В крупных регионах – выше конкуренция
Проблемы

73. 6. Географически распределенная команда
• В регионах очень сложно найти людей
• В крупных регионах – выше конкуренция
• Коммуникации усложняются
Проблемы

74. 6. Географически распределенная команда
• В регионах очень сложно найти людей
• В крупных регионах – выше конкуренция
• Коммуникации усложняются
• Сложности с передачей культуры компании
Проблемы

75. 6. Географически распределенная команда
• Проще открывать офисы в более развитых
регионах
Рекомендации

76. 6. Географически распределенная команда
• Проще открывать офисы в более развитых
регионах
• «Высадка десанта»
Рекомендации

77. 6. Географически распределенная команда
• Проще открывать офисы в более развитых
регионах
• «Высадка десанта»
• ???
Рекомендации

78. 7. Все вместе

79. 7. Все вместе
• Сразу назначьте дежурных
• Документируйте аварии
• Нанимая, ориентируйтесь на способность работы в
стрессовой среде
• При росте оповещений – сначала стабилизируйте
архитектуру/исправляйте проблемы и только потом
нанимайте людей
• Формализуйте расписание и назначьте ответственных
• Избавляйтесь от знаний только «в голове»
• 12-и часовые смены – зло
• Мониторьте нагрузку на техподдержку
• Разговаривайте с людьми

80. Спасибо за внимание!
Евгений Потапов
http://facebook.com/eapotapov
eapotapov@itsumma.ru
http://itsumma.ru