Презентация, которую я читал на мероприятии Код ИБ Онлай

1. 19-21 ИЮЛЯ 2016
#CODEIB
Андрей Прозоров, CISM
Руководитель экспертного направления,
Solar Security
2016
BLOG
TWITTER
80na20.blogspot.com
@3DWave
Интегральные метрики в ИБ

2. #CODEIB 2016
Полезные материалы
20 шагов по построению системы измерения ИБ
http://80na20.blogspot.ru/2015/11/20.html
10 принципов измерения ИБ
http://80na20.blogspot.ru/2015/09/10.html
Готовы ли вы измерять ИБ?
http://80na20.blogspot.ru/2015/04/blog-post_14.html
Проблема терминологии в измерении ИБ
http://80na20.blogspot.ru/2015/11/blog-post_19.html
Сложности перевода: Effectiveness vs Efficiency
http://80na20.blogspot.ru/2014/06/effectiveness-vs-efficiency.html
Несколько слайдов про измерение ИБ с конференции VolgaBlob Trend 2015
http://80na20.blogspot.ru/2015/11/volgablob-trend-2015.html
И еще несколько неожиданных мыслей про измерение ИБ
http://80na20.blogspot.ru/2015/11/blog-post.html
Книга про измерение ИТ (ну, и ИБ)
http://80na20.blogspot.ru/2015/01/blog-post_12.html
Метрики по ITIL
http://80na20.blogspot.ru/2016/01/itil.html
Метрики по COBIT5
http://80na20.blogspot.ru/2015/11/cobit5.html
Книга. Сбалансированная система показателей
http://80na20.blogspot.ru/2016/04/blog-post_9.html
Майндкарта по ITU-T X.1208 (метрики ИБ)
http://80na20.blogspot.ru/2015/08/itu-t-x1208.html
Про ISO 27004
http://80na20.blogspot.ru/2012/06/iso-27004.html

3. #CODEIB 2016
О чем эта презентация?
1. Опять про измерения в ИБ 2. Суть интегральных метрик

4. #CODEIB 2016
По ISO 27001-2013
4.4 СУИБ: Организация должна разработать, внедрить,
поддерживать и постоянно совершенствовать СУИБ.
5.2 Политика: Высшее руководство должно разработать
политику информационной безопасности, которая … d)
включает в себя обязательства по постоянному
улучшению СУИБ.
10.2 Постоянное улучшение: Организация должна
постоянно улучшать пригодность, адекватность и
результативность СУИБ.

5. #CODEIB 2016
По СТО БР ИББС 1.0-2014
5.24. Для реализации и поддержания ИБ в организации БС РФ необходима реализация четырех групп
процессов:
— планирование СОИБ организации БС РФ (“планирование”);
— реализация СОИБ организации БС РФ (“реализация”);
— мониторинг и анализ СОИБ организации БС РФ (“проверка”);
— поддержка и улучшение СОИБ организации БС РФ (“совершенствование”).
Указанные группы процессов составляют СМИБ организации БС РФ.
8.1.5. Группа процессов “совершенствование” включает в себя деятельность по принятию решений о
реализации тактических и (или) стратегических улучшений СОИБ. Указанная деятельность, т.е. переход к
этапу “совершенствование”, реализуется только тогда, когда выполнение процессов этапа “проверка”
дало результат, требующий совершенствования СОИБ. При этом сама деятельность по
совершенствованию СОИБ должна реализовываться в рамках групп процессов “реализация” и при
необходимости “планирование”. Пример первой ситуации — введение в действие существующего плана
обеспечения непрерывности бизнеса, поскольку на стадии “проверка” определена необходимость в этом.
Пример второй ситуации — идентификация новой угрозы и последующее обновление оценки рисков на
стадии “планирование”. При этом важно, чтобы все заинтересованные стороны немедленно извещались
о про- водимых улучшениях СОИБ и при необходимости проводилось соответствующее обучение.
Организация БС РФ должна накапливать, обобщать и использовать как свой опыт, так и опыт других
организаций на всех уровнях принятия решений и их исполнения.

6. #CODEIB 2016
Зачем все это?
• Контроль ИБ:
• Аудит ИБ
• Измерение ИБ
• Изменение угроз/рисков
(и допустимого уровня рисков)
• Произошедшие инциденты
• Новые требования
• Прочие изменения в контексте ИБ
Совершенствование
ИБ

7. #CODEIB 2016
Все руководители ИБ так или иначе
придут к измерениям ИБ:
•Требования руководства
•Требования регуляторов
•Ориентир на «лучшие практики»
•Просто здравый смысл (контроль и
повышение результативности)

8. #CODEIB 2016
Измерение по ISO 27001
9.1 Мониторинг, измерение, анализ и оценка
Организация должна оценивать состояние информационной безопасности и результативность СУИБ.
Организация должна определить:
a) что необходимо отслеживать и измерять, в том числе процессы информационной безопасности и
элементы управления;
b) методы мониторинга, измерения, анализа и оценки, в зависимости от обстоятельств, в целях
обеспечения достоверных результатов;
ПРИМЕЧАНИЕ Выбранные методы должны производить сопоставимые и воспроизводимые результаты,
которые будут достоверными.
c) когда должны проводиться действия по мониторингу и измерениям;
d) кто должен осуществлять мониторинг и измерения;
e) когда результаты мониторинга и измерений должны быть проанализированы и оценены;
f) кто должен анализировать и оценивать эти результаты.
Организация должна сохранять соответствующую документированную информацию в качестве
подтверждения результатов мониторинга и измерений

9. #CODEIB 2016
• Проверка (Validate). Производится для контроля выполнения предыдущего
решения.
• Направление (Direct). Производится для задания направление
приложения усилий.
• Оправдание (Justify). Производится с целью подтверждения того, что
изменение/совершенствование необходимо.
• Вмешательство (Intervene). Производится для определения "точки
вмешательства" для последующих изменений и корректирующих действий.
По сути, измерять необходимо для того, чтобы своевременно выявлять
тенденции и реагировать на них.
Причина измерений по ITIL

10. #CODEIB 2016
Варианты измерений№ Измерение ИБ Глобальная цель Потребитель
1 Уровень рисков ИБ Определить приоритеты ИБ CISO
2 Метрики контролей
(доменов ИБ)
Выявить отклонения в нормальной работе ИБ, определить
области ИБ для совершенствования
CISO
3 Метрики процессов ИБ Выявить отклонения в нормальной работе процессов ИБ,
определить приоритеты по их совершенствованию
CISO, CIO
4 Процент выполненных мер
(compliance)
Комплексно оценить состояние ИБ, отчитаться о
выполнении требований
CISO, Legal, Internal
Auditor, Compliance officer,
Regulators
5 Уровень ИБ (самооценка) Понять текущее состояние ИБ CISO, Compliance officer,
Regulators
6 Уровень зрелости процессов ИБ Оценить текущий уровень процессов ИБ, определить
приоритеты по их совершенствованию
CISO, CIO, CEO
7 Уровень возможностей
процессов ИБ
Оценить текущий уровень процессов ИБ, определить
приоритеты по их совершенствованию
CISO, CIO, CEO
8 Количество инцидентов ИБ Понять актуальность угроз ИБ и отчитаться об инцидентах CISO, Compliance officer,
Regulators
9 Ущерб от инцидентов Количественно оценить ущерб от произошедших
инцидентов
CISO, CFO, CEO
10 Экономика проектов ИБ Выбрать оптимальное решение CISO, CIO, CFO, CEO
11 Показатели проектов ИБ Контролировать реализацию проектов ИБ CISO, CIO, PM
12 Выгоды для бизнеса
(оптимизация операционных рисков, оптимизация
ресурсов, прочие выгоды)
Обосновать бюджеты ИБ CISO, CFO, CEO, CTO,
COO

11. #CODEIB 2016
По ITIL (CSI)
Результаты улучшений (постоянное совершенствование) обычно
определяется в следующих терминах:
1. Улучшения (Improvements). Результаты, которые при сравнении
предыдущим состоянием могут показать увеличение желаемой или
уменьшение нежеланной метрики.
2. Выгоды (Benefits). Результаты, достигнутые в результате реализации
улучшений, обычно, но не всегда, выраженные в финансовых терминах.
3. ROI (Return on Investment, возврат инвестиций). Разница между
выгодой, полученной от улучшения, и затратами на его реализацию,
выраженное в процентах.
4. VOI (Value on Investment, добавленная ценность от инвестиций).
Дополнительная ценность, включающая дополнительно
нематериальные выгоды и долгосрочные преимуществами. ROI
является частью VOI.

12. #CODEIB 2016
«Кланы измерителей» ИБ
Benefits/ROI/VOI Improvements

13. #CODEIB 2016
Сравнение подходов
Benefits/ROI/VOI Improvements
Что это? «Метрики денег» «Метрики результативности»
В чем суть? Контроль соотношение затрат и получаемых выгод Контроль (изменения) состояния
Для кого? Для бизнеса Для ИБ / ИТ
Особенность
применения
Кейсы Системный и комплексный подход
Методологи CBA, TCO, ROI, NPV, IRR, P&L, ALE, EVA, TVO, TEI,
расчет ущерба от инцидентов, расходы на ИБ…
ITU-T X.1208, NIST SP 800-55 rev.1, ISO 27004,
COBIT5, ITIL, BSC, ISO 15504…
Автоматизация Обычно Excel Обычно специализированная система (BI), но
можно и Excel
Основные
плюсы
Завязка на деньги, это более понятно для бизнеса Контроль сложных систем и быстрое
реагирование;
Удобно для больших распределенных систем;
Завязано на отчеты СЗИ, из-за этого проще
автоматизировать
Сложности Количественная оценка выгод;
Выравнивание оценки с методологиями, принятыми
в компании
Выбор метрик и показателей, границ и
коэффициентов для верхнеуровневых
показателей;
Обоснование перед руководством
А "Риски" где?

14. #CODEIB 2016
Метрики и домены
ITU-T X.1208 NIST SP 800-55 rev.1 ISO 27004-2009 CIS Security Metrics
v1.1.0
Forrester
1. Vulnerability management
2. Audit log maintenance
3. Incident response
4. Mean time to mitigate vulnerabilities
5. Security patch program deployment
6. Mean time to patch
7. Mean time to complete a configuration change
8. Risk assessment coverage
9. Malware detection and treatment program coverage
10. Contingency planning coverage
11. Security assessment
12. Security pledge
13. Remote access control with security gateway
14. Remote access control with security function for intrusion
prevention or intrusion detection
15. Wireless access control
16. Personnel security
17. Personally identifiable information (PII) protection
18. Back-up data protection
19. Certified security management system (e.g., ISMS) coverage
20. Secure server deployment
21. Spam receipt ratio
22. Organization's awareness programme
23. Security training and education
24. Cybersecurity role and responsibility
25. Malware infection
26. Personally identifiable information leakage
27. Security budget as a percentage of ICT budget
28. Ratio of authorized device
29. Ratio of authorized software
30. Application software security
1. Security Budget
2. Vulnerability
3. Remote Access Control
4. Security Training
5. Audit Record Review
6. C&A Completion
7. Configuration Changes
8. Contingency Plan Testing
9. User Accounts
10.Incident Response
11.Maintenance
12.Media Sanitization
13.Physical Security Incidents
14.Planning
15.Personnel Security Screening
16.Risk Assessment Vulnerability
17.Service Acquisition Contract
18.System and Communication
Protection
19.System and Information
Integrity
1. ISMS Training
2. Password Policies
3. ISMS Review Process
4. ISMS Continual
Improvement
Information Security
Incident Management
5. Management
Commitment
6. Protection Against
Malicious Code
7. Physical Entry Controls
8. Log Files Review
9. Management of
Periodic Maintenance
10.Security in Third Party
Agreements
1. Incident
Management
2. Vulnerability
Management
3. Patch Management
4. Configuration
Management
5. Change
Management
6. Application Security
7. Financial Metrics
8. Future Functions
1. Business
Continuity
2. Security
Configuration
Management
3. Identity
Management
4. Incident
Response
5. Security
Awareness

15. #CODEIB 2016
Метрики и домены
ITU-T X.1208 NIST SP 800-55 rev.1 ISO 27004-2009 CIS Security Metrics
v1.1.0
Forrester
1. Vulnerability management
2. Audit log maintenance
3. Incident response
4. Mean time to mitigate vulnerabilities
5. Security patch program deployment
6. Mean time to patch
7. Mean time to complete a configuration change
8. Risk assessment coverage
9. Malware detection and treatment program coverage
10. Contingency planning coverage
11. Security assessment
12. Security pledge
13. Remote access control with security gateway
14. Remote access control with security function for intrusion
prevention or intrusion detection
15. Wireless access control
16. Personnel security
17. Personally identifiable information (PII) protection
18. Back-up data protection
19. Certified security management system (e.g., ISMS) coverage
20. Secure server deployment
21. Spam receipt ratio
22. Organization's awareness programme
23. Security training and education
24. Cybersecurity role and responsibility
25. Malware infection
26. Personally identifiable information leakage
27. Security budget as a percentage of ICT budget
28. Ratio of authorized device
29. Ratio of authorized software
30. Application software security
1. Security Budget
2. Vulnerability
3. Remote Access Control
4. Security Training
5. Audit Record Review
6. C&A Completion
7. Configuration Changes
8. Contingency Plan Testing
9. User Accounts
10.Incident Response
11.Maintenance
12.Media Sanitization
13.Physical Security Incidents
14.Planning
15.Personnel Security Screening
16.Risk Assessment Vulnerability
17.Service Acquisition Contract
18.System and Communication
Protection
19.System and Information
Integrity
1. ISMS Training
2. Password Policies
3. ISMS Review Process
4. ISMS Continual
Improvement
Information Security
Incident Management
5. Management
Commitment
6. Protection Against
Malicious Code
7. Physical Entry Controls
8. Log Files Review
9. Management of
Periodic Maintenance
10.Security in Third Party
Agreements
1. Incident
Management
2. Vulnerability
Management
3. Patch Management
4. Configuration
Management
5. Change
Management
6. Application Security
7. Financial Metrics
8. Future Functions
1. Business
Continuity
2. Security
Configuration
Management
3. Identity
Management
4. Incident
Response
5. Security
Awareness
1. Почему такие наборы?
2. Примеров мало, очень мало
3. Не все домены (не комплексно)
4. Есть «любимые» метрики/домены
5. В основном технические метрики
6. А что показывать руководству?

16. #CODEIB 2016
Как это было в 2010 г.

17. #CODEIB 2016
Как это было в 2010 г.
• Сложно собирать данные и их
анализировать
• Они не нужны руководству

18. #CODEIB 2016
Интегральные метрики (сбалансированная карта
показателей) – инструмент целеполагания и контроля,
основанный на некотором наборе измеримых целей и
соответствующих им показателей (KPI), характеризующих
различные аспекты состояния объекта управления.
Интегральные метрики позволяют наглядно отобразить
прогресс в достижении различных целей, характеризуемых
произвольным набором метрик.
Суть: пирамида метрик и показателей (обычно 3-4 уровня).

19. #CODEIB 2016
Степень эффективности
управления инцидентами
Степень
защищенности
ресурсов
…
Степень уязвимости ресурсов
Степень защищенности
активов от вредоносного ПО
% хостов с активным
антивирусным ПО
% устраненного
вредоносного ПО
…
% хостов с критичными
уязвимостями
Среднее время устранения
критичных уязвимостей
…
% критичных инцидентов в
единицу времени
% инцидентов, не
разрешенных вовремя
…
«Сырые»данныеотисточников
Показатели 1 уровня Показатели 2 уровня Показатели 3 уровня
Степень
соответствия
внутренним
требованиям по ИБ
Соблюдение
трудовой
дисциплины

20. #CODEIB 2016
Примеры верх.показателей
1. Общий уровень защищенности (%, цель - 100%)
2. Защищенность критичных ИС (%, цель - 100%)
3. Соответствие внутренним требованиям ИБ (%, цель - 100%)
4. Соблюдение политики допустимого использования (%, цель - 100%)
5. Соблюдение трудовой дисциплины (%, цель - 100%)
6. Защищенность Endpoint (%, цель - 100%)
7. Динамика инцидентов ИБ (% и направление, цель – снижение на Х%)
8. Выполнение поручений Комитета по ИБ (%, цель - 100%)
9. Соблюдение SLA/OLA (%, цель - 100%)
10. …
На самом деле Целевой показатель обычно выбирается меньше 100%, например 90%.
«Уровень риска» обычно не выбирают в качестве показателя (не хватает данных по ущербу)

21. #CODEIB 2016
Группы показателей 2го уровня
• Процедура управления инцидентами
• Инциденты по типам
• Управление уязвимостями
• Контроль конфигураций
• Контроль доступа и Парольная
политика
• Резервное копирование
• Повышение осведомленности
(Awareness)
• Физическая безопасность
• Управление изменениями
• Управление уровнем услуг
• Управление документами по ИБ
• Контроль мобильных устройств
• Внутренний аудит
• DLP
• АВЗ
• …

22. #CODEIB 2016
Источники данных
• Risk assessment results
• Asset management systems
• Configuration management systems
• Patch management systems
• Network scanning tools
• Change-control tracking system
• Security event management systems
• Security incident management systems
• Incident reports
• Application tracking systems
• Penetration testing results
• Customer relationship management
• Financial management systems
• Published budgets
• Identity and access management
• Internal and/or external audit reports
• Questionnaires and personal interviews
• Social engineering resistance testing results
• Security awareness training result
• …
Чаще всего: АВЗ, VM и PC, DLP, WEB-фильтры, ITSM-системы
(CMDB, SD), кадровые системы, СКУД, отдельные Excel и пр.

23. #CODEIB 2016
Если не знаете, что измерять, то
ориентируйтесь на вот это:
• Compliance (Соответствие требованиям):
Парольная политика, АВЗ, Допустимое
использование ресурсов, Awareness и пр.
• Coverage (Охват)
Метрики надо выбирать под себя

24. #CODEIB 2016
Рекомендации
• Верхнеуровневые показатели стараются выбирают в одной единице измерения,
обычно «%», и одним целевым направлением (например, для всех «рост»)
• Необходимо определить граничные значения (зеленая, желтая и красная зоны)
• Необходимо определить желаемое (целевое) значение
• Желательно указывать динамику (и предыдущее значение)
• Коэффициенты желательно определять методом Делфи
• Для верхнеуровневых показателей используют или «взвешенное среднее
арифметическое» или «произведение»
Вариант 1: 67%
Вариант 2: 12%

25. #CODEIB 2016
«+» «-»
1. Относительно не сложно
автоматизировать
2. Можно начинать с простых метрик и
СЗИ (то, что уже есть)
3. Удобный (и наглядный) контроль.
Можно все метрики и показатели свести
к небольшому числу верхнеуровневых
показателей
4. Большая гибкость при построении
системы метрик и показателей
5. Может совмещать различные подходы
и модели оценки
1. Да, это похоже на «шаманство».
2. Сложно первоначально выбрать
перечень метрик и показателей
3. Результаты могут быть не понятны / не
нужны руководству
4. Excel конечно же упростит сбор и анализ
данных, но придется задуматься о
более специализированных средствах
5. Не для всех метрик можно
автоматизировать их сбор

26. #CODEIB 2016
Визуализация данных

27. #CODEIB 2016
Шаги по построению системы
1. Решить, что готовы к измерению ИБ
2. Определить заинтересованных лиц и их
ожидания
3. Определить перечень внутренних и внешних
требований
4. Определить цели измерений ИБ
5. Определить перечень возможных
источников данных
6. Определить группы (домены) метрик и
показателей
7. Определить перечень метрик и показателей
8. Определить перечень интегральных
показателей
9. Определитель средние значения метрик и
показателей для вашей отрасли
10. Определить граничные значения
показателей
11. Попробовать собрать результаты измерений
12. Пересмотреть систему метрик и показателей
13. Еще раз попробовать собрать результаты
измерений
14. Провести анализ представленных данных
15. Пересмотреть граничные значения
показателей
16. Представить результаты заинтересованным
лицам
17. Принять управленческое решение по
результатам анализа (при необходимости)
18. Окончательно утвердить перечень метрик и
показателей, граничные и целевые значения
19. Утвердить периодичность оценки и формат
представления данных
20. Регулярно пересматривать и
совершенствовать систему измерения ИБ

28. #CODEIB 2016
Принципы измерения
1. «Нет» измерениям ради измерений
2. Экономическая целесообразность
3. Необходимая точность
4. «Лучшие практики» лишь ориентир
5. Измерение ИБ – это процесс
6. Системный и комплексный подход
7. Иерархия метрик
8. Границы допустимого
9. Максимальная автоматизация
10. Визуализация результатов
Группа принципов Описание Номера
Принципы
результативности
Помогают правильно
производить
измерения
№ 4, 5, 6
Принципы
эффективности
Помогают рационально
использовать ресурсы
№ 2, 3, 9, 10
Принципы ценности Помогают получать
значимые результаты
№ 1, 7, 8
http://80na20.blogspot.ru/2015/09/10.html

29. #CODEIB 2016
«Греховное» поведение
"Греховное" поведение [при измерениях] по BPM CBOK 3.0:
• Тщеславие. Использование измерений исключительно для того, чтобы выставить компанию, ее
сотрудников и особенно менеджеров в лучшем свете. Так как бонусы и вознаграждения обычно
завязаны на показатели эффективности, руководители ожидают благоприятных метрик. Реальная
картина эффективности организации воспринимается скорее как угроза, чем как информация для
корректирующих действий.
• Провинциальность. Функциональные подразделения диктуют только те метрики, которые их
руководители могут контролировать (эффективность процессов подразделений затмевает кросс-
функциональную процессную эффективность)
• Нарциссизм. Измерение с позиции внутреннего наблюдателя (inside-out), а не клиента (outside-out).
• Лень. Уверенность, что уже и так известно, что именно надо измерять, без приложения усилия и
адекватного осмысления.
• Мелочность. Измерение только малой части того, что действительно имеет значение.
• Глупость. Ввод метрик без обдумывания их влияния на поведение людей и, следовательно, на
эффективность предприятия.
• Легкомысленность. Несерьезное отношение к измерениям, споры о метриках, поиск оправданий
низкой эффективности и способов переложить вину на других.

30. СПАСИБО ЗА ВНИМАНИЕ!
ВЫ ВСЕГДА МОЖЕТЕ СО МНОЙ СВЯЗАТЬСЯ
#CODEIB
19-21 ИЮЛЯ 2016
BLOG
TWITTER
80na20.blogspot.com
@3DWave
EMAIL prozorov.info@gmail.com
Андрей Прозоров, CISM
Руководитель экспертного направления,
Solar Security
2016