Решил заделать новую рубрику. Ну, как новую? Рассмотрение чужих статей – формат старый как мир. Новое разве что для нашего безопасного комьюнити. В данной рубрике я буду читать для вас разные статьи, разумеется, с моими непревзойденными комментариями :). Статьи, попадающие сюда, я предварительно не читаю, так что мы с вами в равных условиях. Мы первопроходцы в поиске нового и интересного.

И начнем мы со статьи «38 попугаев, или не все метрики одинаково полезны» Андрея Захарова, опубликованной на сайте Jet Info. Это корпоративный портал компании Инфорсистемы Джет. Выбрал я именно ее, так как тема измерений мне близка до глубины души. Начнем.

Оригинальный текст взят as is. Все права на оригинальный текст принадлежат их правообладателям.

 

38 попугаев, или не все метрики одинаково полезны

Сразу вопрос к названию: в оригинале было 38 попугаев и одно попугайское крылышко. Точность – добродетель любых измерений.

Проблема измерения эффективности мер обеспечения ИБ уже давно стала притчей во языцех. За последние годы на эту тему были опубликованы многочисленные статьи, представлены разнообразные доклады на отраслевых конференциях, организован и проведен не один круглый стол.

Да ладно. Можно списочек? И даже если так – вы решили добавить еще одну статью в эту «огромную кучу»?

Но если посмотреть на ситуацию в целом, можно обнаружить, что, несмотря на кажущуюся популярность и востребованность этой темы, в действительности изменилось немногое.

Изменилось по сравнению с чем?

По нашим наблюдениям, доля компаний, использующих комплексные метрики для оценки состояния информационной безопасности, за последнее время возросла лишь незначительно. И тому есть объяснение.

Вы в окно посмотрели? Или исследование проводили?

Что такое метрики и для чего вообще они нужны? Метрики – это функции, которые используются для измерения чего-либо, например, какого-либо процесса. Можно провести простую аналогию с транспортным средством. Для того чтобы определить, как быстро движется автомобиль, используется метрика «спидометр», какое расстояние было пройдено – «одометр». Обычно формула расчета метрики составляется из тех характеристик процесса, которые представляют наибольший интерес.

Специально в словарь заглянул. Самое ближайшее к данному определение:

   математический термин, обозначающий правило определения того или иного расстояния между любыми двумя точками (элементами) данного множества А.

Т.е. проблема в самом начале – в терминах. Метрика не функция, а «числовой показатель», который рассчитывается. А, вот, расчет может проводиться разными способами, в том числе и функцией. Зачем огород городить, вводя новые термины? Чем старые не угодили?

Для начала отметим, что практикуемые в компании методы управления ИБ значительно зависят от сложившегося в ней корпоративного управления.

Точно так. А почему множественное число? Автор у статьи один – Андрей Захаров. Или это коллективное мнение компании Джет? А вот от чего действительно зависит измерение ИБ – так это от уровня корпоративной зрелости.

Если принятие руководством управленческих решений основывается на качественном внутреннем анализе, то и спрос на Business Intelligence (BI) будет высок.

Оу-оу-оу. Мы вроде про безопасность тут, с чего BI ? Продукт плейсмент услуг компании Джет? :)

И наоборот, если для оценки ситуации используется ограниченное число высокоуровневых бизнес-показателей, спрос на анализ внутренних процессов будет ограничен. Каждый вариант напрямую влияет на цели и задачи программы измерения состояния ИБ.

Что вы говорите. Надеюсь, дальше этот тезис будет раскрыт.

Главные вопросы, на которые компании необходимо ответить, чтобы эффективно оценивать свою ИБ, для кого создаются метрики и какую информацию они должны нести.

Очень странный тезис. Ок, поиграем в вашу игру. Например, метрики создаются для распильщиков, какую информацию они должны содержать?

Что по этому поводу советуют эксперты?

По какому поводу? Вопрос-то не поставлен. Во всем тексте сверху нет ни одного знака вопроса.

Для ответа на этот вопрос обратимся к отраслевым стандартам. Пионер стандартизации в области информационной безопасности NIST выделяет 4 типа метрик: достижения целей, реализации (выполнения) процесса, результативности (эффективности) выполнения процесса и влияния на бизнес.

Руководящий документ NIST SP 800-55 Rev.1 был разработан почти 10 лет назад и до сих пор не потерял своей актуальности.

Пропущу шутку, почему статья не вышла 9-10 лет назад.

В нем хорошо отражена идея индикаторов: результативности (KPI), достижения цели (KGI) и риска (KRI).

Да, норм критерии. Немного избыточно, но ок.

Казалось бы, задача понятна, подходы хорошо известны,

А конкретней? Тут весь рынок ждет применения этих «известных подходов». Голословное утверждение.

однако практика показывает, что попытки самостоятельного внедрения системы метрик зачастую заканчиваются неудачей.

Ага, надо звать компанию Джет.

Это происходит потому, что с самого начала не было соблюдено несколько важных условий. Дело в том, что каждый тип метрик предназначен для определенного уровня зрелости (развития) оцениваемых процессов.

А почему об этом написано здесь, а не во введении, где вы говорили о «сложившемся типе корпоративного управления»? Но, правильно ли я понял, что Андрей утверждает, будто метрики «результативности (KPI), достижения цели (KGI) и риска (KRI)» применяются не на всех уровнях зрелости?

Поэтому совершенно бессмысленно конструировать, например, метрики эффективности, если оцениваемые процессы едва удалось документировать.

Да вы что? Метрика эффективности уборки корпоративного туалета измеряема, но вряд ли документирована (во всяком случае на уровне процедур).

Крупный российский оператор связи разработал и внедрил систему метрик информационной безопасности в поддержку недавно утвержденной стратегии в сфере обеспечения ИБ. Разработанные метрики охватывали не только уже существующие процессы обеспечения ИБ, но и те, которые еще предстояло внедрить.

Как это, интересно, у них получилось?

Для удобства подготовки отчетности для руководства, курирующего блок информационной безопасности, расчет метрик был автоматизирован.

Вот это поворот, сразу виден накал автоматизации. Опять продукт плейсмент? И какое это имеет отношение к теме статьи?

Почти сразу же возникла проблема, связанная с некорректностью расчета метрик, поскольку они описывали состояние пока еще не реализованных процессов обеспечения ИБ. Так как руководство интересовали обобщенные показатели состояния ИБ, общая картина получилась «смазанной» в худшую сторону, несмотря на то, что текущее состояние ИБ было достаточно высоким.

Не понятно, как вообще такое допустили? Если уровень ИБ высокий, значит там сидят не идиоты. Значит допустили идиоты, которые эту методику внедряли, а потом сразу автоматизировали, не проведя опытной эксплуатации.

И никакого вывода из примера. Печаль.

Начать с самого простого

Метрики достижения цели позволяют ответить на вопрос о том, были ли решены поставленные ИБ-задачи. Общие цели в области ИБ определены практически в каждой компании.

Не плохо бы пару примеров. Или Андрей считает, что за 10 лет с момента выхода этого NIST все с ним ознакомились?

Частные политики и процедуры конкретизируют и детализируют их в разрезе отдельных процессов. Планы мероприятий, в свою очередь, определяют конкретные задачи, подлежащие выполнению.

Метрики достижения цели используются в первую очередь для оценки наличия результатов, поэтому полезны для оперативного управления.

*подавился чаем* В абзаце выше говорилось про решаемые ИБ-задачи, все это глобальные стратегические вещи. При чем тут оперативное управление? Или компания Джет считает, что метрика достижения цели – кинуть бумагу в шредер?

Важно отметить, что этот тип метрик ничего не говорит о том, достигается ли желаемый результат на регулярной основе. Для этих целей используется метрика реализации процесса.

…

Следующий шаг

Метрики реализации являются следующей ступенькой системы измерения и служат для определения того, в какой мере внедрен конкретный процесс.

Т.е., по мнению автора, процесс «может быть чуть-чуть внедрен»? Процесс либо есть (как-то работает), либо нет (не работает). Возможно редкое состояние, когда мы строим новый процесс. Но это крайне незначительный промежуток времени (дни-недели), чтобы по нему считать метрики.

Они используются в том случае, когда деятельность уже формализована в виде процесса, но он еще не внедрен полностью. К примеру, управление уязвимостями требует наличия процесса их выявления.

Да, но не обязательно. Можно покупать фиды у Касперского.

В том случае, если он выполняется только для 70 систем из 100, можно говорить о 70% его реализации.

А можно сказать, что процесс не достигает цели комплексного управления уязвимостями. Ведь из этих 30 систем все 30 могут быть бизнес-важными.

Этот тип метрики является относительным

Относительным между чем и чем?

и требует наличия установленных пороговых значений,

Как могут быть пороговые значения, если выше говорилось о 100% внедрения процесса? Получается, надо строить еще целый процесс по установке пороговых значений.

с которыми будет сравниваться измеренный результат. Определение пороговых значений отдельная задача, порой еще более сложная, чем основная, поскольку 100%-ный результат любой ценой далеко не всегда является целесообразным. Отметим, что метрики реализации предназначены в основном для руководства ИБ-подразделения, поскольку позволяют отслеживать прогресс внедрения процессов обеспечения ИБ.

Вообще метрики — для руководства.

Входим во вкус

Метрики результативности выполнения процесса, стоящие еще на одну ступеньку выше в иерархии метрик, сфокусированы на конкретных показателях деятельности и отвечают на вопрос, насколько результативно работает тот или иной процесс или защитная мера, будучи внедренными.

Т.е. к чуть-чуть беременным процессам у нас добавились конкретные показатели этой беременности. Я всю жизнь думал, что мы идем от частного к общему. Кстати, ISO тоже так построено.

К примеру, одна из целей процесса повышения осведомленности пользователей в области ИБ состоит в минимизации числа инцидентов, связанных с использованием методов социальной инженерии.

Это правда. Но в начале их надо научить не втыкать гребанные флешки, принесенные из дома. И всякую фигню не устанавливать.

Если в результате обучения пользователей в 8 случаях из 10 они не поддаются на провокационные письма и звонки злоумышленников, можно сказать, что показатель результативности процесса (для этой цели) составляет 80%.

Вообще, при таком выстроенным процессе должно быть 11 из 10. К тому же, надо еще строить процесс оценки, что же в эти 20% инцидентов может попасть. А вдруг там андеррайтер в банке.

Данный тип метрик также является относительным и требует определения пороговых значений, с которыми будет сравниваться результат.

Для того чтобы учесть фактор стоимости ресурсов, которые затрачиваются для достижения желаемого результата, используются метрики эффективности.

Наконец, добрались. Странно, что метрики эффективности не были перечислены в общем пуле выше. Хотя интереснее учитывать не стоимость ресурсов, а критичность активов, не накрытых процессами с 70% реализацией.

Зачастую они являются производными от метрик результативности.

Производными – это значит вытекают из показателей результативности? Т.е. если нам надо измерить общую площадь дома, мы на него смотрим, говорим – 1000 кв. м. А потом идем внутрь с рулеткой и мерим?

Метрики эффективности могут высчитываться по формуле результативность/стоимость,

А могут и не высчитываться. Хорошо бы еще примеров. Интересен также физический смысл данной формулы – мы % делим на деньги. Фактически мы получаем аналог скорости: сколько денег нужно, чтобы увеличить результативность на 1%. И что от чего теперь производное?

где в качестве стоимости могут выступать любые используемые ресурсы: деньги, персонал, время, или их комбинация. Если потребителями метрик результативности являются руководители подразделения ИБ, то метрики эффективности могут быть интересны руководству компании, курирующему ИБ-направление.

Постичь дзен

Наконец, последний тип метрик – метрики влияния на бизнес.

Андрей, мне очень интересно, где можно почитать про последние два вида метрик. Как я понимаю, нижестоящие метрики на бизнес не влияют. А если бы влияли, то не надо было бы вводить новые показатели – они просто бы пересчитывались через нормирующий коэффициент.

Он является самым сложным с точки зрения наполнения. Эти метрики отвечают на вопрос, в какой степени результаты конкретных мер обеспечения ИБ влияют на показатели бизнес-деятельности.

Бизнес, в конечном счете, всегда интересуют доходы, соотнесенные с рисками, поэтому первое, что приходит в голову в качестве критерия измерения, это риск-ориентированные метрики, поскольку это общая цель для всех процессов обеспечения ИБ.

Бизнес как раз не интересуют доходы, «связанные с рисками». Его просто доходы интересуют. И, понятно, чем выше риск – тем больше потенциальный доход, любой тренер на Форексе вам скажет. Что такое «риск-ориентированные метрики»?

Отношение показателя результативности (эффективности)

Андрей, так в прошлой части вы сказали, что результативность и эффективность не одно и то же. Как вы собираетесь «скорость» опять делить на деньги?

конкретной меры ИБ к величине ожидаемых потерь (ALE) по защищаемому активу или процессу неплохая бизнес-метрика,

Исходя из вашего рассуждения, у вас принципиальная разница между активом и процессом. Тут не может быть или.

отражающая меру адекватности защитной меры существующему риску. Однако зачастую возникает проблема, связанная с недостаточно развитым процессом анализа рисков в компании. Поэтому этот подход не универсален.

Завидую вашей невозмутимости. А вообще, риски — это зачастую единственное, до чего могут безопасники дотянуться. Риски не требуют капитальных затрат в со an и железо.

Другой путь выбрать несколько бизнес-целей, очевидным образом зависящих от успехов (или неудач) в области ИБ, и создать метрики на их основе.

Если в компании есть ИТ и от нее как-то зависит бизнес, то все бизнес цели зависят в конечном итоге от ИБ.

В результате масштабного исследования, проведенного Ponemon Institute в 2013 году, выяснилось, что более половины организаций вообще не применяют бизнес-ориентированных метрик ИБ, поскольку не в состоянии оценить фактическое влияние ИБ на бизнес.

Так стандарту 10 лет, и тема уже изжеванная ;)

Кстати, а почему слайд на английском? Дедлайн перед сдачей материала? Ну, и текст можно было бы сделать покрупнее.

Для решения этой сложной задачи можно воспользоваться концепцией системы сбалансированных показателей (Balanced Scorecards, BSC). На рис. 3 приведен пример бизнес-ориентированных метрик ИБ, вписанных в систему ценностных перспектив BSC.

Для статьи норм так критерии. Правда, резанула глаз фраза «доля проектов и процессов с участием ИБ».

Разминка для ума

Рассмотрим использование системы метрик измерения эффективности ИБ на простом примере. Предположим, мы задались целью приобрести автомобиль.

Ну, не совсем корректно. Сразу смешались цели и процесс. Автомобиль рано или поздно будет куплен, а ИБ никогда не заканчивается.

Попробуем сконструировать набор метрик, который поможет нам измерить успех этого мероприятия на всех его этапах.

Прежде чем стать обладателем автомобиля, нам необходимо выбрать желаемую комплектацию, сравнить цены в автосалонах, решить вопрос с финансированием покупки и, собственно, совершить приобретение. Метрика достижения цели будет определяться степенью выполнения всех перечисленных задач в процентном отношении. Дополнительно можно учесть вес/важность каждой задачи.

Обычный метод выбора по весовым коэффициентам, довольно сложно применимый к процессам. Проходят в институте.

Метрик реализации может быть несколько – по одной на задачу (иногда больше). К примеру, если мы решим задействовать средства на покупку из нескольких источников, можно использовать метрику, которая будет характеризовать объем уже собранных средств в сравнении с целевой суммой. Аналогично можно оценить число автосалонов, которые мы посетили, в сравнении с планируемым.

Предположим, мы успешно справились со всеми задачами, но пока этим занимались, самые интересные комплектации во всех автосалонах раскупили, и нам пришлось купить автомобиль с более скромными характеристиками. Метрика результативности нашей покупки характеризует то, в какой степени наш автомобиль соответствует тому, что мы хотели получить, чего мы ожидали. Можно привести множество метрик результативности: оценку разгонной динамики в сравнении с эталоном (например, заявленным изготовителем), шумоизоляцию, экономичность и т.д.

Метрика эффективности покупки в данной ситуации будет определять, насколько привлекательную цену мы заплатили за эту комплектацию, не переплатили ли или не слишком ли залезли в долги.

Наконец, эквивалентом бизнес-метрик будут являться метрики влияния совершенной покупки на нашу жизнь. Насколько продуктивнее мы стали использовать свое время, передвигаясь на автомобиле? Как изменились наши расходы в связи с приобретением? Какие новые возможности у нас появились благодаря наличию автомобиля? Список можно продолжать.

В качестве заключения

Отметим, что ключ к получению действительно эффективных метрик их регулярное тестирование как на этапе конструирования, так и при последующем использовании.

Посыл странный, надо не метрики эффективные делать, а – процессы. Ведь метрики нужны лишь для того, чтобы процессы стали лучше.

Данные, на основании которых должна рассчитываться метрика, могут попросту отсутствовать, быть некорректными или неактуальными. В этой ситуации метрика будет приносить больше вреда, чем пользы. Необходимо всегда отталкиваться от имеющегося фактологического материала, учитывать цели и задачи создаваемых метрик, и по возможности автоматизировать весь процесс.

 

 

Фух, вот и конец. Надеюсь, вам было интересно. Спасибо Андрею Зотову за интересный материал.

Я ставлю 4 полена из 5.

Увидимся, и всего вам доброго.