Не все алерты одинаково полезны

Не все алерты одинаково полезны

Мониторинг и настроенные алерты — это база современного девопс. Однако на практике найти идеально работающий мониторинг практически невозможно.

Главная проблема как всегда в балансе: либо алертов слишком мало для того, чтобы покрыть все потенциальные проблемы, либо слишком много, и часть из них начинает срабатывать, когда реальной проблемы нет.

Тут надо понимать, что часто нет выделенной роли SRE для постоянного реагирования на такие тревоги, а это значит, что девопсы вынуждены отрываться от своих дел и анализировать пришедшее сообщение. Каждое такое переключение контекста сильно замедляет основную работу и попросту начинает выбешивать.

Поэтому итог закономерен: на поток алертов забивают, и когда реально случается серьезный инцидент, то будет как в сказке про мальчика и волков.

Рекомендации можно дать следующие: дозируйте количество алертов так, чтобы только важные отрывали вас от дел, а для всех остальных случаев максимально используйте ИИ для анализа серьезности возникающих проблем.