В этой статье рассмотрим, как настроить алерты и уведомления в Grafana. Этот инструмент для визуализации данных позволяет наблюдать за ключевыми показателями работы системы. При этом важно своевременно получать оповещения, чтобы быстро реагировать на возникшие ошибки и принимать необходимые меры по их устранению. О том, как установить Grafana, читайте в статье «Включение параметров мониторинга в ELMA365 Enterprise».
Настройка уведомлений и алертов в Grafana состоит из трёх этапов:
- Настроить способ получения уведомлений.
- Создать правила оповещения.
- Настроить маршрутизацию оповещений.
Шаг 1: Настроить способ получения уведомлений
В настройках Grafana перейдите в раздел Alerting > Contact points и в поле Integration укажите способ получения уведомлений, а затем заполните соответствующие поля.
Чтобы получать уведомления через электронную почту, выберите опцию Email. Затем в появившемся поле Addresses укажите список электронных адресов, на которые будут отправляться уведомления.
Для получения уведомлений через Telegram в поле Integration выберите соответствующий способ. После этого появятся поля BOT API Token и Chat ID. Чтобы их заполнить, выполните следующие действия:
- Перейдите в Telegram и создайте бота.
- Скопируйте токен бота и введите его в поле BOT API Token.
- Создайте группу в Telegram и добавьте в неё вашего бота.
- Получите ID группы и укажите его в поле Chat ID.
Для выполнения действий в Telegram используйте официальную документацию.
Шаг 2: Создать правила оповещения
На основе метрик с использованием Prometheus или отслеживании логов с помощью Loki вы можете создать правила оповещения.
Для примера создадим правило оповещения по метрикам с использованием дэшборда ELMA365-Overview и настроим уведомления при нагрузке на ноде CPU более 80% длительностью 5 минут. Для этого в дэшборде откройте нужный раздел, в нашем случае — Nodes info. Затем в правом верхнем углу нажмите на три точки и выберите пункт More > New alert rule. В открывшемся окне выполните следующие действия:
- В поле Name введите название правила оповещения, например, CPU Usage. Во втором пункте автоматически отобразится скрипт правила. В конце текста этого скрипта установите пороговое значение для срабатывания правила на уровень > 0.8.
- Далее в этом же окне создайте новую группу оценки со значением 5m (пять минут), а также задайте название для неё. Тогда оповещение поступит, если нагрузка на CPU превышает 80% на протяжении всего указанного времени.
- Затем в этом же окне в поле Folder выберите папку, в которой будут сохраняться и отображаться уведомления по созданному правилу. В поле Evaluation group добавьте ранее созданную группу оценки 5m.
Дополнительно в окне New alert rule можно добавить лейблы и аннотации для вашего правила оповещения. Лейблы помогут вам классифицировать и фильтровать оповещения, а аннотации позволят добавить описание проблемы или действий, которые следует предпринять.
Шаг 3: Настроить маршрутизацию оповещений
Перейдите в раздел Alerting – Notification policies и в открывшемся окне:
- заполните пункт Matching labels;
- в поле Contact point выберите способ получения уведомлений.
Образец заполнения:
Маршрутизация настроена. Если пороговое значение будет превышать коэффициент 0.8 в течение 5 минут, то поступит уведомление на указанный электронный адрес.