Alertes Prometheus actionnables : symptômes, pas les causes
Pourquoi alerter sur les symptômes et non les causes, comment régler la clause for et le label severity, et une mauvaise règle Prometheus réécrite proprement.
Votre monitoring existe, mais il ne sert à rien au moment où ça compte : des dashboards que personne ne regarde, des alertes que tout le monde ignore parce qu’elles crient en permanence, et des incidents découverts par le support client plutôt que par la supervision.
Pour la direction, ça se traduit en risques concrets : des pannes que vos clients voient avant vous — et qu’ils racontent ; des astreintes qui usent les équipes jusqu’au départ des meilleurs ; et des arbitrages à l’aveugle, parce que personne ne peut dire si la plateforme va mieux ou moins bien qu’il y a six mois. Quand ça casse, le diagnostic commence par vingt minutes de recherche de la bonne information.
L’observabilité n’est pas une pile d’outils, c’est une discipline : savoir à quelles questions votre production doit pouvoir répondre, et instrumenter pour ça.
Ce qui est mesuré, ce qui devrait l'être, ce qui hurle pour rien. On part de vos incidents récents : qu'aurait-il fallu voir, et en combien de temps ?
Deux ou trois indicateurs sur les parcours réels des utilisateurs, définis avec vos équipes — pas le CPU des machines. Un SLO n'est utile que s'il peut déclencher une décision.
Des alertes actionnables ou pas d'alerte : chaque réveil nocturne correspond à une action concrète, le reste va dans un tableau de bord ou à la poubelle. Outillage sobre — Prometheus, Grafana, logs structurés, tracing là où il apporte quelque chose.
Runbooks d'incident, boucle post-mortem sans recherche de coupable, et une équipe formée à exploiter sa propre observabilité. L'outillage qui reste est celui que vous comprenez et faites vivre sans moi.
Pas de promesses hors-sol : des articles qui montrent comment je travaille, sur de vrais systèmes.
Pourquoi alerter sur les symptômes et non les causes, comment régler la clause for et le label severity, et une mauvaise règle Prometheus réécrite proprement.