Votre tableau de bord est vert et les chiffres ont quand même tort
Lundi, dans la réunion où le chiffre compte : la diapositive trois annonce 41 280 permis délivrés ce trimestre. Un rafraîchissement à 6 h 00 et un autre à 6 h 07 montrent tous deux des flèches vertes sur le DAG, et les deux divergent de 26 000. Rien n'a échoué. L'orchestrateur dit la vérité, et c'est tout le problème.
Le statut qu'un ordonnanceur rapporte ne répond qu'à une seule question : le code a-t-il tourné. Il ne répond pas à la question que pose tout l'étage du dessus, à savoir si la table contient désormais la vérité. Fermer cet écart est un travail de conception, pas un trait de caractère de l'équipe données, et l'essentiel tient en un petit ensemble de contrôles qui tournent après le job et traitent la sortie comme une preuve plutôt que comme une promesse. Ce billet déroule les quatre que nous n'omettons jamais, sur un exemple unique mené de bout en bout, un pipeline de permis alimenté par un export d'un fournisseur.
Le DAG témoigne de l'exécution, et de rien d'autre
Demandez-vous ce qu'une coche verte a réellement observé. Le processus a démarré, n'a rien retenté, et s'est terminé avec le code zéro. Voilà tout le témoignage, et il vaut aussi bien pour une table pleine des bonnes lignes que pour une table vide parce qu'un filtre est devenu trop serré d'une valeur il y a deux déploiements. L'orchestrateur ne vous ment pas. Il répond à une autre question que celle que vous avez posée, et sa réponse est parfaitement vraie.
Le succès le plus vide que nous croisons le plus souvent est le filtre trop serré. Une clé de jointure gagne une normalisation (minuscules, par exemple), le fournisseur continue d'envoyer un mélange de casses, la jointure perd chaque ligne, et le pipeline annonce le succès sur zéro ligne pendant que les requêtes en aval montrent un hier en bonne santé et un aujourd'hui mort. Depuis son siège, le DAG n'a rien vu de tout cela, il a fait son travail. Un pipeline dont chaque mode de défaillance est visible de l'orchestrateur est un pipeline dont les défaillances font toutes planter le processus, et celle qui ne le fait pas, la mauvaise réponse, est celle qui a des conséquences métier.
Les comptages de lignes passent trop aisément pour être le test entier
La contre-mesure standard, réconcilier les comptages de lignes entre source et sink, est la première chose que nous attrapons et la première qui trahit. Zéro ligne se réconcilie parfaitement contre zéro ligne. Les doublons se réconcilient : un bogue qui duplique les lignes en amont et une déduplication accidentelle en aval s'accordent sur le total pendant que chaque ligne individuelle est double. Et un pipeline peut déplacer exactement le bon nombre de lignes avec chaque champ d'adresse à NULL, parce qu'une colonne a cessé de se peupler en silence et que rien, dans un comptage, ne regarde le contenu.
Ce que nous réconcilions plutôt, ce sont des invariants qu'un bogue a du mal à satisfaire par accident. Des clés primaires distinctes contre le comptage de lignes, ce qui attrape la duplication. La somme d'une mesure au comportement connu, disons le total des frais de permis, comparée de part et d'autre de la frontière du pipeline, ce qui attrape une valeur décalée ou un filtre qui a mangé du revenu. Les dates min et max d'événements dans la fenêtre attendue, ce qui attrape la partition périmée servie en silence comme si elle était courante. Aucun de ces contrôles ne sait ce que les données devraient être ; chacun rend une erreur coûteuse à produire, ce qui est un autre marché, et un meilleur, que demander à un comptage qu'il certifie le contenu.
Les invariants tournent après le job, contre le sink, et ils peuvent faire échouer le pipeline : un invariant qui échoue bloque l'étape de publication, ce qui est la seule façon pour une mauvaise table d'arrêter d'être la table que tout le monde lit.
Les taux de NULL sont le capteur le moins cher que vous ayez déjà
Une colonne, une ligne de SQL, et elle a attrapé plus de changements côté fournisseur que chaque diff de schéma que nous ayons jamais déposé. Un capteur de taux de NULL enregistre, par table et par colonne, la part de valeurs nulles à chaque chargement. Une colonne qui tourne à 0,2 % de NULL depuis des semaines et qui arrive à 31 % de NULL n'a fait échouer aucune étape ; l'export a changé, en silence, et désormais chaque recherche de géocodage en aval a perdu un tiers de ses entrées.
SELECT load_date,
round(100.0 * count(*) FILTER (WHERE address IS NULL)
/ count(*), 2) AS address_null_pct
FROM raw_permits
GROUP BY load_date
ORDER BY load_date DESC;
La condition d'alerte est une dérive contre sa propre histoire, pas un seuil fixe deviné en réunion. Une colonne toujours à 40 % de NULL va très bien. La même colonne qui passe de 4 à 40 en un seul chargement est un incident. Nous stockons une ligne par table et par chargement, et le saut entre les deux dernières lignes est ce qui déclenche la page. C'est la même posture de boucle de validation que nous défendons dans géocoder un recensement public, et pour la même raison : des contrôles à bon marché tournés en continu valent mieux que des contrôles coûteux tournés à la fin d'un trimestre.
Le même harnais se prolonge naturellement : des comptages distincts de clés qui devraient être quasi uniques, et des comptages de lignes par partition à la place des totaux pour toute la table. Un capteur par famille, réglé sur la colonne où un changement silencieux coûterait le plus, vaut n'importe quel produit de monitoring que nous ayons vu en démonstration avec un visage impassible.
La fraîcheur est un SLO, donc donnez-lui un propriétaire et une page
Un horodatage sur un tableau de bord dit au lecteur quand la table s'est mise à jour. Il ne lui dit pas si cette mise à jour portait des données courantes, et il n'assigne à personne la charge de s'en apercevoir. Un SLO de fraîcheur fait les deux : par table, la fraîcheur est l'âge des données d'événements les plus récentes dans le sink, maintenant moins max(event_time). Le SLO dit à quel âge la table a droit, et une percée réveille une personne nommée, avec une étape de runbook qui dit quoi vérifier en premier.
Fixer le chiffre est une conversation unique, et c'est là que le calendrier de publication du fournisseur et le besoin métier se rejoignent. L'export de permis arrive chaque nuit à 5 h 00, donc le sink doit être vieux de quelques heures à la réunion du matin, pas de quelques jours. Dites-le comme une promesse portant un nom, comme la pratique SRE que Google documente sur l'implémentation des SLO : la cible, la fenêtre de mesure, et la conséquence quand elle manque. Un chiffre de fraîcheur sans conséquence est un souhait avec un widget accroché.
Puis laissez le SLO échouer bruyamment. Une percée à 6 h 00 réveille quelqu'un, au lieu de laisser le chiffre dormir jusqu'à ce que la prochaine réunion le découvre. Le mode de défaillance que cela attrape est précisément le genre silencieux, un pipeline qui a tourné et produit quelque chose : des flèches vertes sur du code correct, qui sert les données d'hier.
Ce que la réconciliation ne peut pas attraper
Les invariants partagent un angle mort, et il mérite sa propre phrase : ils comparent le pipeline contre lui-même. Un fournisseur qui se met à envoyer un champ faux mais en interne cohérent, des frais de permis glissés en estimations plutôt qu'en montants réels, se réconcilie proprement à chaque étage que nous surveillons, parce que l'erreur est en amont de chaque contrôle. Seule une comparaison avec une définition, un total attendu que l'équipe finance détient indépendamment, attrape cette classe d'erreur. Nous gardons un point-contrôle manuel sur les petites tables. Le coût se chiffre en minutes par mois, et c'est le seul contrôle de tout l'appareil qui sache ce que devrait être un frais de permis.
Les capteurs ont aussi leurs propres modes de défaillance, plus silencieux que les pannes qu'ils surveillent. Une colonne renommée transforme un capteur de taux de NULL en appareil qui rapporte 100 % pour l'éternité, et sans alerte sur le capteur lui-même, la surveillance devient la plus récente source de fausse confiance. Alerte sur le moniteur : un capteur qui cesse de produire une histoire comparable est lui-même un manquement.
Et chaque contrôle que nous listons n'est vivant qu'au niveau de son propriétaire. Les moniteurs orphelins dérivent. Des seuils vieux de deux ans continuent de sonner sur du vide jusqu'à ce que quelqu'un coupe le canal, et une page qui sonne deux fois pour rien entraîne l'équipe à dormir pendant la troisième. Le recensement des moniteurs est une corvée aussi réelle que le recensement des colonnes, et c'est le prix de toute la conception.
Vert est une déclaration sur le code. Les chiffres ont besoin de leurs propres témoins.
AngoraTek conçoit ces contrôles dans les pipelines que nous remettons en main propre, pas comme des ajouts de dernière minute. Si votre équipe est actuellement votre unique capteur, [apportez-nous le pipeline](/fr/#contact) et nous suspendrons les témoins avant la prochaine réunion du lundi.Merci d'avoir lu jusqu'ici. Si cela ressemble au problème sur lequel vous butez, parlez-nous-en. L'équipe lit chaque message.
Engager la conversation