AngoraTek EN
← Retour au blog
Ingénierie des données 10 min de lecture

Vos tables peuvent changer de forme sans fenêtre de maintenance

Mardi 9 h 00 au calendrier de déploiement, et la table des trajets a des lecteurs que son écrivain n'a jamais rencontrés : le job d'enrichissement, et un export nocturne qu'un partenaire lit par nom de colonne. Ajouter une colonne devrait tenir en un commit de dix minutes. Dans la plupart des entrepôts en production, c'est une négociation de deux trimestres, parce que chacun de ces lecteurs a cassé la dernière fois que la forme a bougé.

Voici notre position, sans détour : la fenêtre de maintenance est un symptôme, et la maladie est un contrat de compatibilité que personne n'a jamais écrit. Chaque lecteur est couplé à une version de la forme de la table, les lecteurs se déploient sur des calendriers qui n'ont rien à voir avec celui de l'écrivain, et une table qui sert les deux versions à la fois est l'état normal de la production. Évoluez en élargissant d'abord, en migrant ensuite, en contraignant en dernier, et la fenêtre peut se fermer définitivement. L'ordre est la méthode tout entière. Sauter la dernière étape, voilà comment un entrepôt finit avec des colonnes de 2019 que plus rien ne lit.

Le couplage est à la forme, donc faites le premier mouvement additif

L'étape d'élargissement a une règle et une conséquence. La règle : tout ce que vous ajoutez doit rester invisible à qui lit la table aujourd'hui, ce qui veut dire des colonnes nouvelles créées nullable, et des lecteurs qui n'exigent que ce qui existait à leur sortie. La conséquence : l'écrivain et les lecteurs se déploient sur leurs propres calendriers, sans fenêtre de fusion entre eux, parce que la nouvelle forme de la table est un sur-ensemble de l'ancienne et que rien n'a besoin de savoir quoi que ce soit.

Les bases de données sont allées à mi-chemin de ce contrat, et les notes des plateformes méritent une place dans le document de conception. PostgreSQL 11 a rendu l'ajout d'une colonne avec une valeur par défaut constante un changement de métadonnées seule, sans réécriture de table, selon ses notes de version de 2018. Apache Iceberg suit les colonnes par un identifiant interne plutôt que par position, si bien qu'un renommage est une édition de dictionnaire et que l'élargissement d'un type de int en bigint est pris en charge, pas le resserrement, tout cela documenté sous schema evolution. Ces notes règlent une question une fois pour toutes : un format de table absorbe le changement additif à peu de frais, ce qui signifie que le reste du coût d'un changement de schéma se paie ailleurs que dans le moteur de stockage.

Cet « ailleurs » est NOT NULL. Une colonne obligatoire est un changement de contrat, quoi que dise l'outil de migration, parce que chaque écrivain de la maison doit désormais la satisfaire avant que la contrainte n'atterrisse. PostgreSQL 18 embarque la séquence sûre dans sa propre syntaxe ALTER TABLE : ajoutez d'abord la contrainte NOT NULL en NOT VALID, qui ne lie que les nouvelles écritures, puis lancez VALIDATE CONSTRAINT, qui vérifie les lignes existantes sous un verrou plus faible, sans bloquer lectures et écritures ordinaires. Sur les versions antérieures, les deux mêmes étapes passent par une contrainte CHECK en NOT VALID sur la colonne, sa validation, puis SET NOT NULL. La même forme se répète dans chaque base que nous avons modifiée : liez la nouvelle obligation aux nouvelles écritures et vérifiez les vieilles lignes à part, pour que les deux attentes ne tombent jamais derrière un seul déploiement.

La compatibilité a des noms parce que le registre la note déjà

Pour les flux d'événements, le vocabulaire existe déjà, et il vaut la peine d'être emprunté pour les tables. Le Schema Registry de Confluent note explicitement les modes de compatibilité : un changement compatible vers l'arrière laisse le nouveau lecteur consommer les données que l'écrivain précédent a produites, un changement compatible vers l'avant laisse l'ancien lecteur consommer les données nouvelles, et la compatibilité complète est ce qu'une équipe peut promettre quand les deux doivent tenir en même temps pendant un déploiement. Une table à quatorze lecteurs est, dans cette lecture, un schéma dont chaque version doit faire le pont dans les deux directions pendant toute la durée du retard de la flotte de lecteurs.

La règle que le monde des événements n'a cessé d'aiguiser est celle des protocol buffers, et le guide du langage l'énonce à plat : ne réutilisez jamais un numéro de champ retiré, et ne le requalifiez jamais, parce que des messages produits il y a des années portent l'ancienne signification du numéro dans un décodeur qui l'a depuis oubliée. Un renommage qui reprend une ancienne étiquette, un champ passé d'optionnel à obligatoire : chacun est le mécanisme précis par lequel un lecteur et un écrivain cessent de partager une langue au milieu d'un déploiement. La version table de cette règle est sans éclat et elle porte toute la section : chaque champ se lit par nom et se couple par hypothèse, si bien que ce sont les hypothèses, pas les octets, que la compatibilité doit préserver.

Un renommage, mené de bout en bout

La méthode gagne ses galons sur le cas que la migration naïve casse : le renommage. Le nôtre est vendor_ref, une colonne venue des premières semaines de la table des trajets, qui devient external_case_id dans une poussée pour rendre le nommage indépendant du fournisseur. Un renommage ne touche aucune donnée et casse chaque lecteur à la fois, et c'est exactement pourquoi il fait le meilleur exemple travaillé.

Élargir d'abord. La nouvelle colonne est ajoutée, nullable, et l'écrivain remplit les deux : external_case_id et l'ancien vendor_ref reçoivent la même valeur à chaque insertion et chaque mise à jour, sur chaque chemin du code, sur ceux que la documentation ne mentionne jamais non plus. Cette période de double écriture est la partie que les équipes cherchent à sauter, et le saut transforme un renommage d'ennuyeux en incident, parce qu'au moment où l'écrivain cesse d'écrire les deux, l'ancien nom se met à porter des faits plus vieux que les lignes les plus récentes de la table.

Pendant que les deux noms se remplissent, les plus vieux lecteurs reçoivent un pont. Une vue sur la table sert la forme que les retardataires attendent encore, et elle peut même servir des lignes écrites avant que le renommage n'existe :

CREATE VIEW trips_compat AS
SELECT
  trip_id,
  started_at,
  external_case_id,
  COALESCE(external_case_id, vendor_ref) AS vendor_ref
FROM trips;

Migrer ensuite, et l'unité de migration est un lecteur, pas une table. Le remplissage de l'historique avance par lots, idempotent par clé primaire en suivant exactement la discipline d'écriture du billet sur la reprise en pleine course, si bien qu'un remplissage interrompu ne coûte rien sauf du temps. Chaque lecteur expédie sa bascule de vendor_ref vers external_case_id sur son propre train de releases. La vue de compatibilité reste debout jusqu'à ce que son dernier consommateur l'ait quittée, ce qui est connaissable lecteur par lecteur, et non deviné entrepôt par entrepôt.

Contracter en dernier. L'ancienne colonne n'est retirée que quand un recensement des lecteurs montre zéro référence sur un cycle de version entier. Le retrait lui-même se répare facilement : la colonne peut être réajoutée sous son ancien nom et repeuplée depuis la zone d'atterrissage, au prix d'un remplissage. L'étape de contraction, c'est là que se passaient les deux trimestres de négociation ; étalé sur trois déploiements et trois calendriers, le même travail ne contient plus aucune étape qui coûte une nuit de sommeil.

Les étapes de contraction manquent de moteur, alors fabriquez-en un

Rien ne pousse l'étape trois à arriver, et c'est le centre honnête de la méthode. Élargir est urgent, parce que la fonctionnalité sort. Contracter est de la gratitude, due à une équipe future, et la gratitude ne tient pas un calendrier de release. Laissée seule, la vue de compatibilité et la double écriture survivent à chaque personne qui se souvenait de leur raison d'être.

Le recensement est ce que nous construisons en premier, précisément parce que c'est la partie sans propriétaire naturel. Rassemblez chaque lecteur qui nomme la colonne : les requêtes enregistrées dans l'outil BI que personne n'avoue posséder, et le carnet local de l'analyste qui lit la prod parce que sa copie a vieilli. Une colonne n'est sûre à retirer que quand cette liste est démontrablement vide, et la preuve a besoin d'un mécanisme : des journaux de requêtes sur la fenêtre, ou une table de journal de dépréciation que la vue de compatibilité écrit. Postgres montrera les connexions et les comptages d'instructions, mais l'usage par colonne n'est pas dans ses statistiques par défaut, donc le mécanisme est le vôtre à assembler, et « on a vérifié l'autre jour » n'est pas un mécanisme.

Puis donnez au retrait une date et un propriétaire, comme une date de repli en reçoit un. Une colonne sans propriétaire ne part jamais, et un retrait sans propriétaire est le même non-événement portant un numéro de ticket.

Ce que cette méthode ne peut pas faire

Elle ne peut pas sauver un renommage pour les lecteurs hors entrepôt. Un export qu'un partenaire lit par position, une charge utile d'événement qu'un client jamais mis à niveau consomme toujours : ces couplages sont physiques, pas logiques, et la compatibilité pour eux passe par une version, dans un nom de fichier ou un champ, que les deux parties s'accordent avant que la forme ne bouge. Nous avons expédié cette colonne de version à un partenaire exactement une fois, et ce fut moins cher que le deuxième trimestre qu'elle remplaçait.

Les valeurs par défaut sont le deuxième impôt, et il se compose. Une valeur par défaut qui remplit des milliers de lignes transforme « manquant » en « zéro », et le zéro est un fait dès lors, auquel tout lecteur a le droit de croire. La documentation d'Iceberg permet la valeur par défaut, et notre regret est concret : une colonne de statut laissée sur une valeur sentinelle « inconnue » au lieu d'un remplissage réel de l'historique, et un an plus tard trois tableaux de bord font tranquillement des calculs avec le marqueur. Remplissez l'historique avec de vrais remplissages, pas avec des valeurs provisoires plausibles, ou écrivez le provisoire dans les commentaires du code pour que le prochain lecteur sache que c'est un mensonge.

Et la compatibilité complète a un prix, le même que celui que le mode FULL du registre facture : les champs doivent rester optionnels, ce que refuse un domaine aux champs réellement obligatoires. Là où le domaine l'emporte, la solution est la vitesse de convergence de la flotte, parce que la compatibilité complète n'est exigée que le temps d'un déploiement, et cesse de l'être dès que chaque lecteur a bougé. La fenêtre se ferme en se réduisant à exactement le retard de votre lecteur le plus lent.

La méthode, c'est l'ordre. Élargir d'abord, migrer au rythme de vos lecteurs, contracter avec une preuve en main, et c'est la troisième étape qui paie les deux premières. Une forme cesse d'appartenir à son écrivain au moment où un deuxième lecteur la touche.

AngoraTek conduit ces évolutions sur des pipelines réels pour de petites équipes. Si le prochain changement de forme de votre calendrier porte encore une fenêtre, [apportez-nous la table](/fr/#contact) et nous l'élargirons ensemble, dans cet ordre.

Merci d'avoir lu jusqu'ici. Si cela ressemble au problème sur lequel vous butez, parlez-nous-en. L'équipe lit chaque message.

Engager la conversation