AngoraTek EN
← Retour au blog
Méthodes 7 min de lecture

Changer un prompt, c'est une revue de code qui commence par un cas qui échoue

Le prompt qui a changé le comportement de votre produit un samedi n'a pas été écrit un samedi. C'était une clause ajoutée à un prompt système onze jours plus tôt, fusionnée par la personne qui l'a écrite, parce que les retouches de prompt voyagent avec les déploiements et n'exigent la revue de personne. Une phrase de prose qui atteint chaque requête d'un produit mérite la prudence qu'on accorde à un parseur CSV. Il la reçoit rarement.

Alors nous faisons la revue des prompts comme du code, et cette revue part d'un cas qui échoue au lieu de partir d'un diff. Le raisonnement est mécanique : la prose cache ses conséquences, un prompt système partagé atteint tous les cas auxquels le produit répond, et il n'existe aucun système de types pour avertir un relecteur des clauses qui vont déformer un comportement ailleurs. Une revue partant du diff lit le changement. Une revue partant du cas qui échoue lit ce que le changement fait, et la différence est exactement là où habitent les régressions.

Une clause reformulée plie des comportements loin d'elle

Le fait difficile à propos des prompts, c'est ce qu'ils n'ont pas : un compilateur. Changez une instruction dans un coin d'un prompt système partagé, et le comportement bouge dans des coins que le diff ne mentionne jamais. Nous avons vu une équipe ajouter une clause banale sur les réponses courtes, et une semaine plus tard un export JSON s'est mis à perdre des clés : le modèle abrégeait les noms de champs pour honorer sa nouvelle règle de brièveté. Rien dans le diff ne pointait vers l'export. Rien n'aurait pu.

Le conflit à nommer est la vitesse d'itération contre le rayon d'impact. Le travail sur un prompt ressemble à l'écriture, et l'écriture récompense les changements rapides, si bien que tout garde-fou posé devant une retouche de prompt paraît pédant un mardi après-midi. La moitié rayon d'impact de l'argument ne se montre qu'un samedi, et à ce moment-là le garde-fou est de l'histoire ancienne. Un processus de revue qui part des cas qui échouent est la façon de faire survivre les deux moitiés : la vitesse reste haute parce que la revue pose une question, et le rayon d'impact rétrécit parce que la question est la bonne. Cette question tient en peu de mots : quel cas est réparé, et quel cas ne doit pas bouger ?

Le fichier des cas qui échouent ouvre la revue

Avant que le relecteur ne voie un diff, le changement porte un cas avec lui : une entrée, la sortie produite par l'ancien prompt, la sortie que le nouveau prompt devrait produire. Le format peut rester simple :

case_id: json-export-keys
prompt_version_before: git:8a41f2c
prompt_version_after: git:d0e77b1
input: |
  Summarize this shipment manifest and return strict JSON.
  Manifest: [attached fixture manifest-407]
expected_output: |
  { "shipment_id": "MF-407", "packages": 18, "weight_kg": 312.4 }
observed_output_before: |
  { "id": "MF-407", "pkgs": 18, "kg": 312.4 }
must_not_change:
  - refusals on policy questions
  - tone of the French-language answers

Le même format, accumulé incident après incident, devient le jeu de référence : les cas que le changement ne doit pas casser, lancés automatiquement sur chaque proposition. Le nommage compte ici plus qu'il n'y paraît : un cas nommé d'après le symptôme qu'il casse se retrouve et se réutilise des mois plus tard, tandis que case_12 devient un fossile. Le jeu de référence existe parce que le fichier des cas qui échouent n'a cessé de grossir. Chaque régression réelle arrivée en production y est entrée comme un cas, et au moment où le fichier tenait quelques dizaines d'entrées, le lancer avant la fusion a fait disparaître la plupart des débats où une revue de prompt se noie autrement. L'étape après le cas qui échoue n'est donc pas un process. C'est le même fichier, mûri.

La liste de contrôle, et pourquoi elle reste petite

La liste de contrôle du relecteur fait six lignes, et six est un choix, parce qu'une liste longue apprend aux gens à survoler :

  • Une intention par changement. Un diff qui reformule et qui ajoute appartient à deux changements.
  • Le cas nommé est lié, et il tourne au vert sur la proposition avant le début de la revue.
  • Le jeu de référence tourne et est cité dans la description du changement, ratés compris.
  • Une pure reformulation part avec un diff des sorties, pas seulement un diff du texte, pour que le relecteur compare des comportements plutôt que des phrases.
  • La version précédente du prompt survit, étiquetée, pour que le repli soit un revert et pas une archéologie.
  • Tout ce que les évals n'atteignent pas est dit à voix haute dans la description, comme un risque, en une phrase.
L'ennui est la note de passage. La meilleure revue qu'un changement de prompt puisse recevoir se termine par le cas qui échoue, qui a tranché le débat, parce que le débat qui réclame un comité est celui qui revient. Quand un septième item veut entrer sur la liste, le test qu'il doit passer : un relecteur peut-il le vérifier en moins d'une minute ? Tout ce qui est plus lent appartient à l'eval, pas à la tête du relecteur.

Le juge qui note le juge

La plupart des changements de prompt sont notés par un LLM qui lit les sorties contre une grille, et une grille de notation est elle-même un prompt. Cette symétrie est la limite honnête de toute la méthode : le juge dérive quand son modèle sous-jacent se met à jour, il peut être joué par des sorties taillées pour sonner juste, et sa fiabilité est aussi relue que vous la rendez. Nous versionnons le prompt du juge dans le même dépôt que les prompts qu'il juge, et nous relisons ses changements sous la même règle, pour qu'un changement de juge exige lui aussi un cas qui échoue. Ce cas, c'est d'habitude une sortie que l'ancien juge a laissée passer et qu'un humain lit puis refuse. Une fois par semaine environ, une personne revérifie à la main un échantillon des sorties notées contre la grille, et la taille de l'échantillon est une décision énoncée à voix haute, pas un réconfort.

Ce que la revue laisse encore passer, et ce que nous en faisons

Les évals encodent ce que vous avez anticipé, et le terrain sauvage, non. Les régressions réelles arrivent sous des formes qu'aucun cas du fichier n'a prédites, et la réponse n'est pas une liste plus longue. La réponse est une porte : tout ce que le terrain envoie devient un nouveau cas dans le fichier avant la fin de la journée, avec la personne qui l'a trouvé nommée responsable du cas. Le fichier grandit vers le produit au lieu de grandir vers l'imagination de l'auteur.

Notre leçon lente fut la clause de onze jours de l'ouverture, et elle fut la nôtre. La clause a fusionné sans revue parce que le changement ressemblait à de la prose, et le bug d'export est remonté plus tard via une autre équipe. La correction qui a tenu n'était pas une règle mais une habitude : les commentaires de revue citent les sorties attendues, pas le texte du prompt. Une phrase à propos de phrases invite à l'édition. Un diff de sorties invite à la décision.

Si votre équipe hésite, la version bon marché tient en une étape : aucun changement de prompt ne fusionne sans cas qui échoue attaché. Le jeu de référence, la revue du juge et la liste de contrôle découlent tous du fichier que cette étape crée, dans l'ordre où ils sont nécessaires.

AngoraTek conduit ce type de revue de prompts pour des fonctionnalités que des équipes livrent à leurs propres clients. Si votre prompt système a dépassé le stade où une retouche est une retouche, [montrez-le-nous](/fr/#contact) et nous ouvrirons ensemble le premier cas qui échoue.

Merci d'avoir lu jusqu'ici. Si cela ressemble au problème sur lequel vous butez, parlez-nous-en. L'équipe lit chaque message.

Engager la conversation