Vos régressions RAG sont trouvées par vos utilisateurs, pas par la CI
Le rapport de bogue que gagne un système de retrieval n'est jamais un code d'erreur. C'est un courriel de mardi qui dit que le portail des permis citait le barème 2024 et que cette semaine il cite 2023. L'auteur a raison, rien n'a planté, aucun tableau de bord n'a rougi, et le changement responsable a été fusionné une semaine plus tôt avec un diff propre et une revue favorable. Si un tel courriel a déjà porté votre nom dans le champ destinataire, ce billet est l'argument pour ce qui aurait dû l'intercepter en premier, une suite d'évaluation qui tourne en CI.
La thèse en une phrase : la plupart des régressions d'un RAG coûtent peu à intercepter et cher à trouver, et quelques centaines de questions de référence qui tournent en CI en interceptent plus que n'importe quelle mise à niveau d'infrastructure achetable ce trimestre. La suite est un travail logiciel sans éclat, un fichier versionné, un script, une étape de pipeline qui passe au rouge avant la fusion. L'ordre compte plus que l'outillage. D'abord les évaluations, ensuite la montée en charge : la séquence qui ne dépense pas un trimestre à servir des réponses non auditées.
Une régression RAG est un échange silencieux de la phrase citée
Rien, dans une pile de retrieval, ne lève un drapeau quand elle déraille, parce que chaque étage réussit son travail. Le morceleur morcelle encore. Le modèle d'embeddings plonge encore. Le magasin répond toujours aux pings. Ce qui change, ce sont les cinq documents qui remontent en tête, et la réponse générée les suit : le système renvoie 200 avec l'amendement de 2023 en main au lieu du barème de 2024. Les deux documents contiennent le mot renouvellement, d'où le grep lancé dans les journaux de staging, qui ne trouve rien.
Les défenses habituelles s'érodent tout aussi silencieusement. Le sondage manuel couvre cinq requêtes favorites, et les favorites vieillissent : elles exercent ce que l'équipe connaît déjà, par définition pas la zone où vit la prochaine erreur. Le test de fumée de staging reste vert à travers chacun de ces changements, car une régression de retrieval est un défaut d'exactitude vêtu des habits d'une requête réussie. Aucun des deux contrôles ne pose la seule question qui compte : la même question a-t-elle reçu le même appui cette semaine que la précédente ?
Et la pile compte assez d'étages mobiles pour faire de la dérive silencieuse un événement ordinaire. Taille des morceaux, modèle d'embeddings, reconstruction d'index, seuil du reranker, formulation de l'invite système : chaque ligne est un diff d'une ligne, chacune remodèle ce que voit l'étage suivant, et un nettoyage raisonnable dans une couche est une régression dans les réponses. Fin 2025, c'est la forme standard d'une panne RAG, et la correction vit au même endroit que celle de toute autre régression, en CI.
Les questions de référence viennent des journaux, pas des réunions
Notre première suite d'évaluation a échoué de la façon standard. Vingt questions écrites en salle de réunion par les gens qui avaient construit le système, et elle a tenu bon pendant un trimestre pendant que les erreurs continuaient d'arriver, parce que les auteurs ne posent jamais les questions impaires, à demi tapées, que les utilisateurs posent un vendredi après-midi. La correction est humiliante par sa petitesse. Les questions viennent des propres journaux de requêtes du produit, échantillonnés sur un trimestre, fautes de frappe, abréviations et formulations polies comprises.
Ce que cet échantillonnage produit, c'est un fichier versionné qui vit dans le dépôt, relu et amendé comme le code qu'il protège :
- question: "What is the fee to renew a commercial permit?"
expected_source: "fee-schedule-2024.pdf"
answer_contains: "renewal"
- question: "Why did the council reject the harbor variance?"
expect_refusal: true
- question: "fee renewal comercial permit"
expected_source: "fee-schedule-2024.pdf"
Trois champs portent l'essentiel. expected_source nomme le document qui doit apparaître dans les cinq premiers résultats, ce qui épingle le retrieval lui-même. answer_contains est la sous-chaîne que la réponse générée doit contenir, ce qui épingle la génération sans noter de dissertation. expect_refusal marque les questions que le corpus ne peut pas trancher et que le système doit décliner, les demandes hors périmètre étant l'endroit où un RAG fabrique ses plus fluides âneries. La faute d'orthographe de la dernière ligne n'est pas décorative : une bonne part du trafic réel s'écrit plus mal.
Quelques centaines est le chiffre de travail, ni vingt ni vingt mille. Assez de lignes pour qu'un mauvais changement en déclenche plusieurs à la fois, assez peu pour qu'un humain relise chaque échec que le job remonte. Deux habitudes gardent le fichier honnête : une ligne de plus à chaque erreur signalée par un utilisateur, chaque plainte devenant test de non-régression, et l'élagage des vieilles lignes quand les documents qu'elles nomment sont retirés, pour que la suite ne teste pas de l'histoire.
Où tourne le job compte moins qu'un détail, et le détail est un corpus figé. Matcher sur des données vivantes confond régressions de code et dérive de contenu, et une fusion échouée qu'on ne peut imputer à aucun diff est une fusion échouée que personne ne croie deux fois. Épinglez un petit instantané des documents, versionné avec le fichier de cas, pour que chaque échec s'impute à ce qu'un commit a vraiment changé.
Trois assertions portent l'essentiel de la charge
L'assertion qui intercepte le plus est le coup au niveau retrieval, et elle tourne avant qu'un seul jeton de génération soit facturé. Le document censé appuyer cette réponse apparaît-il dans les cinq premiers résultats ? Un changement de taille de morceaux, un rafraîchissement d'embeddings ou une reconstruction d'index, les trois changements qui ont cassé le barème ci-dessus, se trahissent ici en quelques secondes :
def test_golden_case(case, rag):
hits = rag.search(case["question"], k=5)
sources = [hit.source for hit in hits]
assert case["expected_source"] in sources, case["question"]
if case.get("answer_contains"):
answer = rag.answer(case["question"], hits)
assert case["answer_contains"] in answer, case["question"]
Voilà l'essentiel de la machinerie. Une fixture pytest lit le YAML et paramètre chaque ligne en test, le job fait échouer la fusion dès qu'une assertion se déclenche, et un cas à sortie structurée vérifie la forme du JSON contre un schéma avant que quoi que ce soit touche la charge utile.
Le containment couvre les faits à formulation canonique ; un LLM servant de juge couvre le reste, ouvert, noté contre un barème écrit. Deux réserves viennent de la pratique. Épinglez le modèle juge comme une dépendance : nous avons vu un juge non épinglé se mettre à niveau en plein trimestre et déplacer les notes d'un cran entier sans changement au système testé, un après-midi de police scientifique au passage. Et relisez à la main un échantillon des verdicts, parce qu'un juge qui note avec assurance et à côté n'est que la régression du premier paragraphe en nouveau manteau.
Les suites toutes prêtes comme promptfoo et Ragas empaquettent des variantes de ces assertions plus la plomberie du juge, des choix raisonnables. L'actif n'est pas l'outil, pour autant. L'actif est le fichier de cas qui encode ce que vos utilisateurs demandent vraiment, et il se transporte dans n'importe quel moteur.
Là où une suite d'évaluation en CI est aveugle
Quatre limites honnêtes, chacune avec son contournement.
La suite certifie la cohérence par rapport aux réponses d'hier, pas la vérité par rapport au monde. Un changement qui rend le système sûrement faux d'une manière nouvelle passe au vert. Le contournement est un petit audit récurrent : une poignée de cas par mois, vérifiés par un humain contre les documents sources que les citations désignent, plus l'habitude de taille qui garde le fichier lié aux documents encore existants.
Quelques centaines de cas laissent des pans découverts. Dialectes, jargon métier, questions de dix mots : tout ce que l'échantillon sous-pondère, la suite le sous-surveille. La défense n'est pas d'ajouter des lignes au hasard mais de revisiter l'échantillonnage stratifié de la construction dès qu'un nouveau marché ou une nouvelle famille de documents entre en jeu.
La latence et le coût sont des budgets que la suite ne voit jamais. Une passe sur quelques centaines de cas ne remarquera pas que le retrieval prend désormais quatre fois plus de temps, car rien dans une assertion ne mesure la durée. Les tests de charge et les rapports de coût restent au calendrier, sans éclat.
Et la réserve sur le juge ferme la liste : les notes bougent quand le juge change, alors la version du juge reste épinglée, relue, et mise à niveau volontairement plutôt que par accident. C'est une dépendance de plus dans le fichier de verrouillage, traitée comme telle.
La décision à emporter tient en une phrase : avant que le prochain changement de retrieval ou de modèle n'atterrisse, passez une semaine à construire le fichier de questions de référence plutôt qu'un trimestre à acheter de la capacité pour servir des réponses non auditées. Deux cents questions tirées des journaux, trois assertions, une étape de CI qui fait échouer la fusion quand un coup tombe. Après quoi, la conversation sur la montée en charge a des preuves qu'un sceptique peut rejouer, et le courriel du mardi se trouve un concurrent : une étape de pipeline qui écrit le mot échec avant la fusion.
AngoraTek construit des systèmes de retrieval pour de petites équipes, et la suite d'évaluation que nous installons en premier précède d'habitude la montée en charge qu'elle garde. Si vos tableaux de bord sont verts et que vos utilisateurs ne sont pas d'accord, [apportez-nous le courriel du mardi](/fr/#contact).Merci d'avoir lu jusqu'ici. Si cela ressemble au problème sur lequel vous butez, parlez-nous-en. L'équipe lit chaque message.
Engager la conversation