Une fonctionnalité LLM est une décision de marge avant d'être une décision de modèle
Quarante conversations de support par heure, chacune s'ouvrant sur un contexte de 90 000 jetons, font 3,6 millions de jetons d'entrée avant la première heure, et le compteur tourne même si pas un seul client n'a lu une réponse utile. Changez l'arithmétique et la conclusion tient : le contexte d'entrée se paie à chaque requête, le contenu répété en forme l'essentiel, et la fonctionnalité gratuite sur un ordinateur portable commence à tourner sur un compteur le jour où les clients arrivent. Le modèle qui répond est en aval des décisions que ce compteur impose.
Alors la question de planification n'est pas le choix du modèle d'abord. C'est le coût unitaire d'abord, et le coût unitaire est une décision produit, prise avant le lancement et écrite dans le prix. Nous construisons des fonctionnalités adossées à un LLM pour des produits de données, et celles qui ont survécu à leur premier trimestre de production sont celles dont la facture de jetons a été modélisée et pourvue d'un responsable avant le premier utilisateur. Celles qui ont surpris quelqu'un, vous les relisez le trimestre suivant sous une nouvelle étiquette, « expérimental », le mot poli pour non chiffré.
Comptez les jetons, pas les dollars
Les prix bougent chaque mois, selon le modèle, et tout chiffre en dollars de ce billet serait périmé avant votre lecture, aussi l'exercice durable consiste à compter des jetons et à garder la forme. Chaque requête dépense en quatre endroits : les instructions partagées copiées dans chaque appel, les pages de contexte récupéré, l'historique de conversation jusqu'ici, et la sortie que le modèle écrit en retour. Les proportions varient, l'anatomie non, et une de ses lignes explique l'essentiel de la douleur : les instructions partagées coûtent autant à la millième requête qu'à la première, et elles se paient à chaque fois, sans exception.
Un produit conversationnel multiplie ensuite toute l'anatomie par le nombre de tours, parce que chaque tour renvoie l'historique de tous les tours précédents. La fonctionnalité qui semblait être une question unique devient, sur la facture, une question reposée vingt fois avec une valise de contexte de plus en plus lourde derrière :
def input_tokens(request: dict, history: list[dict]) -> int:
"""Input-token bill for one request, in the three places it is spent."""
return (
len(SHARED_INSTRUCTIONS) # same every request
+ sum(p.tokens for p in retrieved(request)) # fresh per request
+ sum(m.tokens for m in history) # grows with every turn
)
def daily_bill(traffic, model_rate, cached_rate=None):
tokens = sum(input_tokens(r, h) for r, h in traffic)
if cached_rate: # if the prefix repeats
repeated = tokens_repeated(traffic)
tokens -= repeated * (1 - cached_rate / model_rate)
return tokens * model_rate
Posez une forme plausible sur l'arithmétique d'ouverture et le modèle montre où va l'argent. Dans une conversation de support ordinaire, les instructions partagées dominent tout ce qui change vraiment, précisément la partie qu'un cache sait raccourcir.
Le cache mange la moitié répétée
Le prompt caching est un comportement publié et documenté, pas une astuce : le fournisseur stocke un préfixe de votre contexte de son côté et tarife sa relecture bien en dessous d'une lecture fraîche. Deux faits vérifiables sur les grilles tarifaires actuelles de ces fournisseurs : Anthropic facture une lecture de cache de prompt à une fraction du tarif d'entrée de base, un dixième par défaut sur la plupart des modèles, et le traitement par lots réduit de moitié le prix d'entrée chez les grandes maisons d'API. Sur une facture où les instructions partagées forment l'essentiel de l'entrée, un dixième du tarif sur l'essentiel de l'entrée n'est pas une optimisation. C'est la différence entre une fonctionnalité et une lettre de démission.
Les réserves honnêtes, toutes les trois dans les documentations et toutes les trois décisives. Le préfixe doit être identique à l'octet près au préfixe stocké, si bien qu'un horodatage en première ligne du prompt système ruine silencieusement toute la remise ; un accueil dynamique coûte plus cher qu'il ne sonne. Le préfixe stocké expire, de l'ordre de quelques minutes à une heure selon le fournisseur et l'option payée, si bien qu'un trafic arrivant en flux régulier est un meilleur client de cache qu'un filet de requêtes isolées. Et un cache ne fait rien pour les pages récupérées ni pour l'historique qui grossit, ce qui veut dire que le plancher de remise est fixé par la part de répétition dans la facture :
Un cache paie la facture de ce que vous répétez. La récupération et l'historique restent frais à chaque fois, et c'est là que loge l'optimisation restante.
Router par difficulté, pas par habitude
La deuxième décision est prise appel par appel : quel palier de modèle répond à cette requête. La contrainte qui la tranche, c'est que la plupart des tours sont mécaniques. Classifier une question entrante, extraire un champ, décider si le gros modèle est nécessaire : ces appels de lecture et de tri forment la majorité du trafic, ils sont bon marché de conception, et les envoyer au modèle frontalier dont l'équipe est fière est une fuite de marge sans bénéfice visible. Dans le schéma ordinaire où nous finissons, un petit modèle traite la majorité mécanique et passe la main sur le reste difficile, et ce reste difficile est exactement là où se fabrique la réputation du produit.
Le cul-de-sac de cette route, c'est la troncature. Notre premier réflexe, et que nous avons vu des équipes répéter, a été de rétrécir les pages récupérées et de plafonner durement l'historique, ce qui a rogné la facture et, en quelques jours, a commencé à produire des réponses que la file ne pouvait plus croire : des résumés citant des pages que le modèle n'avait jamais vues. Le contexte n'était pas du rembourrage. Il était la preuve. Cette expérience a été annulée, et l'économie est venue à la place du routage par palier ci-dessus, qui a retiré la majorité mécanique du chemin coûteux sans toucher aux preuves sur lesquelles reposent les réponses difficiles.
Ne rognez les jetons que là où un eval le permet
Le rognage réel de jetons existe, et il vaut la peine d'être fait à sa place, c'est-à-dire dans l'historique et dans la récupération, après eval, jamais dans la clarté des instructions partagées. Compacter l'historique en résumant les tours dont le modèle n'a plus besoin mot à mot est une économie réelle, de même que récupérer moins de pages mieux choisies. Les deux changent ce que le modèle voit, et ce que le modèle voit est ce qui répond, donc chaque rognage passe devant une revue par cas qui échoue avant de fusionner, de la manière décrite dans changer un prompt, c'est une revue de code. Un jeton économisé en rendant la fonctionnalité fausse n'est pas un jeton économisé. C'est un jeton que le client paie deux fois, une fois en argent et une fois en confiance.
Chiffrez-le, ou le trimestre le fera
Rien de ce qui précède n'est terminé tant que le produit n'a pas dit qui paie. Trois formes existent, et choisir n'est pas un exercice comptable. La facturation à l'usage transmet le coût et borne votre pire client, celui qui traite la fonctionnalité comme un oracle ; un plafond ou un crédit mensuel donne une dépense prévisible et subventionne discrètement les usages intensifs ; un palier fixe tarife la moyenne et exige que la marge de sécurité soit modélisée plutôt qu'espérée. La forme qui convient dépend de ce que la fonctionnalité sert à faire, et la décision appartient au plan de lancement, pas au trimestre où la finance s'en aperçoit. Le responsable compte autant que la forme : une facture de jetons sans nom accroché grossit jusqu'à ce que quelqu'un muni d'un tableur la trouve.
La conclusion, comprimée en une phrase que vous pouvez mettre dans un plan : modélisez la facture de jetons avant les premiers utilisateurs, mettez le préfixe en cache avant toute autre chose, routez la majorité mécanique vers le palier bon marché, et donnez à la facture un responsable et un prix dès le premier jour. Une fonctionnalité LLM qui fait cela est un produit. Une qui ne le fait pas est une démo avec une facture.
AngoraTek chiffre les fonctionnalités LLM avant leur lancement. Si la vôtre s'apprête à traverser son premier trimestre de production, [parcourez la facture avec nous](/fr/#contact) et nous la modéliserons ensemble.Merci d'avoir lu jusqu'ici. Si cela ressemble au problème sur lequel vous butez, parlez-nous-en. L'équipe lit chaque message.
Engager la conversation