Un agent peut produire une erreur sur un dossier. Une chaîne réutilisée peut reproduire la même erreur sur de nombreux dossiers avant que ses responsables la reconnaissent. Le passage à l’échelle augmente donc l’importance des sources communes, des règles de transformation et des décisions de reprise.
Le nombre d’agents ne suffit pas à décrire ce risque. Plusieurs agents peuvent partager le même modèle, la même procédure ou la même source erronée. Leurs réponses concordantes ne constituent alors pas des confirmations indépendantes.
Une date devient fausse dans plusieurs dossiers
Considérons un processus documentaire qui extrait la date d’expiration d’une pièce et prépare sa saisie dans un système métier. Le document emploie un format de date dont le jour et le mois peuvent être confondus. L’agent normalise la valeur selon une convention inadaptée. Le dossier reste lisible et le format de sortie est accepté.
Si le même mécanisme traite un lot, plusieurs pièces peuvent être considérées à tort comme encore valides ou déjà expirées. Une étape ultérieure pourrait prendre une décision sur ces valeurs transformées : accepter un dossier incomplet, demander une pièce inutile ou suspendre un traitement légitime. L’impact dépend de l’usage métier ; il ne se déduit pas du seul nombre de documents.
Une seconde lecture par un agent ne suffit pas si celui-ci ne voit que la valeur normalisée ou reprend la même convention. Le contrôle doit retrouver une référence pertinente : document original, champ attribué, convention applicable et traitement des cas ambigus.
Un accord entre agents ne vaut pas indépendance des sources. Une transformation répétée peut rendre l’erreur régulière plutôt que visible.
Contrôler le dossier et observer la population
Deux fonctions se complètent. Au point d’intégration, un contrôle vérifie les conditions nécessaires pour ce dossier : origine de la valeur, correspondance définie avec la source, format attendu et autorisation de l’opération. En parallèle, la supervision peut suivre les anomalies, les corrections et les versions de méthode sur l’ensemble des dossiers.
Cette observation collective aide à circonscrire un problème commun. Elle ne prouve pas automatiquement qu’une date est vraie. Un taux stable peut masquer une erreur systématique ; un taux d’alerte n’a de sens qu’avec un dénominateur et une méthode de mesure définis. Il faut conserver les cas dont la référence manque, plutôt que les compter comme des réussites.
L’OWASP AI Agent Security Cheat Sheet recommande des frontières entre agents et des contrôles sur leurs échanges. Cette organisation ne remplace ni la qualification des données ni la protection des composants d’exécution.
Organiser l’intervention humaine selon les décisions
La charge ne se résout pas par une opposition entre validation de tout et autorisation de tout. L’organisation doit distinguer les actions qui exigent un accord explicite, les préparations qui peuvent continuer sans effet sensible et les cas qui doivent rester en attente. Ce choix dépend des conséquences, des droits et des obligations applicables au processus.
Dans notre exemple, l’extraction peut produire une proposition en signalant l’ambiguïté. La modification du dossier officiel exige les conditions prévues pour cette opération. Une analyse statistique ultérieure ne justifie pas de supprimer une approbation requise avant l’effet.
Les limites de consommation, de concurrence et de reprise relèvent également d’une politique explicite. Multiplier les tentatives face à la même ambiguïté peut augmenter le coût sans apporter une nouvelle information. Une reprise utile corrige la précondition : référence retrouvée, convention précisée ou décision habilitée obtenue.
Rechercher la propagation après la correction
Corriger le dossier détecté ne traite pas les autres sorties de la même méthode. Une enquête doit identifier les versions et les sources communes, retrouver les dossiers concernés et examiner leurs effets déjà engagés. Une nouvelle version ne doit pas réécrire silencieusement les anciens résultats.
La récupération peut elle-même introduire un risque. Réémettre une opération dont le résultat reste inconnu peut créer un second effet. Le processus doit distinguer correction d’une donnée, nouvel engagement et réconciliation d’un résultat incertain. Une clé d’idempotence ne répare pas une date fausse et n’efface pas une décision déjà appliquée.
Le périmètre de Swarm
Swarm organise des tâches, des responsabilités, des contrôles et des reprises. Ses contrats Rust examinent notamment la correspondance entre une preuve de validation, une tentative et une politique, ainsi que les artefacts déclarés. Le pilote Trust conserve des actions et des états d’effet dans un domaine simulé.
Ces mécanismes ne constituent pas un service de connaissance client en production ni une détection statistique générale des erreurs d’une population d’agents. Une réconciliation sémantique de tous les documents, un journal global inviolable et le confinement de toutes les voies d’accès ne sont pas établis par le seul moteur.
Le code de Swarm permet d’examiner ces frontières. La démarche consiste à conserver une décision justifiable pour chaque effet sensible, tout en rendant possible l’identification et le traitement d’une cause commune à plusieurs dossiers.