Une réponse fluide facilite le travail, mais elle ne prouve ni son exactitude ni la validité de l’action qui en découle. Lorsque le modèle devient agent et dispose d’outils, l’erreur peut quitter le texte pour modifier un système. Il faut alors distinguer les causes possibles de l’affirmation et les conditions qui autorisent son utilisation.
Je conserve cinq axes d’analyse : confabulation, raisonnement infidèle, comportement trompeur, injection indirecte et altération lors d’une délégation. Ils peuvent se recouvrir. Ce découpage aide à enquêter ; il ne constitue pas une taxonomie exhaustive ni une méthode de mesure de leur fréquence.
Une sauvegarde annoncée comme vérifiée
Considérons un agent qui prépare une maintenance. Son rapport affirme qu’une sauvegarde exploitable a été vérifiée. Un autre agent doit ensuite proposer une opération susceptible de supprimer des données. Si cette phrase est tenue pour une preuve, l’opération peut être engagée sans que la possibilité de restauration soit établie.
Le dommage potentiel dépend du contexte : perte de données, interruption prolongée ou impossibilité de revenir à un état acceptable. Le risque vient d’une affirmation utilisée comme condition d’une action.
Le rapport d’un agent constitue une information à examiner ; il ne remplace pas la preuve requise par l’opération suivante.
Cinq mécanismes, une affirmation à qualifier
La confabulation apparaît si le modèle invente un résultat de vérification absent des éléments disponibles. La cohérence du récit ne suffit pas à détecter cette absence.
Le raisonnement infidèle concerne l’écart entre une justification formulée et les facteurs qui ont effectivement influencé la réponse. Lire une explication plausible ne constitue pas une observation complète du calcul interne. Il faut confronter ses assertions à des éléments extérieurs vérifiables. Une étude d’Anthropic du 3 avril 2025 examine des indices fournis dans des questions d’évaluation : les modèles testés ne les mentionnent pas toujours lorsqu’ils les utilisent. Ce protocole ne mesure pas tous les usages réels.
Un comportement trompeur peut être recherché lorsqu’un système produit une représentation fausse malgré un élément contraire accessible. Attribuer une intention à partir d’une seule sortie serait excessif : le diagnostic doit distinguer erreur, omission et comportement établi par un protocole expérimental. Aucun taux général de tromperie n’est déduit ici.
Une injection indirecte survient si une instruction dans un document ou un résultat d’outil influence la conduite de l’agent, par exemple en lui demandant de présenter une sauvegarde comme validée. Le texte rencontré doit rester une donnée à traiter, sans acquérir le rôle d’une autorisation. Les recherches CaMeL étudient cette séparation des flux dans leur propre dispositif.
Enfin, une délégation peut altérer le contenu sans intervention malveillante : « copie créée, restauration non testée » devient « sauvegarde vérifiée » dans une synthèse. Une comparaison avec l’original et les conditions d’essai peut révéler ce glissement. Une information correctement reçue n’est pas nécessairement fidèlement retransmise.
Application à Swarm : examiner la preuve avant la transition
Ces mécanismes éclairent les choix que j’expérimente dans Swarm. Le moteur ne certifie pas la vérité générale d’une réponse. Il vérifie des conditions explicites sur les opérations et les transitions qu’il contrôle. Les sources Rust de validation examinent notamment la tentative courante, la politique, l’exécution des contrôles et les artefacts attendus.
Pour notre maintenance, il faudrait définir un contrôle correspondant réellement à la sauvegarde et à la cible actuelle. Un reçu portant seulement sur la création d’une copie ne démontrerait pas une restauration réussie. Même un contrôle exécuté peut être insuffisant si son critère ne couvre pas le risque.
Lorsque le contrat exige une validation humaine, les contrôles réussis ne doivent pas se substituer à cette décision. Les références de mémoire et les contrats d’identité apportent d’autres éléments de contexte ; ils n’accordent pas une autorité implicite à la phrase retenue.
Limites à conserver dans la décision
Ce contrôle peut empêcher une transition dépourvue de ses preuves déclarées, dans le périmètre couvert. Il ne démontre pas la maîtrise d’un accès direct à l’infrastructure, l’exhaustivité des tests ou le confinement global d’un agent. Les effets sensibles du pilote Trust restent simulés.
Le dépôt Swarm permet d’examiner ces contrats. Le progrès recherché est concret : réduire l’écart entre ce qu’un agent affirme avoir établi et ce que le processus accepte comme fondement d’une action.