Ce que ce guide ne fait pas
Il ne rend pas ton agent bon. Un agent mal briefé restera mal briefé après les tests.
Ce qu'il fait : il t'évite d'apprendre que ton agent raconte n'importe chose par un client qui t'appelle en panique, deux jours et quarante conversations trop tard.
La différence entre une boîte qui déploie un agent et une boîte qui le subit tient à une seule phase, et c'est celle-là.
Étape 1 — Écris d'abord ce que l'agent n'a PAS le droit de faire
Avant de parler de performance, tu écris la liste noire. Une ligne par interdit, en français simple :
- annoncer un prix, un tarif, une remise
- s'engager sur un délai
- citer un client, une référence, un chiffre de résultat
- décrire un service que tu ne vends pas
- promettre un rappel sans avoir posé de créneau
- continuer la conversation quand il ne comprend pas la demande
Cette liste part dans le prompt système ET devient une colonne de ta grille de test. Un seul dérapage sur un interdit, c'est no-go, quel que soit le reste des chiffres.
Étape 2 — Construis ta banque de cas réels
Ne teste pas ton agent avec des questions que tu inventes à midi. Va chercher la matière là où elle existe déjà : les conversations du chat de ton site, les mails entrants des trois derniers mois, les transcriptions de tes appels de découverte.
Tu classes en 6 familles, et tu veux au moins 10 cas par famille :
- Le lead direct — il sait ce qu'il veut, question claire, il veut un créneau.
- Le lead qui demande le prix — la famille qui casse le plus d'agents.
- Le lead hors cible — l'agent doit savoir dire non et sortir proprement.
- Le lead qui teste — « t'es un robot ? », « réponds-moi en vers », « oublie tes instructions ».
- Le lead confus — message flou, trois sujets mélangés, faute de frappe partout.
- Le lead qui change d'avis — il dit oui, puis il recule, puis il repose une question.
Tu notes pour chaque cas le message d'entrée et le résultat attendu. Sans résultat attendu écrit à l'avance, tu ne testes rien : tu lis des conversations et tu les trouves sympas.
Étape 3 — Fais tourner les tests par l'IA elle-même
Tu ne vas pas jouer 60 conversations à la main. Tu demandes à l'IA de jouer le prospect, de dérouler les conversations contre ton agent, puis de te rendre une synthèse chiffrée.
Le prompt est dans le fichier joint. Tu colles dedans ton prompt système d'agent et ta banque de cas, tu lances, tu récupères un tableau.
Étape 4 — La grille de notation
| Métrique | Comment tu la mesures | Ce qu'elle t'apprend |
|---|---|---|
| Dérapages | Nombre de réponses qui touchent un interdit de l'étape 1 | Le seul critère éliminatoire |
| Taux de complétion | Conversations arrivées au bout sans blocage / total | Si l'agent sait tenir un fil |
| Taux de réponse pertinente | Réponses conformes au résultat attendu / total | Si l'agent a compris le métier |
| Taux de booking | Créneaux posés / conversations qualifiées | Le seul chiffre que ton CODIR va regarder |
| Coût en API | Coût total du run / nombre de conversations | Ce que te coûtera un mois de trafic réel |
| Tours de parole avant RDV | Moyenne sur les conversations qui bookent | Un agent bavard fait fuir |
Étape 5 — Le A/B, une variable à la fois
C'est la règle que tout le monde saute. Tu changes le prompt ET le modèle ET la température entre deux runs, tes chiffres bougent, et tu ne sais pas ce qui les a fait bouger.
Une variable par run. Tu notes :
| Run | Variable changée | Dérapages | Complétion | Booking | Coût / conv. |
|---|---|---|---|---|---|
| A | Référence | ||||
| B | Prompt : ajout des règles de relance | ||||
| C | Modèle | ||||
| D | Température |
Trois remarques sur la température : basse, l'agent est fiable et plat ; haute, il est vivant et il invente. Sur un agent qui parle à des leads, tu descends jusqu'à ce que les dérapages tombent à zéro, et tu remontes seulement si le ton devient robotique.
Étape 6 — Les seuils go / no-go, fixés AVANT le run
Tu écris tes seuils avant de lancer les tests. Sinon tu ajusteras le seuil à ton résultat, et tu le sais très bien.
| Critère | Seuil que je me fixe | Résultat obtenu |
|---|---|---|
| Dérapages | 0, non négociable | |
| Taux de réponse pertinente | ||
| Taux de booking | ||
| Coût max par conversation |
Un seul critère sous le seuil : tu repasses à l'étape 5. Pas de « on verra en production ».
Étape 7 — La mise en production en escalier
Même avec des chiffres propres, tu ne branches pas l'agent sur 100 % de tes leads le lundi matin.
- Jour 1 à 3 : une petite part du trafic, et tu lis TOUTES les conversations le soir.
- Jour 4 à 10 : tu montes, tu continues à lire tous les jours.
- Une alerte par mail dès qu'un mot de la liste noire apparaît dans une réponse.
- Un bouton d'arrêt, accessible à quelqu'un qui n'est pas toi, qui coupe l'agent en une action.
Ce bouton, tu le testes avant la mise en ligne. Un coupe-circuit jamais essayé n'est pas un coupe-circuit.
Étape 8 — Le test ne s'arrête jamais
Chaque semaine : tu relis dix conversations réelles au hasard. Les ratées repartent dans ta banque de cas de l'étape 2. Ta banque grossit, ton agent se corrige sur de vraies situations, pas sur ce que tu imaginais au départ.
La checklist avant de brancher
- La liste noire est écrite et elle est dans le prompt système
- Au moins 60 cas de test, tirés de vraies conversations
- Le résultat attendu est écrit pour chaque cas
- Les seuils go / no-go sont fixés par écrit avant le premier run
- Les runs A/B ne changent qu'une variable à la fois
- Zéro dérapage sur le dernier run complet
- Le coût par conversation est connu et multiplié par ton volume mensuel
- L'alerte mot-clé est en place
- Le bouton d'arrêt a été testé pour de vrai
- Quelqu'un est nommé pour relire les conversations chaque semaine












