Le chatbot analytics désigne l’ensemble des méthodes et des indicateurs qui servent à mesurer l’usage, la compréhension et l’efficacité d’un agent conversationnel, à partir de l’analyse des conversations qu’il mène avec les utilisateurs.
On parle aussi d’analyse conversationnelle. Elle s’applique au chatbot à règles comme à celui qui s’appuie sur l’intelligence artificielle. Elle exploite deux sources. Les journaux de conversation conservent chaque message, l’intention reconnue et la réponse donnée. Les événements de parcours enregistrent l’ouverture de la fenêtre, le transfert vers un conseiller ou le clic sur un lien proposé.
Ses indicateurs se rangent en quatre familles. L’usage décrit le volume de conversations, leur origine et leur durée. La compréhension mesure la part de messages correctement interprétés et la part de réponses par défaut, quand l’outil ne sait pas répondre. La résolution indique si la demande a été traitée sans intervention humaine. La satisfaction recueille l’avis de l’utilisateur en fin d’échange. Pour un chatbot fondé sur l’IA générative, s’y ajoute le contrôle de l’exactitude des réponses.
Le chatbot analytics se distingue de la web analyse, qui compte des visites et des pages vues sans lire le contenu des échanges. Il se distingue aussi de l’analyse de la satisfaction client, qui interroge les clients sur l’ensemble de leur relation avec l’entreprise. Il est pratiqué par les équipes chargées de la relation client, du marketing digital ou du produit. Elles s’en servent pour enrichir la base de réponses, corriger les scénarios et choisir les demandes à confier à un humain.
Les tableaux de bord intégrés aux outils mettent en avant le nombre de conversations et un taux de résolution. Ces chiffres renseignent mal sur le service rendu. Selon la règle de calcul retenue, un utilisateur qui quitte l’échange sans réponse peut être compté comme un cas résolu. Selon nous, la lecture régulière d’un échantillon de conversations apporte plus que n’importe quel indicateur agrégé. Elle révèle les questions mal comprises, les intentions absentes du scénario et les réponses exactes mais inutiles.
Les journaux de conversation contiennent des données personnelles, et parfois des données sensibles saisies spontanément. La CNIL demande de conserver les données le temps nécessaire à la finalité. Pour les données sensibles saisies de façon imprévue, elle recommande un avertissement avant l’échange et un système de purge. Elle précise que le traceur déposé à l’activation du chatbot n’est exempté de consentement que s’il sert uniquement à fournir le service ; toute autre finalité rattachée requiert le consentement (CNIL, « Chatbots : les conseils de la CNIL pour respecter les droits des personnes », 2021).
Advalians teste votre agent conversationnel sur les tâches réelles de vos équipes, mesure le temps et la qualité gagnés, puis priorise les usages à conserver, avec des règles claires.
Advalians, cabinet de conseil indépendant en marketing et communication, vous aide à clarifier vos choix et à décider.
La web analyse mesure la navigation : visites, pages vues, sources de trafic, conversions. Le chatbot analytics lit le contenu des échanges : ce que l’utilisateur demande, ce que l’outil comprend et ce qu’il répond.
Les deux se complètent. La web analyse dit d’où vient l’utilisateur et ce qu’il fait après la conversation. L’analyse conversationnelle dit pourquoi il a ouvert la fenêtre et s’il a obtenu sa réponse. Reliez-les par un identifiant de session commun pour suivre le parcours complet, dans le respect des choix de consentement.
Commencez par fixer l’objectif du chatbot et l’indicateur principal qui en découle. Vérifiez ensuite que l’outil conserve, pour chaque message, l’intention reconnue, la réponse et l’issue de l’échange.
Ne comptez pas comme résolue une conversation abandonnée. Une définition fiable croise deux signaux : l’absence de transfert vers un conseiller et l’absence de nouveau contact sur le même sujet dans un délai fixé, par exemple sept jours.
Ajoutez une question de confirmation en fin d’échange, sans en faire le seul critère : peu d’utilisateurs y répondent. Vérifiez chaque mois la règle sur un échantillon relu à la main. Si l’écart entre le taux calculé et le jugement des relecteurs se creuse, revoyez la définition.
Le principal risque est de traiter des données personnelles ou sensibles au-delà de la finalité annoncée. Les utilisateurs saisissent parfois des informations de santé, des coordonnées bancaires ou des noms de tiers.
Avertissez avant l’échange, purgez les données sensibles, fixez une durée de conservation et limitez l’accès aux journaux. Pseudonymisez les extraits utilisés pour l’analyse. Si les conversations alimentent un autre traitement, comme le ciblage publicitaire, vérifiez la base légale et le consentement aux traceurs. Mentionnez l’analyse dans le registre des activités de traitement.
Les statistiques intégrées suffisent pour un chatbot à règles au périmètre restreint, avec quelques dizaines d’intentions. Elles donnent le volume, les intentions fréquentes et les réponses par défaut.
Un dispositif dédié se justifie dans trois cas : le chatbot traite un volume important de demandes, il s’appuie sur une IA générative dont l’exactitude doit être contrôlée, ou ses résultats doivent être rapprochés des ventes et des contacts sur les autres canaux. Avant d’investir, vérifiez que l’outil permet d’exporter les journaux et de définir votre propre règle de résolution.
Modèles, grilles et guides prêts à l’emploi pour vos projets marketing et communication.
Les directions marketing se trouvent aujourd’hui à un tournant décisif. Alors que la..
