Méthode

4Les chatbots marchands développés en 2019 nécessitent tous un travail manuel d’élaboration des connaissances afin de rendre le modèle de Traitement Automatique du Langage (TAL) opérationnel. Ainsi, si les chatbots invitent leurs utilisateurs à interagir dans un langage de tous les jours, ceux-ci ne peuvent le faire qu’à condition de traiter des cas très précis sur lesquels les bases de connaissances sémantiques et métiers sont suffisamment renseignées. Pour comprendre la scénarisation et la mise en production d’un agent conversationnel, nous avons enquêté auprès d’une grande entreprise française de télécommunication pendant 6 mois : nous appellerons cette entreprise « Telco ». Cette investigation a donné lieu à une ethnographie, réalisée grâce une série d’observations effectuées entre novembre 2017 et juillet 2018 sur deux projets de chatbots (annexe 1, tableau 3. Récapitulatif des observations).

5Ces observations se sont déroulées d’une part sur le plateau technique dédié au développement d’un chatbot commercial implémenté sur le site de vente de l’entreprise (« Bot1 »), d’autre part sur le suivi d’un chatbot d’assistance mis en production quelques mois plus tôt, implémenté sur le portail d’accueil des clients professionnels (« Bot2 »). Le premier projet observé, « Bot1 », recouvre la volonté d’accompagner les utilisateurs sur le site de vente « Telco mobile », et ainsi d’aller à la rencontre de potentiels clients dont les questionnements laissés en suspens pourraient bloquer le parcours d’achat. Le second projet observé, « Bot2 », consiste à aider les clients professionnels de la marque à retrouver des informations relatives à leur compte-client professionnels. L’observation se déroule après la mise en production, dans un contexte de retours d’usages : les concepteurs cherchent à comprendre si les usagers parviennent à se saisir du dispositif, au moyen de situations expérimentales d’usage filmées [8]. Si nous avons contacté les deux équipes à des moments différents de leur développement, le premier projet nous a permis de rendre compte des étapes préliminaires à la production, tandis que le second projet nous a plutôt permis de suivre l’évolution du système au début de sa mise en production.

6Les deux projets utilisent des plateformes de développement différentes, mais identiques dans leur principe de fonctionnement : il s’agit dans les deux cas d’injecter des connaissances (créer des modèles d’échanges et des bases sémantiques) et de recadrer le dispositif par une surveillance continue des historiques de dialogues [9].

7Les observations portent sur les échanges entre membres des équipes (les phases de discussions et de débats dans les espaces de travail) et leurs supports, plutôt que sur le travail individuel de chacun. Pour faciliter la représentation du travail de chaque acteur, et parce que notre recherche porte moins sur des spécificités de métiers du chatbot que sur les moyens de leur conception, nous proposons un récapitulatif des rôles de chaque profil dans les deux projets (annexe 2, tableau 4. Tâches spécifiques et profils impliqués). Si certains profils métiers sont chargés de tâches spécifiques, les deux projets ont en commun de faire appel à tous les membres de l’équipe concernant des tâches plus générales (par exemple, le travail de relecture des historiques de dialogues, ou l’écriture des bases sémantiques, qui ne nécessitent pas de compétences métiers particulières). Les deux projets s’inscrivent dans la méthode de management « Agile », une forme d’organisation du travail flexible issue de l’industrie des logiciels (Ughetto, 2018). Ces sessions d’observations sont complétées par 10 entretiens semi-directifs menés auprès d’acteurs en charge de développement d’agents conversationnels au sein de l’entreprise, ainsi que par un accès aux logiciels et fichiers utilisés par les deux projets de chatbot.

« Bonjour, je suis le chatbot de Telco »

16Dans le domaine de la relation-client les automates ne font pas toujours bonne figure, comme l’illustre bien le pénible répondeur automatique, qui exige plusieurs opérations de choix mécaniques avant d’obtenir une réponse adéquate. La figure de l’automate, jugée trop froide, n’a donc pas l’avantage pour ce qui est de l’échange langagier ; les automates conversationnels sont d’ailleurs plutôt évoqués comme des robots, des « chatbots » ou des « bots », et non comme des automates. Le « robot » constitue une entité à part, un objet personnifié par les soins des designers : donner un nom, une tonalité de discours ou encore des emojis et des gifs, sont autant d’indices de personnification, c’est-à-dire de scénarisation d’un sujet énonciateur. Les concepteurs imaginent en tout premier lieu un personnage, et non une interface : cette tendance est confirmée par la présence de scénaristes [16], ou de romanciers dans certaines équipes de conception d’agent conversationnel, en charge d’imaginer de nouveaux modes d’interactions. Telco mobilise ainsi une équipe de designers au sein de laquelle deux écrivains interviennent en qualité d’experts à propos des réponses de l’assistant conversationnel de la marque : un robot doit-il sans cesse s’excuser quand il bugge souvent ? Par quels mots doit-il le faire pour ne pas générer un rapport de servitude excessif ? Quelle pourrait être la norme d’usage dans ce genre de situation ? Les questions posées lors de ces réunions de design montrent que ce qui est en jeu est bien l’imagination de nouvelles normes, de nouveaux consensus d’interactions à négocier avec les utilisateurs. Une part du travail de conception consiste donc à élaborer un personnage pertinent pour la fonction du système, mais également cohérent avec l’univers de la marque. « L’identité (du chatbot) : sa forme graphique, son mode d’expressivité, sa voix, les sons qu’il pourrait émettre… Du coup, effectivement, ça veut dire définir une personnalité. » Marc, designer Telco, 2017

17L’identité du personnage, les caractères qu’on lui attribue ou qu’on souhaite écarter, sont la cible de choix de design et de débats dont l’intérêt sous-jacent est de trouver des « bonnes » et des « mauvaises » pratiques de développement. Toutes ces pratiques concourent à la construction d’une sorte de « face », notion à l’origine développée par Erving Goffman (Goffman, 1974) permettant de comprendre le déroulement des interactions entre individus dans l’espace public. Ces efforts de construction d’une « face » de l’agent conversationnel s’inscrivent dans une volonté plus large qui consiste à cadrer les interactions à venir, en plaçant le dispositif dans une posture subjective. Dans le même temps, les concepteurs rejettent d’emblée l’idée d’instaurer une sorte de « piège » anthropomorphique aux usagers : il s’agit de ne pas laisser planer le doute sur la nature du robot, ce qui pourrait entraîner une trop grande attente des usagers vis-à-vis du dispositif. Les deux chatbots engagent ainsi le dialogue en se présentant immédiatement comme des « bots », avec des fonctionnalités spécifiques (donner des informations sur des thématiques précises). C’est donc en termes de « design d’expérience » que les concepteurs imaginent la création d’un personnage (coordonner les différentes prises de paroles entre chatbot et usagers), puisqu’il ne s’agit pas de leurrer les usagers sur leur interlocuteur. « La moindre des choses c’est quand même de savoir dire bonjour-au revoir. Il en faut, du social. “Bonjour-merci-au revoir”, c’est le minimum nécessaire. C’est pas du social étendu, mais c’est le minimum. » Julie, UX designer, Bot1, 2018

18En effet, si les utilisateurs ne sont pas dupes du système technique auquel ils ont affaire, les scripts d’usages les placent toutefois dans une position de dialogue incontournable, imitant les codes de la conversation, sans toutefois en tenir toutes les promesses. Cette restitution partielle des codes de la conversation (ouvrir et fermer le dialogue par des expressions de politesse usuelles) s’apparente à ce qu’Isaac Joseph décrit comme des « compétences civiles ou rituelles » (Joseph, 2009), c’est-à-dire à la capacité de maintenir une relation « chaude » en sortant du cadre strictement fonctionnel de l’interaction (dans le cas des chatbots, donner une information). L’usage des mots de politesse et des réponses de « small talk » (bavardage), c’est-à-dire des formes phatiques de dialogue (faire des blagues, répondre à des demandes hors sujet de type « quel âge as-tu ? »), est peu développé par les concepteurs. Ce qui pourrait relever d’une fonction ludique du chatbot est partiellement laissé de côté, car jugé difficile à mettre en place pour un public large et hétérogène dans le cas de Bot1, ou inapproprié pour une clientèle de professionnels, dans le cas de Bot2.

19Les concepteurs se heurtent également à des contraintes concernant l’univers de la marque, qui produit ses propres règles de développement, appelées couramment « guidelines ». Malgré le souci de personnification du système, les concepteurs doivent suivre des règles de standardisation. Celles-ci relèvent de l’image publique de la marque, laquelle est censée rester cohérente dans son ensemble :

20

« En fait, lorsqu’on fait des projets ici, on doit passer par ce qu’on appelle des “designs cliniques”, c’est-à-dire que les équipes de validation vont regarder le projet avant sa mise en production : application mobile, portail Web et même service vocal, peu importe. Ils vont analyser ça et ils vont rendre un jugement nous disant si c’est conforme ou pas à la marque. »

21Les différents projets de la marque passent ainsi par une sorte d’étape de validation « éditoriale » du design, afin de rester dans l’orientation globale de l’entreprise. Les équipes de conception ne peuvent donc pas s’écarter d’une histoire plus large qui est celle de l’identité de marque : construire un chatbot n’est pas simplement une question d’automatisation du service client ou de marketing, mais comporte aussi une dimension publicitaire de l’ordre de l’image de marque. Il ne s’agit pas de créer des substituts de vendeurs ou d’opérateurs, mais de développer un personnage compatible à l’univers de l’enseigne, ce qui rapproche ces dispositifs du phénomène des mascottes. Au problème de « personnification » du bot (donner une « face » au programme en scénarisant le dialogue), qui est une condition de personnalisation de l’interaction (avoir l’impression de parler à un personnage civilisé), se pose ainsi celui de la standardisation de l’image de marque. Le personnage du chatbot se heurte donc à deux contraintes : celle de proposer un mode d’interaction « interpersonnel », plaisant, comme peut l’être par exemple un commerçant de proximité, et celle de rester conforme à l’univers professionnel, à l’esprit de la marque qu’il incarne.

Discuter la tonalité de discours du bot

22Comment parler aux clients quand on est un chatbot ? Comme nous l’avons vu, la projection d’une « personnalité » du chatbot est un premier pas vers une forme partielle de personnalisation de l’interaction. Dans la continuité de cette préoccupation, les concepteurs réfléchissent également à la tonalité de discours du bot, c’est-à-dire à sa manière de parler ainsi qu’à sa distance relationnelle avec les clients. Anticiper les expressions du chatbot nécessite de réfléchir au vocabulaire accessible et compréhensible par les clients : il s’agit de trouver les bons mots pour évoquer des problèmes parfois techniques (communément appelé « wording »), avec la bonne distance discursive (ni trop familière, ni trop froide). Cette dimension de la conception touche à la partie « métier » du chatbot, c’est-à-dire au vocabulaire professionnel du conseiller, à la fois accessible et spécialisé, et à sa manière d’aborder les clients (c’est-à-dire sa distance relationnelle : peut-il faire des blagues ? Doit-il plutôt tutoyer ou vouvoyer ?). Sur le projet Bot1, Claire, rédactrice de 25 ans, travaille à l’écriture des réponses du chatbot. Si ses compétences rédactionnelles ne sont pas remises en cause par les autres membres du projet, celle-ci se heurte néanmoins à des difficultés de formulation, en lien avec le langage et les codes d’interaction en marketing : de formation littéraire (un master en littérature anglaise), ce secteur lui est peu familier. « Je ne pouvais pas savoir que le wording (cf. vocabulaire) n’était pas bon. Il existe pratiquement un wording pour chaque secteur : il ne fallait pas dire “achat terminé” mais “panier”… » Claire, rédactrice sur le projet Bot1, 2018

23De même, ses propositions de blagues et de références culturelles cachées (« easter eggs ») sont mises de côté afin de privilégier une approche « professionnelle » des réponses du bot. Cet exemple illustre in fine le problème de l’absence d’une figure experte dans le domaine de l’écriture des dialogues avec un bot : si l’exercice requiert un savoir-faire littéraire dans la manipulation des mots du chatbot et la maîtrise de la langue française, celui-ci demande aussi de connaître les codes du marketing, ainsi que ceux de la marque. Les réponses, une fois écrites, sont validées par la directrice de rédaction de l’entreprise, s’occupant de la cohérence des messages diffusés par la marque.

24L’écriture des réponses est donc, elle aussi, une activité mouvante qui ne s’inscrit pas définitivement dans le dispositif : les paroles du chatbot sont destinées à être comprises par les clients, tout en étant validées par la marque, par le biais du responsable éditorial de l’enseigne. Les concepteurs qui écrivent les réponses du chatbot ne sont pas en totale liberté concernant leurs choix de rédaction : ils doivent adapter les réponses du bot à la compréhension des clients, mais ils doivent aussi respecter l’arbitrage de l’image de marque qu’ils participent à entretenir. Cette difficulté de compromis sur les mots du bot est, pour les deux projets, illustrée par la participation de plusieurs acteurs à la rédaction continue du « wording » (rédacteur ou rédactrice initiaux, modification éventuelle d’un acteur « métier », validation hiérarchique). Cette phase de rédaction initiale n’est d’ailleurs pas définitive, puisque les réponses du chatbot sont remaniées en fonction des usages réels.

L’écriture des arbres de dialogue

25Cette mise en scène du personnage du chatbot, à la fois « social » et professionnel, se prolonge par un travail fin de scénarisation des interactions : l’une des premières étapes de conception consiste, pour les deux équipes projet, à définir des « scripts d’usages ». Ces scénarios permettent de mettre en scène le dispositif dans une situation de fonctionnement. Ceux-ci nécessitent de projeter une figure-type de l’usager (Akrich, 2006 ; Akrich et Méadel, 2004), et permettent de cadrer les limites de fonctionnalités du dispositif : pour cela, les concepteurs définissent des thématiques de réponses précises. Les concepteurs imaginent le rôle du chatbot, les questions auxquelles il va répondre, la manière dont les interactions vont s’ordonner sur l’interface. Le déroulement des échanges sur les thématiques arrêtées est visualisé au moyen de vignettes de couleur (image 1) sur un axe temporel défini. L’orchestration des échanges, telle qu’ils sont imaginés durant ce premier temps de conception, montre que les concepteurs s’appuient sur une vision linéaire du dialogue : dans cette fresque colorée, l’utilisateur clique sur la fenêtre de tchat, pose une question, clique sur les différentes options de réponse, et repart une fois l’information trouvée. Nous verrons toutefois que cette représentation des dynamiques de dialogue ne correspond pas forcément à la réalité des situations de dialogues.

Image 1

Scripts d’usages et scénarisation des interactions au début du projet Bot1

Scripts d’usages et scénarisation des interactions au début du projet Bot1

26Lorsque l’équipe projet clôt les premiers cas d’usages du chatbot, c’est-à-dire les questions auxquelles il va répondre, il s’agit ensuite d’organiser les modalités de réponse. En effet, les concepteurs tentent de baliser la diversité de scénarios de réponses possibles : ils le font au moyen de schémas logiques appelés « arbres » de dialogues, ou « logigrammes ».

Figure 1

Extrait de logigramme sur l’intention « parler à un humain », Bot1

Extrait de logigramme sur l’intention « parler à un humain », Bot1

*Heures ouvrables, Heures non ouvrables (horaires d’ouverture du service)

27Les arborescences désignent les enchaînements temporels et logiques des étapes d’un dialogue : cette scénarisation permet, en théorie, de conduire l’interlocuteur au fil de l’échange à la résolution du problème, en affinant les spécificités de sa question, lorsque son intention a bien été détectée. Pour cela, les équipes projet Bot1 et Bot2 utilisent chacune une solution logicielle intégrant un système de reconnaissance du langage naturel, couplé à une interface d’utilisation (ou « tableau de bord »).

L’interface de développement : une boîte noire problématique

28Il faut comprendre ici que les équipes projets Bot1 et Bot2 n’utilisent pas leur propre solution TAL, mais font appel à un prestataire externe : en découle une relative méconnaissance du système, un effet « boîte noire » maintenu en partie par les prestataires (dont l’offre prend la forme d’un abonnement d’accès à la plateforme, complété par un service d’accompagnement de prise en main). Le rôle de cette interface de développement est de plusieurs ordres : d’une part, elle permet d’organiser et d’archiver les différents scénarios d’interactions, d’autre part, elle permet l’application d’une solution clés en main de traitement du langage naturel (TAL), en vue de traiter les requêtes spontanées des usagers. Ainsi, la plateforme permet la mise en relation des schémas d’interactions avec les requêtes réelles des usagers, au moyen d’un calcul statistique [17] qui permet de détecter « l’intention » de l’interlocuteur.

29La solution TAL fonctionne par expérience : les concepteurs doivent d’abord intégrer des questions potentielles en texte libre, car ces prises de parole virtuelles permettent à l’outil d’avoir une base de calcul pour le traitement ultérieur des textes en langage naturel. En effet, les concepteurs vont définir ensemble les thématiques d’interactions du bot, afin d’écrire des scénarios de requêtes en lien avec celles-ci. Pour le dire autrement, les concepteurs entraînent le chatbot à reconnaître le sens des phrases en lui donnant d’abord des cas de résolution de problème pré-écrits. Dans le langage des concepteurs, ces thématiques sont désignées comme des « intentions », et les requêtes des interlocuteurs humains sont nommées « variations ».

30Pour résumer, la détection d’une intention correspond à la reconnaissance d’une requête sémantique (par exemple : « Portable > Vol » pour une question relative à un portable volé). Les intentions sont des thématiques de résolution de problème, incarnées par un mot ou un groupe de mots ; elles constituent des formes de balises sémantiques, permettant à l’outil de reconnaître une requête dans la formulation de l’interlocuteur humain. Pour que ces balises fonctionnent, un autre travail d’écriture est nécessaire : la rédaction des variations d’intentions. Les variations représentent les différentes manières de s’exprimer pour une même requête, et constituent une base d’expérience pour le chatbot.

Figure 2

Extrait du tableau Excel des intentions/variations

Extrait du tableau Excel des intentions/variations

31

« Hop, on va donner des intentions, avec un certain nombre de variations ; alors il en faut quand même pas mal, il en faut au moins 40 pour que le système comprenne bien. Généralement, il faut donner des phrases bien faites, grammaticalement correctes, pour qu’il puisse apprendre. »

32Ces variations d’intentions représentent une anticipation du langage client : dans ce travail rédactionnel, on s’intéresse avant tout aux manières dont les clients peuvent formuler le même problème. L’outil de compréhension devient ainsi un outil d’agrégation de diversité d’expressions (l’outil contient un module de lemmatisation et un module orthographique afin de limiter l’écriture des variations d’intentions). Dans un premier temps, ces manières de dire sont imaginées, mais elles sont plus tard alimentées par l’utilisation effective du système par les utilisateurs. Contre toute attente, la rédaction des intentions et des variations d’intentions est un travail exclusivement humain : de ce fait, il n’est pas possible de considérer l’algorithme comme « auto-apprenant ».

33

« Le système d’“IA” qu’on utilise, ce n’est pas un truc magique qui fait tout, tout seul. L’entreprise prestataire prétendait, au départ, que leur système d’Intelligence Artificielle était auto-apprenant. C’est faux ! (…) Il fallait lui apprendre à apprendre, en fait. Donc il y a beaucoup plus d’interventions humaines que ce qu’on croit pour maintenir une Intelligence Artificielle. »

34La « compréhension » calculatoire du chatbot nécessite alors de remplir trois conditions : la détection d’une intention, le bon renseignement de cette intention, ainsi que la fiabilité de l’intention détectée. Si ces conditions sont remplies, le chatbot peut répondre de manière cohérente et donner l’impression d’avoir compris l’utilisateur. Dans tous les autres cas, la « compréhension » est imparfaite : l’intention n’a pas encore été répertoriée, l’intention a été répertoriée mais ses variations sont incomplètes, l’intention a été répertoriée mais les réponses sont incomplètes… Dans ces autres cas, la réponse fournie par le bot est un message d’incompréhension (par défaut), ou bien une information inexacte (pour un phénomène de « faux positif »). Le tableau de bord permet ensuite de faire le pont entre compréhension de l’outil algorithmique et compréhension humaine grâce aux « backlogs », ces historiques de conversations avec le chatbot qui permettent d’observer les déroulements des conversations passées. Les superviseurs du système peuvent alors comparer le résultat de détection d’intention à leur propre compréhension de ce qu’a écrit le client. Dans cette quête de l’interaction réussie, les retours des clients sont précieux pour les concepteurs (feed-back, entretiens, satisfaction) ; cependant la « voix du client », sur cette interface de dialogues en libre-service, est difficile à recueillir. Dans cette perspective d’incertitude, les concepteurs se trouvent contraints de pallier les manquements du chatbot en produisant un travail de veille et de supervision continu.

Gestion et évolution des bases de connaissances sémantiques

35Nous l’avons vu, les variations d’intentions sont des manières de dire projetées, scénarisées, ou inspirées de correspondances « e-chats » (i.e. conversations en ligne) entre clients et opérateurs humains. Cette base primaire est réalimentée par la suite grâce aux demandes réelles des usagers lors des premiers usages du bot en production : on peut citer comme exemple l’ajout de l’intention « bonjour », qui permet de répondre à cette tendance inattendue qu’ont les internautes de dire uniquement « bonjour » lorsqu’ils entament le dialogue avec un chatbot. Sans l’ajout manuel d’une nouvelle intention « bonjour », le chatbot ne comprend pas cette marque de politesse isolée d’une demande quelconque, et fournit par défaut la réponse-type correspondant à un échec de détection d’intention. Du point de vue du scénario, un échec de réponse au premier tour de parole des utilisateurs est vivement redouté : sur les deux projets, les designers considèrent qu’une première interaction ratée est une source possible de déception des utilisateurs vis-à-vis du dispositif.

36La base de connaissance pose alors problème dans deux mesures : d’une part, parce qu’elle demande un effort de projection et de scénarisation des dialogues (comment va s’exprimer l’interlocuteur ?) d’autre part, parce que la méconnaissance relative de l’outil de traitement génère de l’incertitude quant à la granularité des variations (comment les écrire, quel est le degré de finesse de l’outil de traitement du langage ?). La politique de rédaction des variations s’appuie donc sur la restitution de verbatim clients (même si ceux-ci s’adressent à des humains) – « on se base (les rédacteurs de l’équipe projet) sur comment les clients s’expriment » – précise bien Julie, designer en expérience client sur le projet Bot1.

37Concernant cette gestion des connaissances utilisateurs, les concepteurs de Bot1 se posent aussi la question de ce qu’on peut compter comme de « vrais mots », des mots qui seront rentrés dans la base de connaissances tels quels, des « petits mots », ceux que l’algorithme ne prend pas en compte dans le calcul, et les autres termes, que l’on va étiqueter, regrouper, pour les comprendre par connotation (quels termes peut-on regrouper ? Ignorer ? Ou marquer comme ayant un fort poids sémantique ?). La compréhension des clients, dans la perspective de conception d’un chatbot, doit donc être prise au pied de la lettre. Les itérations sont limitées, car contrairement aux interlocuteurs humains, il n’est pas pertinent de répéter plusieurs fois la même phrase à une machine ; c’est un processus en « un seul coup », sans demi-mesure, presque binaire malgré les apparences, puisque le système détecte une intention ou ne la détecte pas (dans le cas de Bot2, l’algorithme de détection délivre également un score de précision du résultat qui est interprété comme un indicateur de fiabilité du calcul). Ainsi, il y a peu de flexibilité dans le dialogue, contrairement à ce que pourrait nous faire penser l’appellation traitement du langage naturel ; le système traite du langage naturel en fonction de différents facteurs de calcul, mais la « compréhension » est limitée, puisqu’elle tient compte de paramétrages préalables. Il s’agit alors d’une forme hybride de dialogue, entre le langage naturel et le langage informatique (par requête). Cette hybridation est dynamique ; puisqu’il s’agit d’outils évoluant avec le recueil de données d’expérience, ceux-ci sont susceptibles de fonctionner autrement avec le temps. Si les équipes de développement rêvent parfois d’outils permettant d’enrichir automatiquement le vocabulaire des bots (car c’est un travail peu qualifié), le chatbot, pour l’heure, ne fonctionne pas « tout seul ». C’est dans cette optique que le dialogue initié par le chatbot ne peut pas être considéré comme un face-à-face programme-internaute, mais plutôt comme un système scindé en trois parties, impliquant la surveillance permanente d’humains superviseurs.

Une compréhension tripartite

38A priori, l’interface met bien en relation deux interlocuteurs dans un dialogue : d’une part, les clients qui expriment une requête, et d’autre part, le chatbot qui effectue une action de calcul de détection d’intention afin de donner une réponse. Mais les échanges langagiers sont également relus, par échantillons ou intégralement, par l’équipe de superviseurs humains qui s’occupe de développer, de superviser le système de compréhension et d’écrire les réponses. Ceux-ci opèrent en effet une surveillance continue du système, au moyen d’une lecture assidue des sessions de dialogues enregistrées quotidiennement. Ces historiques, toujours conservés, sont lus et analysés par l’équipe afin de détecter les interactions « ratées » ; celles-ci sont annotées et étiquetées en plusieurs catégories. Ce document de relecture est partagé en temps réel par tous les membres de l’équipe du projet grâce à un progiciel sur lequel l’ensemble des documents en version finale est hébergé (bases de connaissances, arborescences de dialogues, historiques de dialogues, calendrier de suivi du projet). Cette activité vise à détecter les cas d’interactions ratées après-coup : lorsque des usagers ne suivent pas le scénario imaginé, ou bien lorsque le chatbot ne sait pas bien répondre à la demande de l’usager, les concepteurs analysent la situation et cherchent à comprendre ce qui n’a pas fonctionné.

39Cette surveillance ne s’applique pas uniquement aux historiques de dialogues, qui concerne le déroulement des interactions, mais touche également à la compréhension de l’outil utilisé pour calculer le sens des requêtes des clients : en délivrant des résultats parfois différents pour des situations similaires, l’outil TAL est un autre acteur qu’il faut comprendre et dont il faut cadrer les bugs. Les concepteurs s’attachent donc à comprendre les différentes manières de s’exprimer des clients (notamment, en repérant les divers termes employés pour désigner une même situation), et à la fois à comprendre comment le système a « compris » le client, en comparant le résultat des intentions calculées et ce que les superviseurs humains comprennent d’une même phrase (puisque les équipes projet n’ont pas accès aux modalités du calcul). L’observation se déroule donc en deux temps ; d’une part, il s’agit d’enrichir les facultés de compréhension du système, d’autre part, il s’agit d’anticiper le calcul du système afin de pouvoir « réparer » les interactions ratées. C’est à ce moment qu’il peut être décidé, par exemple, d’insérer une question à choix multiples (des réponses proposées par boutons) plutôt qu’une interface à texte libre, lorsque plusieurs cas d’incompréhension se répètent pour une même proposition du bot : « (…) par moments il y a des clients, ça fait 3 fois qu’on leur dit des trucs et à la fin ils sont complètement paumés, et ça arrive qu’on sache plus trop où ils sont, et ils s’énervent un peu. C’est logique. Du coup voilà, ça, ça peut vraiment changer, souvent. » Max, architecte cognitif Bot2, 2018

40Proposer des choix de réponses cliquables permet au dispositif de ne « pas se tromper » sur la formulation du client, quitte à rompre la dynamique conversationnelle initiée par la saisie en texte libre. Sur le projet Bot1, c’est une personne, Julie, qui s’occupe quotidiennement de lire et étiqueter quelques centaines de conversations par semaine, apportant ainsi une couche de compréhension « humaine » sur celle de l’« intelligence artificielle »… Au prix d’un travail méticuleux d’attention. Le tri des dialogues « réussis » et « ratés » (c’est-à-dire, avec ou sans détection de la bonne intention) est une activité à part entière des concepteurs, qui consiste à pallier les carences de l’outil. Cette activité de supervision continue requiert cependant des compétences d’analyse particulières (comprendre par déduction ce que le client ou la machine n’a pas compris) et se distingue ainsi de l’activité de fond, peu qualifiée, des microtravailleurs du « clic » étudiés par Antonio Casilli (Casilli, 2019).

41De la même manière que pour les interactions de service conduites par des humains, les interactions avec des chatbots nécessitent donc, elles aussi, un important travail collectif d’arrière-plan, que ce soit dans la conception préalable du service ou dans sa production (Combes, 2002). Mais ce travail collectif qui allie plusieurs compétences (design, métier, technique, pratique du langage ordinaire) n’est pas toujours suffisant. Dans son article paru en 2007, Philippe Zarifian montre bien comment les interactions de service sont guidées à la fois par les conventions du métier et par la participation personnelle des travailleurs dans la compréhension de leur interlocuteur – la compréhension n’est pas une compétence spécifique au métier, mais constitue un exercice individuel nécessaire. Si le travail de service nécessite un dialogue, en face à face ou en ligne, la qualité du service est également contrôlée par un acteur tiers, lequel cadre « la puissance d’action » des employés. Le travail des agents de service se trouve donc à mi-chemin entre convention de métier contrôlable et initiative personnelle silencieuse : au final, la « compréhension » des agents de service nécessite systématiquement une part d’action individuelle et personnelle, dans l’optique de saisir les demandes les plus singulières : l’activité de service comporte donc une part d’imprévisibilité face à laquelle les agents doivent rester flexibles, en étant capables de mobiliser leurs propres ressources.

Les limites du dialogue : orienter l’usager vers les bons périmètres d’action du bot

42Les automates conversationnels posent eux aussi ce problème de compréhension « silencieuse », mais ils le posent différemment. En dépit du travail important de scénarisation des interactions et d’enrichissement des connaissances, deux facteurs imprévisibles font vaciller le système de compréhension : d’une part, la manière dont s’expriment les clients (des phrases trop longues, des mots mal écrits, des fautes syntaxiques…), et d’autre part, les calculs d’intention erronés, ou divergents pour un même mot. Ce problème d’alignement interactionnel pointe les limites de l’autonomie du système, qui ne peut pas traiter les requêtes trop écartées du script (que ce soit à propos du sujet de la demande ou de la manière de formuler celle-ci). Aussi, à la fin de la première phase d’élaboration, l’équipe projet Bot1 fait ses propres tests sur le chatbot : comment réagit-il si on lui écrit en langage SMS ? Quels mots est-il encore incapable de saisir ? Quelles sont les tournures syntaxiques les plus adéquates en vue d’un score de détection d’intention pertinent ? Cette part du système qui reste inconnue (mots et demandes des clients, calculs de l’algorithme…), rend le dispositif imprévisible pour les concepteurs : pour contourner ses limites, les équipes projet mettent en place des stratégies afin d’orienter les usagers vers les bons périmètres d’usages.

43Ainsi selon Dominique, designer sur le projet Bot2, un chatbot est davantage ambigu si on ne rajoute pas quelques éléments de mode d’emploi en introduction : Bot2 se voit ainsi doté d’une petite notice au-dessus de la fenêtre de conversation, expliquant en quelques mots ce qu’il est capable de faire. Cette mesure, selon le designer, permet aux usagers d’évaluer les fonctionnalités réelles du dispositif et de ne pas commencer l’interaction avec un niveau d’attente trop élevé. François, responsable du projet Bot1, explique également que la meilleure façon de répondre convenablement à la question d’un usager est de le guider dans un parcours aux réponses préconstruites : pour cela, le chatbot peut proposer des réponses au moyen de boutons cliquables, ce qui évite d’avoir recourt à la détection d’intention sur une requête écrite par l’usager. De même, Bot1 peut réorienter des usagers vers la bonne page URL du site de l’entreprise afin de les guider vers la bonne information, lorsqu’il ne peut pas y répondre directement.

44Ces formes d’orientation des usages restent malgré tout limitées (proposer de cliquer sur un bouton pour répondre n’empêche pas les usagers d’écrire ni de poser des questions hors sujet), et remettent en question la promesse de compréhension du langage associée aux chatbots. En effet, en poursuivant l’idéal d’une mise en relation commerciale automatique et à grande échelle, les concepteurs se trouvent enrôlés dans un nécessaire travail d’assemblage des éléments de compréhension : nous l’avons vu, cette notion apparaît comme un processus complexe, qui se réduit difficilement à la détection automatique de sens dans une phrase.