1 – Introduction

1Cet article se penche sur les spécificités et les défis soulevés par l’étude de données vidéo en analyse conversationnelle sur la scène internationale et avec un focus particulier sur l’analyse multimodale d’interactions en français. Ces enjeux sont exemplifiés dans l’analyse d’une action particulière, les requêtes, souvent réalisées multimodalement.

2Bien que l’analyse conversationnelle soit connue pour s’être développée à partir de l’analyse détaillée de la parole en interaction, basée essentiellement sur des données audio – quoique non uniquement tirées d’enregistrements de conversations téléphoniques – l’approche de données filmées et vidéo apparaît très tôt dans son histoire et est contemporaine de la diffusion des premières caméras Sony Portapak à la fin des années 60. Ainsi, dès les années 70, aux USA Charles et Marjory Harness Goodwin s’engagent dans la réalisation de films et de vidéos et offrent les premières études multimodales, avec un intérêt spécifique pour les regards (C. Goodwin, 1979, 1981 ; M.H. Goodwin, 1980). Parallèlement en Angleterre, Christian Heath (1986) s’intéresse aux interactions médecin-patient, dans une analyse vidéo focalisée sur les regards, les gestes et les corps des participants. Ces deux filons naissent de manière indépendante mais bénéficient tous deux des enseignements éclairants de Gail Jefferson, présente aux côtés des Goodwins à Philadelphie, puis en Angleterre aux côtés de Heath, participant à leurs data sessions, contribuant à leur formation, et s’enthousiasmant pour les détails multimodaux – tout en ne publiant pas sur eux. Parallèlement, très tôt Sacks et Schegloff préparent une communication sur la base de données filmées à propos de la notion de ‘home position’ (publiée en 2002 mais présentée en 1975 à l’Annual Meetings of the American Anthropological Association, quelques semaines après la mort accidentelle de Sacks) ; dix ans plus tard, Schegloff (1984) publie un article influent sur le rapport entre gestes et parole en interaction.

3C’est toutefois à partir des années 2000 que l’analyse multimodale en analyse conversationnelle a subi son véritable essor – ce qui fait qu’il est désormais possible de parler d’un tournant vidéo, ou multimodal, ou encore incarné en AC (Mondada 2014a, 2016 ; Nevile 2015). Ce succès est dû d’une part à l’accessibilité toujours plus grande des technologies d’enregistrement – meilleur marché, plus compactes et plus faciles à manier – et d’autre part à une maturité acquise par l’analyse conversationnelle dans l’étude d’une diversité de contextes et d’activités sociales, ordinaires et institutionnels, la préparant à aborder des ordres de phénomènes plus complexes.

4Cet article décrit les enjeux de l’analyse multimodale d’abord en général, puis en ce qui concerne les études réalisées sur des données françaises. Il se penche ensuite sur un phénomène empirique particulier, l’organisation d’une action simple – la requête – dans une écologie spécifique – des interactions commerciales dans des magasins –, en montrant comment il est possible d’en explorer les caractéristiques multimodales à la fois situées et systématiques.

2 – Les enjeux de la multimodalité en analyse conversationnelle

5L’analyse multimodale basée sur des données vidéo peut être vue comme une avancée naturelle au sein du paradigme de l’analyse conversationnelle. En effet, l’analyse conversationnelle se défend depuis ses débuts d’être motivée par un intérêt pour le langage en soi (Sacks 1984), même si elle a fourni très tôt (Sacks & al. 1974) des arguments analytiques et théoriques pour des avancées innovantes en linguistique. Plutôt que le langage, c’est l’action qui est au cœur de l’attention de l’analyse conversationnelle. Le focus conceptuel et empirique sur l’action permet aussi bien d’offrir une nouvelle approche de l’ordre social comme accomplissement pratique (Schegloff 1992, 2006), de la grammaire comme nourrie et motivée par les contraintes de l’interaction sociale (Selting & Couper-Kuhlen 2001), ainsi que de la cognition comme située et distribuée. Le focus sur l’action en interaction – où il n’est pas question d’individus solitaires mais de co-participants engagés dans une activité conjointe – permet de poser la question de son intelligibilité (son accountability (Garfinkel 1967)), telle qu’elle est produite in situ par et pour les participants, grâce à son organisation méthodique (d’où dérive le terme d’ethnométhodologie (Garfinkel op. cit.)).

6L’intelligibilité de l’action est en effet produite par l’arrangement multimodal d’un ensemble de ressources, qui vont du langage – lexique, syntaxe, phonétique, prosodie – au corps – gestes, regards, mimiques faciales, postures, mouvements, manipulations d’objets et d’outils. Ces arrangements sont à la fois indexicaux, étant ajustés au contexte et à ses contingences, et systématiques, étant méthodiquement ordonnés. En mobilisant les ressources multimodales les plus variées, selon les contraintes et les potentialités de l’écologie dans laquelle se déroule l’interaction, les participants constituent le caractère publiquement intelligible de ce qu’ils font.

7L’analyse conversationnelle a d’abord développé une approche nouvelle des ressources linguistiques : dès l’article princeps proposant le modèle de l’alternance des tours de parole, Sacks & al. (1974, 702-703) y abordent la syntaxe en termes d’unités pour lesquelles les interlocuteurs sont à mêmes de projeter la façon dont elles sont susceptibles de se poursuivre et de se terminer et donc d’identifier des points pertinents de transition où le transfert de la parole peut se faire. Plus tard, ce qui deviendra la linguistique interactionnelle va explorer différentes propriétés de la grammaire, de la syntaxe, du lexique et de la prosodie en rapport à leur potentiel interactionnel et à leur contribution à l’organisation séquentielle (Ochs & al. 1996 ; Ford & al. 2002 ; Hakulinen & Selting 2005). En français, cela a produit des travaux rejoignant très tôt, voire préfiguant le lancement de la linguistique interactionnelle (Mondada 1995, 1998 ; Pekarek Doehler 1999), autour d’une grammaire-pour-l’interaction (Mondada 2000, Pekarek Doehler 2000, 2001). Plus tard, cela a inspiré la réflexion sur le caractère bricolé, émergent et dynamique des ressources linguistiques en interaction (De Stefani 2008 ; Mondada 2008 ; Oloff 2013 ; Pekarek Doehler 2011 ; Pekarek Doehler & al. 2015).

8Cette réflexion sur les ressources profite aussi de l’étude de situations où celles-ci sont en train de se constituer, comme dans l’apprentissage de la L2 (Pekarek Doehler 2006, 2013) ou l’acquisition de la L1 chez les enfants (Keel 2016), mais aussi dans des situations cliniques, pathologiques ou impliquant des populations particulières (par exemple en rapport avec l’aphasie (Merlino 2017), la maladie d’Alzheimer (Cruz 2014) ou la langue des signes (Groeber & Pochon-Berger 2014)).

9La réflexion sur les ressources multimodales suit une trajectoire similaire. Sur le plan international, elle prend appui sur les travaux de Goodwin montrant comment les gestes, le regard, la position des corps, l’utilisation de l’espace, au sein de ‘configurations contextuelles’ (Goodwin 2000), permet de construire l’intelligibilité de l’action et la coordination des participants. Sur le français, la réflexion sur la multimodalité s’est développée dans une riche série d’ouvrages collectifs et numéros spéciaux (voir les textes dirigés par De Stefani (2007), Jacquin (2017), Mondada (2014f), Mondada & Keel (2017), consacrés à l’analyse vidéo), mais aussi de travaux individuels. Elle est une occasion de développer non seulement des démonstrations empiriques sur le rôle des ressources corporelles imbriquées au langage – comme par exemple l’alternance des tours (Mondada 2004) ou la clôture des séquences (Broth & Mondada 2013 ; Mondada 2006, 2015) - mais plus radicalement de penser la notion de ressource elle-même. Les ‘ressources’ ne sont pas uniquement des formes linguistiques ou gestuelles conventionnelles, mais sont constituées par tout ce que les participants traitent comme pertinent pour le formatage mutuellement intelligible de leur action – des ressources plus classiques et connues, comme les gestes et les regards, aux moins explorées, comme le corps tout entier, les mouvements et les déplacements, ainsi que les manipulations d’objets et d’outils (Mondada 2014a).

10La multimodalité s’est développée par rapport à d’autres défis encore. Les pionniers de l’analyse vidéo ont étudié des contextes d’interaction complexes, concernant surtout des situations de travail faisant intervenir des espaces fragmentés, des outils technologiques, des objets matériels et des participants nombreux et dispersés (Heath & Luff 2000 ; Goodwin 1999, 2000 ; Goodwin & Goodwin 1996). Cela fait que les études multimodales initiales dépassent immédiatement l’articulation entre langage et gestes/regards, pour faire intervenir d’autres dimensions, comme la spatialité, la matérialité, et les technologies. Une partie importante des études vidéo de données en français se focalisent aussi sur des écologies fortement technologisées : usages de dispositifs de visioconférence et communication à distance (Bonu 2010 ; Fornel 1994 ; Relieu 2007 ; Licoppe & Relieu 2007 ; Licoppe & Dumoulin 2015), usage de technologies mobiles et Skype dans différents contextes ordinaires (Relieu 2005 ; Licoppe & Morel 2012), coordination du travail dans des studios de télévision surpeuplés d’écrans (Broth 2004, 2008 ; Camus 2017).

11En outre, d’autres situations constituant des défis à l’analyse de l’interaction, motivant et bénéficiant de l’analyse multimodale, ont été appréhendées très tôt dans l’espace francophone : les activités comportant des cadres participatifs complexes en sont un exemple, impliquant soit de nombreux participants et des artefacts – comme les réunions (Markaki & al. 2014 ; Mondada 2012a ; Mondada & al. 2017) ou les salles de classe (Fazel & al. 2008 ; Pitsch 2007) –, soit des formes de participation imbriquées dans des espaces complexes d’action impliquant des manipulations d’objets et d’outils – comme des opérations chirurgicales (Mondada 2011), le travail de cuisinières dans un restaurant (Traverso & Galatolo 2008), les ateliers de maquillage (Greco à paraître) ou l’accrochage d’œuvres d’art (Kreplak 2014) – ou encore faisant intervenir des médiateurs, tels que les interprètes (Ticca & Traverso 2015, 2017 ; Merlino 2014) ou les animateurs et autres modérateurs de séance (Mondada 2013).

12Les pratiques de mobilité sont un autre domaine exemplaire où observer la manière dont le corps entier (et non seulement les gestes et les regards) est mobilisé, dépassant les situations statiques généralement privilégies par les études interactionnelles. Les travaux francophones (Relieu 1994, 1999 ; Broth & Mondada 2013 ; Mondada 2014c, 2017a ; Mondémé 2014 ; González-Martínez & al. 2017) ont contribué de manière significative aux études internationales de la mobilité en interaction (Haddington & al. 2013), en démontrant comment les contraintes, contingences et potentialités de l’écologie matérielle et spatiale de l’activité interviennent dans les arrangements séquentiels et participatifs.

13Enfin, les pratiques de multi-activité (Haddington & al. 2015) constituent un autre contexte qui complexifie le rapport entre action, langage et corporéité, où plusieurs activités sont menées en même temps (Mondada 2014d ; Licoppe 2008 ; Veyrier, 2015). Leur étude porte à une re-conceptualisation de l’importance du temps et des temporalités multiples en interaction. De même, les interactions comportant des inscriptions, souvent en multi-activité, quand les participants discutent entre eux et en même temps écrivent, tracent, lisent, consultent des documents, représentent un défi particulier, puisqu’elles font intervenir la manipulation d’objets inscrits dotés de divers statuts, privés ou publics, ainsi que des accessibilités et visibilités diverses pour les participants (et pour le chercheur) (Détienne & Traverso 2008 ; Mondada & Svinhufvud 2016).

14Plus fondamentalement, l’analyse multimodale s’est accompagnée depuis toujours de réflexions sur les conditions d’enregistrement vidéo (Zouinar & al. 2004 ; Relieu 1994 ; Relieu & al. 2010 ; Mondada 2012b) et ont inclus une approche des pratiques de la vidéo non seulement en tant que méthodologie mais aussi comme objet d’étude à part entière (Broth & al. 2014 ; Camus, 2017).

15En somme, l’étude de données vidéo et l’analyse multimodale qu’elles ont rendue possible ont ouvert l’horizon de l’analyse conversationnelle : d’une part en permettant de revisiter des concepts et des phénomènes appréhendés jusque-là au moyen de données audio ; d’autre part, en permettant de s’attaquer à de nouveaux phénomènes, inobservables jusque-là, et de développer de nouvelles conceptualisations des rapports entre action, langage et corporalité. Dans la deuxième partie de cet article, nous allons nous pencher sur un phénomène qui a fait l’objet de nombreuses études en analyse conversationnelle sur la base de données audio ; nous allons montrer les questions originales qu’une analyse multimodale permet de poser et discuter des enjeux conceptuels qui en découlent, notamment en termes de temporalité et de séquentialité – qui constituent l’architecture conceptuelle fondamentale de l’analyse conversationnelle.

3 – Analyse multimodale des requêtes en contexte commercial : quelques défis pour une conceptualisation de la temporalité et de la séquentialité

16Je vais ici développer empiriquement un certain nombre d’enjeux que pose l’analyse séquentielle multimodale (Mondada 2014a, 2016). Pour ce faire, je vais me focaliser sur une variété de formats multimodaux réalisant des actions de requête. Le format multimodal de l’action permet de réfléchir à la manière dont les ressources corporelles s’articulent temporellement au tour de parole. En outre, l’analyse multimodale est cruciale pour comprendre la manière dont l’action reçoit une réponse – dans le cas des requêtes, celle-ci est la réalisation corporelle de l’action requise. Les formats multimodaux des réponses permettent de réfléchir à la manière dont celles-ci se situent séquentiellement et temporellement par rapport à l’action initiale : comme elles commencent souvent avant que la première soit complète, elles permettent de concevoir l’articulation de temporalités successives et simultanées.

17Je vais ici me focaliser sur une collection de cas apparemment simples, constituée des premières requêtes énoncées dans des interactions commerciales (bureaux de tabac, boulangeries ou fromageries) tout de suite après les salutations. Ce type d’interaction a donné lieu à de nombreuses études, y compris en France (Kerbrat-Orecchioni & Traverso 2008). La plupart des analyses se sont focalisées sur la parole verbale, à quelques exceptions près (Filliettaz 2004 ; Traverso 2008). Les requêtes sont un type d’action central dans ce contexte. Elles sont le seul moyen d’accéder aux produits qui doivent être pourvus par le vendeur (vs les produits que l’on peut prendre soi-même (cf. Traverso 2001 ; Mondada & Sorjonen 2016)).

18Les requêtes sont une action qui a fait l’objet de nombreuses études en analyse conversationnelle : en particulier on y a distingué les requêtes portant sur une action future, différée dans le temps (typiquement dans des conversations téléphoniques), de celles portant sur une action devant être réalisée immédiatement et en co-présence (Lindström 2005 ; Drew & Couper-Kuhlen 2014). Alors que la littérature conversationnelle s’est focalisée pendant longtemps sur les premières (Curl & Drew 2008), des travaux récents ont montré l’importance de l’analyse multimodale pour les secondes (De Stefani & Gazin 2014 ; Goodwin & Cekaite 2013 ; Mondada 2014d, 2017c).

19Ainsi, dans le contexte étudié, la requête du client est constituée d’un tour de parole, parfois accompagné d’un geste ou d’un regard ; elle constitue la première partie d’une paire adjacente, dont la seconde est souvent une action incarnée, où le vendeur se dirige vers le produit demandé et l’apporte au client (Mondada 2017b ; Mondada & Sorjonen 2016). Cette séquence, dans sa simplicité même, permet de discuter de questions centrales pour l’analyse séquentielle multimodale, concernant notamment l’organisation de la séquence. Dans les séquences étudiées avec un focus sur le verbal, les paires adjacentes sont réalisées dans des tours verbaux qui se suivent l’un l’autre, avec des chevauchements possibles, mais limités. Lorsqu’on s’intéresse à l’organisation multimodale de la séquence, on découvre une temporalité différente, où le formatage de la première et de la seconde partie de paire est réalisé par une pluralité de ressources mises en œuvre en parallèle, caractérisées par une temporalité à la fois simultanée et successive. L’analyse qui suit vise à montrer les conséquences de cette temporalité spécifique pour la conception de la séquentialité.

20Les extraits proviennent d’un vaste corpus vidéo que nous avons réalisé en 2015-2016 dans une douzaine de pays (et de langues) en Europe. Nous nous focalisons ici uniquement sur les données en français.

21Voici un premier extrait (1), enregistré dans un bureau de tabac en Alsace, où un client énonce une requête concernant deux types de cigarettes (c1, c2). Je commente les conventions multimodales utilisées pour cette transcription dans le fil de l’analyse ci-dessous.

(1)

(KIO_F_VIL-1-02-06)

22Après avoir été salué (l. 1), le client ne répond pas aux salutations (comprenant celles de la vendeuse comme une invitation à progresser dans l’interaction) et entame sa première requête (l. 3, figure 1). Aussitôt que le client a produit le nom indiquant le type de produit (un paquet), et est en train de prononcer la marque, la vendeuse se retourne vers le rayon derrière elle (fig. 2), où sont disposées les cigarettes, pour prendre le premier produit demandé (c1) (fig. 3, comprenant les vues des deux caméras utilisées), puis le second (c2).

23La transcription multimodale se concentre ici surtout sur les regards du client et de la vendeuse, ainsi que sur les gestes de cette dernière. Les conventions (Mondada (2004, 2016, à paraître), voir aussi les explications en fin d’article) se fondent sur la temporalité et la descriptibilité des actions. Temporellement, sont annotées les trajectoires des gestes et des regards, caractérisées par leur émergence et leur complétude. Des symboles-balises les délimitent à droite et à gauche, comme *reg c2* lorsqu’ils sont sur la même ligne, ou, alternativement, quand ils continuent sur les lignes successives, comme *reg en face (c1?)---> avec des symboles suivis de flèches qui invitent à chercher la fin du mouvement à la ligne suivante (indiquée par -->*).

24La transcription multimodale permet de se pencher avec précision sur la temporalité des ressources multimodales. Elle permet ainsi de remarquer que la réponse de la vendeuse commence bien avant la fin du tour du client ; elle commence toutefois après que le premier item demandé soit projetable grâce à sa description générique (verbale) (fig. 2).

25Le fait que son mouvement – entamant la deuxième partie de paire – soit réalisé en s’orientant vers la parole du client, et non, par exemple, vers son regard qui se pose très vite sur les cigarettes (2), est inférable en observant les regards des deux participants : lorsque le client anticipe l’objet requis par son regard, la vendeuse ne le regarde pas, étant tournée vers l’écran de sa caisse enregistreuse (1). Autrement dit, le regard du client projette sa requête, mais n’est pas disponible pour la vendeuse (fig. 1). Cela montre que la séquentialité et temporalité de la paire adjacente sont définies d’une part par les ressources multimodales mises en œuvre, et d’autre part, aussi, par leur visibilité/audibilité pour les co-participants. La transcription des regards joue un rôle important, et souvent mésestimé, de ce point de vue.

26L’extrait suivant (2) présente une autre requête de cigarettes, qui se déroule toutefois selon une temporalité différente, à la fois en ce qui concerne le format de la première action et celui de la réponse (‘mDr’ renvoie à la main droite de la vendeuse à la ligne 3) :

(2)

(KIO_F_VIL-1-36-42 CL42)

27Dans cette séquence aussi, une requête est produite et la réponse est incarnée, consistant à prendre le produit demandé. Toutefois, la temporalité est très différente de celle de l’extrait 1 : ici, la vendeuse n’attend pas que l’objet demandé soit prononcé, mais se tourne avant que sa désignation verbale ne soit projetée ou même projetable (l. 3). Cela est rendu possible par le fait que le client se penche latéralement dès le début de son action, manifestant par là une orientation corporelle vers le lieu où se trouve le type de cigarette demandé – peut-être pour en vérifier la disponibilité. Cette fois, la vendeuse, qui regarde le client dès son arrivée, s’oriente vers son positionnement corporel visiblement dirigé vers l’item demandé. Cela lui permet de produire une réponse très précoce par rapport au tour verbal du client.

28Comme dans l’extrait 1, l’action en réponse à la requête accompagne le déroulement du tour verbalisant la requête, et n’attend pas la fin du tour pour y répondre. La main droite (mDr) de la vendeuse se trouve à proximité de l’objet lorsque le tour se termine sur l’adjectif final spécifiant le produit : on voit alors la main accélérer vers le paquet indiqué pour le saisir. Le temps du geste répond en temps réel au temps de la parole.

29En outre, dans les deux extraits (1 et 2), le client, une fois énoncée sa requête, se tourne vers son porte-monnaie dans le premier, vers la caisse dans le second : avant même qu’il n’ait fini dans le premier cas, aussitôt complété son tour dans le second, et avant même que la vendeuse ait pris en main le produit demandé, il projette la séquence suivante, le paiement. Ainsi une nouvelle séquence s’emboîte dans celle qui n’est pas encore terminée.

30Ces deux extraits (1 et 2) montrent comment l’analyse multimodale confirme et transforme à la fois l’analyse séquentielle de la parole. Le principe fondamental de la séquentialité demeure : l’action est organisée et rendue intelligible par des projections permettant de comprendre et d’agir en réponse, et les actions qui suivent émergent de manière intelligible comme des réponses aux précédentes. Toutefois, la multimodalité informe de manière spécifique ces projections, en les organisant au sein d’une temporalité plus compacte, où différentes ressources sont mobilisées simultanément, tout en n’étant pas initiées et terminées ensemble, dessinant ainsi des relations de successivité qui rendent intelligible la distinction entre actions qui initient et actions qui répondent. En outre, ces relations temporelles sont émergentes et flexibles, chaque ressource ayant une temporalité propre (la parole, le regard, le corps qui se tourne, la main qui s’avance…) qui peut être localement modulée en fonction des contingences de l’interaction et du détail de son organisation séquentielle.

31Cette analyse peut être étoffée ultérieurement sur la base d’extraits présentant une temporalité plus complexe, que nous allons maintenant aborder dans l’extrait 3 suivant, dans une fromagerie à Lyon :

(3)

(FRO_F_LYON_300415_2/01.05.58/cli11)

32La vendeuse salue le client (l. 1) qui s’approche. Alors qu’il n’a pas encore atteint le comptoir, celui-ci demande du ‘Cantal vieux’. Avant même qu’il n’ait produit le nom du produit, la vendeuse tourne la tête vers où se trouve le fromage ; elle commence à se déplacer vers lui dès que son nom est produit. La vendeuse s’oriente vers les projections déclenchées à la fois par la syntaxe (le verbe projetant l’argument du verbe, ‘un bout de’ projetant le nom du fromage, etc.) et par le geste de pointage, qui lui permet de commencer à se diriger vers le domain of scrutinity (Goodwin 2000) au sein duquel la cible sera précisée quelques secondes plus tard.

33Les ressources multimodales déclenchent une multiplicité de projections, qui se superposent temporellement, tout en n’ayant pas la même portée. Cette multiplication des projections montre d’une part la diversité et pluralité de ressources pouvant être mobilisées par les locuteurs et d’autre part la précocité des réponses du co-participant, qui peut les exploiter très vite. En voici une autre instance (extrait 4), enregistrée dans une boulangerie dans une petite ville alsacienne. L’extrait commence alors que le client précédent quitte le magasin (l. 1).

34La nouvelle cliente salue et, alors qu’elle est encore à quelque distance de la vitrine, elle regarde déjà vers l’aire où se trouvent les feuilletés (l. 2). La vendeuse répond à ses salutations (l. 3) et, en chevauchement terminal, la cliente effectue une requête sous la forme d’une annonce de ce qu’elle va prendre (l. 4). Pendant la deuxième partie de la paire de la salutation, elle avance vers la vitrine, et avant même de prononcer le nom du premier produit, elle pointe vers lui avec la main qui tient son porte-monnaie (l. 4).

(4)

(BAK_F_STL_avr_8-10)

35La temporalité de la réponse de la vendeuse (l. 4) est intéressante : elle commence à marcher vers les feuilletés alors même que la cliente n’a pas encore commencé son tour (l. 4, figure 5). Cela montre bien qu’elle s’oriente vers le regard de la cliente sur les feuilletés ainsi que sur son avancée et son positionnement. Autrement dit, avant même de produire sa requête, le corps de la cliente projette le type de produit qui fera l’objet de son action. Promptement, la vendeuse s’y aligne.

36La réponse de la vendeuse prend du temps : elle doit contourner le comptoir avant d’atteindre les sachets qu’elle emploie pour y disposer les feuilletés, prendre la pince, et finalement saisir les feuilletés demandés. Même si la réponse à la requête est immédiatement lancée, sa complétion est clairement renvoyée à plus tard : c’est ce que traite le oui (l. 7) de la vendeuse – une particule en réponse qui anticipe et projette la satisfaction de la demande. La réponse s’égrène ainsi de manières multiples : immédiatement par la direction du corps et de son déplacement, un peu plus tard avec la particule, et plus tard encore par l’emballage du produit.

37Pendant ce temps, une fois complétée sa requête avec l’ajout d’un second produit (l. 5), la cliente – comme les clients dans les extraits précédents – se tourne vers le comptoir caisse (l. 7). Les trajectoires des deux participantes sont ici distinctes : la vendeuse progresse dans sa réponse, alors que la cliente progresse vers l’action suivante (figure 6). En regardant vers l’avant et en ouvrant son porte-monnaie, cette dernière projette deux nouvelles actions : une seconde requête (l. 11) qui est anticipée par la vendeuse (non seulement par sa question (l. 10), mais aussi par son retour vers le comptoir) et le paiement, et donc la clôture de l’échange.

38Plusieurs projections en cours peuvent donc se superposer, certaines étant déjà entamées alors qu’une action projetée n’est pas encore réalisée. En outre, certaines actions qui séquentiellement occupent une seconde position, comme des réponses, peuvent être entamées très tôt, avant même que la première action ne soit produite verbalement (mais en s’orientant vers ce qui permet de la projeter de façon incarnée). Cela produit une forme particulière de séquentialité : le principe de successivité (les relations entre prior et next qui la définissent) n’est pas mis en cause, mais est implémenté d’une manière assez différente de celle des séquences réalisées par des paires adjacentes verbales. Lorsque des actions incarnées sont pertinentes, leur temporalité génère des séquentialités plurielles et entrelacées, où plusieurs conduites multimodales se déroulent en parallèle, tout en se répondant mutuellement.

39Une dernière occurrence (extrait 5), enregistrée dans une fromagerie parisienne, montre comment ces séquentialités plurielles peuvent être implémentées par les participants.

40Avant même le début de l’extrait, le client positionne son corps par rapport à la localisation du produit demandé – en faisant un pas de côté (l. 4) en direction des œufs. Cette partie du corps du client déjà orientée vers le produit constitue une projection précoce de sa future requête. Toutefois l’autre partie de son corps est orientée vers la vendeuse : le client la regarde jusqu’au début de la requête (il détourne le regard juste avant de prononcer le pronom vous l. 5). Cela constitue une forme de ‘body torque’ (Schegloff 1998) ou double orientation corporelle. La requête est complétée par un geste de pointage accompagné du regard vers le produit demandé (figure 7).

(5)

(FRO_F_PAR_1007-31-15)

41La vendeuse se tourne aussi vers le client : elle le regarde jusqu’à la pré-complétion de la requête, puis, au milieu du mot oeu+:fs (l. 5), elle déplace son regard vers le lieu où se trouvent les œufs, manifestant ainsi sa compréhension de la requête. Cela constitue la première partie d’une réponse multimodale composite, organisée au sein de différentes temporalités. Après un coup d’œil précoce vers les œufs (l. 5), elle produit une réponse verbale immédiate (mhm (l. 7) – cf. le oui de l’extrait 4), avec un hochement de tête (figure 8). En outre, en réorientant son corps et en commençant à marcher (l. 7), elle projette une satisfaction de la requête imminente, consistant à aller chercher les œufs. Les deux premiers types de réponse (le regard et le mhm) sont produits en position de pré-complétion, les deuxièmes (la marche et la saisie du produit) requièrent davantage de temps pour être complétés à leur tour. Ils mobilisent des parties différentes du corps, en des moments différents. A la fin, le client s’aligne avec le dernier mouvement de la vendeuse, en se tournant à nouveau vers les œufs.

42Une observation supplémentaire peut être énoncée sur la base de cette transcription. Le client ne produit pas simplement une orientation précoce vers le produit demandé, mais aussi vers le produit qu’il demandera ensuite. Même avant de mentionner les œufs, il se détourne d’eux, et se positionne face à une vitrine réfrigérée dans laquelle sont exposés les fromages à pâte dure (fig. 8). La requête concernant les œufs se termine sur la dernière syllabe du nom du produit (oeu:fs/ (l. 5), qui est allongée et suivie d’une intonation montante, typique en Français d’un format de liste. Elle est suivie par °et [pi:s° (l. 6), prononcé à voix basse, et partiellement chevauché par la vendeuse. L’orientation corporelle ainsi que ces éléments syntaxiques et prosodiques constituent une projection précoce de la deuxième requête (qui sera produite explicitement plus tard, et qui portera sur de la mimolette, un fromage à pâte dure qui se trouve dans le frigo vers lequel se tourne le client). Ceci montre que des projections peuvent être réalisées très tôt de manière incarnée – et peuvent être observées et documentées grâce à l’enregistrement vidéo et à sa transcription. Inclure de tels mouvements – au lieu de les ignorer – change radicalement notre compréhension de l’action en train de se faire.

43Dans le cas présent, cela a des conséquences aussi pour la formation de l’action : l’action n’est pas formatée comme une requête unique ou isolée, mais comme une requête-dans-une-série, comme le moment initial d’un achat global qui se poursuivra au-delà d’elle (Mondada & Sorjonen 2016). En outre, cela montre comment l’action et son formatage détaillé sont imbriqués dans l’écologie de l’activité, et plus précisément la géographie locale des produits dans l’espace du magasin. La distribution spatiale des produits, classés en types, est exploitée par les deux participants pour comprendre les projections.

44Cet exemple montre l’importance de la notation précise de la temporalité des mouvements des participants. Celle-ci permet de décrire le phénomène des projections anticipées, rendues particulièrement visibles par les mouvements du corps, et localisées dans le temps bien avant les projections verbales. Cela permet de contraster – et de comprendre – différentes temporalités caractérisant les réponses, ainsi que les conditions et contingences qui les rendent possibles. Cela permet aussi de réfléchir à ce que les participants traitent comme étant une ressource corporelle pertinente, et révèle que cela concerne une variété de postures et de positions (et non par exemple uniquement des gestes et des regards). Cela a plusieurs conséquences, pour la définition des ressources multimodales et leur caractère émergent et indexical (Mondada 2014a), pour notre conception de la temporalité complexe caractérisant la multimodalité, ainsi que pour notre compréhension de la manière dont fonctionnent la séquentialité et les projections en interaction.

4 – Conclusion

45L’analyse vidéo n’est pas une simple conséquence naturelle du développement des technologies permettant l’enregistrement et le traitement de données audio-visuelles. Elle suppose au contraire une conception des relations entre langage et corps, ainsi que de l’action et de l’interaction, qui permette d’exploiter analytiquement les données vidéo. L’analyse conversationnelle offre une telle approche, attentive à la fois à la spécificité des ressources multimodales, contraintes et potentialisées par l’écologie de l’activité située, et à la généralité et systématicité de leur mise en œuvre méthodique par les participants. L’approche qui en résulte est fondée sur les principes de pertinence et de conséquentialité, centraux en analyse conversationnelle et particulièrement importants dans toutes les phases de l’analyse multimodale : c’est en se basant sur eux que les chercheurs identifient les détails multimodaux pertinents à transcrire et à étudier, et ce faisant, les rapportent à l’ordre interactionnel et aux méthodes employées par les participants pour l’accomplir. Ignorer le principe de pertinence ferait courir le risque d’amasser une multitude de détails multimodaux sans parvenir à en démontrer le rôle organisationnel. Au contraire, en tenir compte permet de développer non seulement des études de cas singuliers mais aussi des études de collections (au sens de Schegloff (1996), voir Mondada (2005, 2014b), Oloff (2008)), permettant de démontrer la systématicité de l’ordre des phénomènes étudiés.

46Cet article a montré comment l’étude de la vidéo a produit, en contexte international et en contexte francophone, plusieurs transformations de l’approche de l’analyse conversationnelle. Elle a permis un élargissement considérable des études empiriques, prenant en compte des types de situations qu’il était impossible de documenter auparavant, et ce faisant des configurations interactionnelles, participatives, matérielles et technologiques inédites. Au-delà de l’élargissement des phénomènes observables et analysables, elle a aussi permis de réinterroger des conceptualisations et outils analytiques fondamentaux de l’analyse conversationnelle, comme la conception de la temporalité et de la séquentialité. Cet article a montré comment l’analyse fine d’actions apparemment simples et bien connues, comme les requêtes, peut être revisitée en tenant compte de la pluralité des temporalités – à penser à la fois comme simultanées et successives – caractéristiques des ressources multimodales en interaction, invitant à approfondir la notion de séquentialité en y intégrant une pluralité de projections et de dynamiques séquentielles qui se déploient en même temps et auxquelles les participants répondent au fil de leur émergence et déploiement, souvent de manière très rapide et précoce. Cela amène à une reconceptualisation de la séquentialité comme moteur fondamental de l’action humaine, dont les caractéristiques temporelles dépassent largement la linéarité de la parole orale et du tour à tour.

Conventions de transcription

47La transcription du verbal suit les conventions ICOR : <http://icar.univ-lyon2.fr/projets/corinte/documents/2013_Conv_ICOR_250313.pdf>.

48Pour la transcription des conduites corporelles, les conventions mises au point par L. Mondada sont adoptées : <https://franz.unibas.ch/fileadmin/franz/user_upload/redaktion/Mondada_conv_multimodality.pdf>.