1L’évaluation comme processus de valuation contribue à institutionnaliser des valeurs et participe, dans le même temps à neutraliser les polémiques dont ces valeurs pourraient faire l’objet : c’est cette réflexion que cet article entend développer en s’appuyant sur une recherche [1] menée sur les stages de formation professionnelle [2]. L’évaluation est centrale dans la formation professionnelle et se situe à trois niveaux : l’évaluation des organismes de formation, l’évaluation des formés et l’évaluation des formations par les formés. Après avoir exploré les liens entre évaluation et institutionnalisation des valeurs, l’article propose d’analyser les conceptions de la "qualité"de la formation à l’œuvre dans les dispositifs d’évaluation. N’ayant que peu de prises sur les apprentissages, l’évaluation des formations porte principalement sur la satisfaction des formés. Elle est néanmoins un enjeu stratégique pour les organismes de formation qui ont de plus en plus recours à des tiers spécialistes de l’industrialisation de l’évaluation.

1. Évaluation et institutionnalisation de valeurs

2L’évaluation est porteuse de plusieurs enjeux : le besoin de connaissance, de contrôle et la légitimation ; il s’agit pour les acteurs sociaux de montrer qu’ils sont soucieux "de l’efficacité des dispositifs qu’ils ont élaborés" (Tallard 2017, 19). L’évaluation cristallise également les conceptions de la "bonne formation" et participe, par la circulation de formalismes d’évaluation, à les instituer. L’évaluation participe de la logique de la preuve. Elle doit montrer que l’organisme de formation se dote des instruments appropriés pour mesurer la plus ou moins bonne adéquation entre les moyens et les fins. L’évaluation participe aussi de la logique de la promotion, elle sert à rendre les promesses crédibles, tangibles en communiquant sur les résultats. L’évaluation participe enfin de la dimension prescriptive et de contrôle : prescrire des formes d’évaluation, c’est prescrire des manières de penser la formation.

3La question de l’évaluation amène ainsi à questionner la place grandissante de la pensée gestionnaire comme mode d’action généralisée qui a pour objectif de faire intérioriser, par les acteurs eux-mêmes, les normes de performance et de maîtrise. L’évaluation apparaît à la fois comme ce qui va prouver l’efficacité mais aussi comme ce qui renforce, outille, naturalise l’impératif d’efficacité ; il ne s’agit pas de le questionner, mais de mettre en œuvre les moyens nécessaires pour le mesurer. "L’évaluation est donc centrale dans l’idéal d’une gestion plus efficace : il s’agit de déterminer ce qui est signe de qualité, de le mesurer puis d’évaluer cette qualité et de recommander des moyens pour améliorer la qualité" (Waltzing 2017, 28).

4Comment dès lors conceptualiser cette question de l’évaluation ? Dans Quelques questions sur la valeur (1939/2011, 229), John Dewey souligne que, dans "évaluation", il y a valuation, c’est-à-dire un jugement de valeur. Les valeurs sont centrales dans l’approche de Dewey, car elles sont, dans les collectifs, "ce à quoi ils tiennent" mais aussi "ce par quoi ils tiennent". Le philosophe nous invite à passer de la valeur comme fait à la valuation comme activité. L’évaluation concerne alors la formation de jugements à partir de ces valuations et, pour Dewey, ces valuations sont considérées comme des faits, comme des comportements qui peuvent être constitués en observables : "il en va de même pour les jugements de valeur : ils ont un contenu propositionnel implicite. Quand on les analyse, on voit qu’ils renvoient à la fois à une situation existante […] et à une situation désirable qu’ils contribuent à instaurer en établissant une relation testable entre une fin et des activités susceptibles de l’atteindre." (op. cit., 15). Penser les formes et les fonctions de l’évaluation dans notre société permet alors de se questionner sur les modes d’institutionnalisation des valeurs. Comme l’explique Dewey (op. cit., 229), "ap-précier n’est alors qu’un développement plus ou moins systématique de ce qui est déjà présent dans le fait de priser". Dans l’idée de priser, il y a celle de viser, de souhaiter, mais il y a aussi celle de prise, de maîtrise. L’analyse des formes et modalités de l’évaluation des formations professionnelles permet dès lors à la fois de questionner les valeurs (ce qui est prisé) et les modes de contrôle (ce sur quoi on cherche à avoir des prises).

5Penser les formes de contrôle mises en œuvre par l’évaluation ne doit pas pour autant conduire à avoir une vision uniforme de l’évaluation de la formation professionnelle. En effet, comme le montrent bien Berger et Ardoino (1985), il y a différentes manières de faire et de penser l’évaluation, qui invitent à distinguer différents fondements épistémologiques et idéologiques. L’idée n’est donc pas d’être pour ou contre l’évaluation, mais de distinguer l’évaluation comme processus dialectique d’analyse de la complexité, de l’évaluation comme contrôle, assujetti à la logique de la preuve et à la recherche de la conformité.

6Dans leur introduction à l’ouvrage Faire et dire l’évaluation, Barats, Bouchard et Haakenstaad (2018, 11-23) distinguent cinq dimensions inter-reliées dans l’évaluation :

7- la procéduralisation qui correspond au développement de règles et de procédures formelles d’évaluation ;

8- la formalisation avec la prolifération de documents écrits qui délimitent et formatent l’évaluation ;

9- la normalisation avec des instances dédiées à l’élaboration et à la diffusion de normes d’évaluation ;

10- la standardisation avec la production d’indicateurs chiffrés et leur automatisation ;

11- la publicisation des processus et résultats de l’évaluation.

12Ces cinq dimensions inter-reliées sont très heuristiques pour penser l’évaluation des organismes et des formations. L’imbrication de ces dimensions permet d’envisager l’évaluation comme un phénomène socio-politique et socio-économique, mais aussi comme un agencement organisé de procédés scripturaires. En effet, l’évaluation est d’abord une procédure qui s’appuie sur un certain nombre de documents s’inscrivant dans une logique plus ou moins industrialisée. Dans ce cadre, émergent des instances spécialisées dans l’évaluation des formations professionnelles. Cette normalisation de certaines manières de dire et de faire l’évaluation participe d’une certaine standardisation des pratiques mais aussi des manières de penser la formation.

13L’évaluation dans la formation et, plus largement, dans l’économie des services semble être un passage obligé pour prétendre maintenir et renforcer sa place par rapport à la concurrence. Pour Mayère (1993, 54), elle témoigne, dans l’économie des services, du passage d’une obligation de moyens à une obligation de résultat. Pour la chercheuse, "juridiquement parlant, les services sont soumis à la seule obligation de moyens, à l’exception de certains d’entre eux, sur des points très particuliers, tels que la sécurité pour les architectes, ou la protection des actionnaires pour les commissaires aux comptes. Si l’obligation de résultat pour les services est ainsi délimitée, c’est que les éléments objectifs pour la fonder ne sont que partiels, voire inexistants. C’est surtout que le prestataire ne maîtrise pas une composante essentielle de la bonne réalisation du service : celle qui relève de la participation du client. Cette caractéristique reste et restera un obstacle radical à la mise en œuvre d’une garantie de résultat effective ; la question est plutôt celle du passage vers des garanties de résultat, vers une plus grande maîtrise des risques de non qualité. […] Lorsque l’on est dans des services complexes, tels que la formation, ce risque est en rapport avec la diversité des clients usagers."

14Les propos de Mayère permettent de mieux comprendre les difficultés et les enjeux de l’évaluation de la formation professionnelle et expliquent aussi pourquoi celle-ci est souvent nommée le "processus qualité". Or quelles sont les composantes de la qualité d’une formation ? On voit bien à quel point cette question a trait aux conceptions de ce qui serait une "bonne formation". Or, il faut distinguer trois grands types d’évaluation : l’évaluation des organismes de formation, l’évaluation des formés, et l’évaluation par les formés.

2. Certification et conceptions de la "qualité" de la formation

15Depuis le 1^er janvier 2017, tous les financeurs publics ou paritaires de formations professionnelles (OPCA (organisme paritaire collecteur agréé), OPACIF (organisme paritaire des congés individuels de formation), Régions, Pôle emploi ou Agefiph (association de gestion du fonds pour l’insertion professionnelle des personnes handicapées)) doivent s’assurer que les prestataires sélectionnés répondent aux six critères de qualité (plus un critère de conformité réglementaire) décrits dans le décret n° 2015-790 du 30 juin 2015 relatif à la qualité des actions de la formation professionnelle continue. L’annexe du projet de loi de finances détaille la mise en œuvre du "décret qualité" (<https://www.performance-publique.budget.gouv.fr>, p.155)

16

La capacité d’un organisme à dispenser des formations est appréciée par le financeur, soit dans le cadre d’une procédure interne d’évaluation, soit par la vérification que le prestataire bénéficie d’une certification ou d’un label figurant sur une liste établie par le Conseil national de l’emploi, de la formation et de l’orientation professionnelles (CNEFOP), sur la base de critères suivants fixés à l’article R. 6316-1 du code du travail :
1° L’identification précise des objectifs de la formation et son adaptation au public formé ;
2° L’adaptation des dispositifs d’accueil, de suivi pédagogique et d’évaluation aux publics de stagiaires ;
3° L’adéquation des moyens pédagogiques, techniques et d’encadrement à l’offre de formation ;
4° La qualification professionnelle et la formation continue des personnels chargés des formations ;
5° Les conditions d’information du public sur l’offre de formation, ses délais d’accès et les résultats obtenus ;
6° La prise en compte des appréciations rendues par les stagiaires."

17Afin que plusieurs financeurs évaluent un même organisme de formation et que les évaluations d’un financeur puissent servir aux autres, une base de données commune a été mise en place (<www.datadock.com>). Sur ce site, est explicitée la démarche d’évaluation des organismes de formation autour des six critères retenus et chaque financeur a accès à l’ensemble des évaluations des autres financeurs. Pour chaque critère, sont indiqués des "indicateurs" et des "éléments de preuve". On voit à quel point l’évaluation est régie par un principe d’objectivisation. Or, si l’on considère certains critères, il est possible d’avancer qu’il y a un écart entre l’énoncé du critère et ce qui peut être évalué et objectivé. Par exemple, pour le critère n° 5, relatif à la qualification professionnelle et la formation continue du personnel en charge des formations, il est indiqué dans les "éléments de preuve" : "attestation de l’existence d’une CV-thèque mise à jour de ses formateurs", "capacité de l’organisme de formation à attester des actions de formation continue du corps de formateurs ou du formateur indépendant", "attestation de présence aux formations", "descriptif des actions de formation et de professionnalisation des formateurs" et "attestation de référence clients". Ces éléments ne peuvent suffire, bien entendu, à évaluer l’aptitude d’un formateur à dispenser une formation. En effet, il ne s’agit pas par exemple d’examiner, en relation avec les objectifs spécifiques de chaque formation, les CV de tous les formateurs de tous les organismes (car la tâche serait trop importante), mais de savoir si ces CV sont mis à disposition par les organismes.

18L’impératif de certification pour les organismes de formation risque de conduire à réduire les franges de ce marché, car certaines petites structures ne seront pas capables de fournir tous les "éléments de preuve" demandés. Si pour certains acteurs du secteur interrogés, il permettra une "professionnalisation" du secteur, on peut aussi y voir une forme de normalisation des pratiques et un renforcement des gros organismes qui ont déjà une large assise. Pour Santelmann (2004, 9), "l’évaluation de l’impact économique et social de toute la chaîne de production de la formation est au cœur de chacune des réformes qui se sont succédées depuis la loi de 1971". C’est pourquoi la formation professionnelle se caractérise par un renforcement des modes de contrôle ainsi que des procédures d’habilitation et de certification. Or, pour ce responsable de la veille de l’AFPA, la "qualité" d’une formation dépend surtout de la capacité de l’organisme de formation à analyser le travail et à élaborer une ingénierie de formation en lien avec ces analyses. On voit dès lors à quel point cette conception de la "qualité" est beaucoup plus difficile à évaluer à large échelle.

19Les indicateurs de mesure de la "qualité" des organismes de formation pourraient être discutés plus longuement. Ce ne sera pas le propos ici, mais l’on peut déjà, avec l’exemple ci-dessus, voir en quoi la logique de la preuve conduit à réduire la complexité des phénomènes. Dans l’introduction du dossier intitulé De la formation à l’emploi : des politiques à l’épreuve de la qualité  de la revue Education et sociétés, Normand (2006, 7) explique que le "pilotage par la qualité" relève de logiques conjointes de procéduralisation et de normalisation de l’enseignement et de la formation professionnelle. Selon le sociologue de l’éducation, "cette recherche de la performance correspond aussi à une extension du calcul économique où l’éducation est d’abord considérée comme un investissement en capital humain". Or il pense justement que cette notion de "capital humain" se caractérise par son "incomplétude", notamment parce que cette "conception de la qualité productive de la main-d’œuvre modifiable par l’acquisition de compétences sous-estime l’importance des situations de formation et de la transférabilité des acquis" (Normand op. cit., 12). Plutôt que de parler de "transférabilité" des acquis, nous pensons que la complexité et la singularité de chaque situation de médiation résistent à sa saisie par des critères "objectivables" et uniformisés.

20Dès lors, pour poursuivre cette recherche de l’évaluation de la "qualité", il s’opère un déplacement de focale où la médiation pédagogique semble confinée dans l’angle mort. En effet, ce n’est pas tant l’apprentissage du formé que l’on cherche à évaluer que l’"impact" présumé de la formation sur l’activité économique de l’entreprise. Pour Delamotte (1993, 63), la théorie du capital humain développée à partir des années 1960 illustre très bien les théories néo-classiques du comportement rationnel dans lesquelles "le salarié cherche à augmenter sa productivité, et donc ses chances de rémunération, à l’aide de la formation". Pour le chercheur, le terme d’investissement formation est passé peu à peu de l’individu dans le collectif de travail à l’entreprise : "Désormais la formation s’intègre dans la politique spécifique de l’entreprise qui en attend des résultats. Une analyse des pratiques de formation dans leur genèse fait apparaître que les contenus de formation sont de plus en plus solidaires des facteurs économiques, comme l’organisation du mode de production dans lequel s’inscrit le développement des entreprises" (Delamotte op. cit., 64). Ceci est également le point de vue de Léné (2005) pour qui, dans la théorie du capital humain, l’éducation est considérée comme un investissement que l’individu effectue en vue de la constitution d’un capital productif.

21Dans cette logique de certification, la "qualité" semble s’apparenter surtout à la capacité des organismes à formaliser et à mettre en discours leurs offres et leurs modes de fonctionnement et à publiciser ces éléments. Si nous avons mis ici l’accent sur le nouveau dispositif public, les instances de certification sont nombreuses et sont toutes présentées comme des tiers "objectifs" qui permettent aux organismes de s’émanciper des suspicions qui peuvent porter sur l’autopromotion. Dans ce cadre, elles sont celles qui sont habilitées à énoncer un jugement, à exercer la raison pratique. Pour Kant (1788/1965, 81), "pour savoir si une action, possible pour nous dans la sensibilité, constitue un cas soumis ou non à la règle, il faut recourir au jugement pratique qui applique ce qui a été énoncé dans la règle d’une manière générale (in abstracto) à une action in concreto". Cette validation de l’adéquation entre la règle et la pratique s’incarne dans les différents logos apposés dans les premières pages des catalogues des organismes de formation ; la validation fait trace, le logo devient le cachet du tiers.

22Ceci, les organismes l’ont bien compris, car ils mettent tous en avant des listes de labels et de certifications qui ne sont d’ailleurs peut-être pas toutes lisibles par les destinataires.

Figure 1. Catalogue CSP 2017-2018, p. 30.

Figure 1. Catalogue CSP 2017-2018, p. 30.

23L’application de la loi de 2014 sur la formation professionnelle renforce aussi une autre logique de certification : la certification des formés. Le certificat, contrairement à l’attestation de présence, est censé apporter la "preuve" du gain en professionnalisme du formé. Cette logique de la certification témoigne, pour Maillard (2017, 41), d’un processus plus large qui se pose en rupture avec "la doctrine qui dominait jusque-là, selon laquelle le diplôme était l’aboutissement d’un apprentissage méthodique et complet". Pour la chercheuse en sciences de l’éducation, cette dissociation entre formation et certification contribue à dissoudre les frontières entre formation initiale et formation continue et à mieux corréler les diplômes aux exigences du travail. C’est pourquoi "la politique certificative propose une nouvelle figure du travailleur comme petite forteresse mobile, armée de certifications professionnelles et de droits individuels" (Maillard op. cit., 42). On voit dès lors en quoi la formation "en briques" participe de l’individualisation des parcours, individualisation qui peut être vue comme une personnalisation propice au parcours de chaque individu, mais qui peut aussi être vue comme un émiettement de la formation qui marquerait le passage d’une appréhension globale des enjeux relatifs à un domaine d’activité à la maîtrise de compétences isolées et "opérationnelles".

24Cependant, il s’avère que cette certification est particulièrement complexe à mettre en œuvre dans des formations courtes et encore plus pour des formations qui ne sont pas "techniques". Afin qu’un organisme puisse délivrer des formations certifiantes, il faut que cette certification figure sur une liste établie par les partenaires sociaux. Or l’ensemble des responsables de structure interrogés expliquent cette difficulté à rendre certifiantes les offres de formation courtes visant des compétences transversales, comme la communication. De ce fait, un grand nombre de formations peinent à délivrer des certifications.

25L’évaluation dans la formation professionnelle courte aujourd’hui est donc beaucoup moins une évaluation des apprentissages des formés qu’une évaluation des formations par les formés (qui comprend une auto-évaluation par les formés de leurs "acquis"). Par rapport à la formation initiale où l’évaluation des étudiants structure les parcours universitaires, on assiste ainsi à un renversement : ce sont les publics qui évaluent la "qualité" du service rendu. Ceci correspond d’ailleurs au sixième critère de certification des organismes de formation du nouveau décret, critère qui concerne "la prise en compte des appréciations rendues par les stagiaires".

3. Le glissement de l’évaluation vers la satisfaction : le primat de la logique de séduction

26Le sixième critère de certification des organismes de formation vise à évaluer la capacité de ceux-ci à produire des évaluations systématiques et formalisées des actions de formation auprès des stagiaires, à en publiciser les résultats et à se servir de ceux-ci pour faire évoluer leurs offres. Deux formes d’évaluation sont distinguées : l’évaluation "à chaud", qui correspond à la mise en place d’un questionnaire à la fin de la formation ; et l’évaluation "à froid", effectuée quelques semaines plus tard à partir également d’un questionnaire déclaratif rempli par le stagiaire et, beaucoup plus rarement, par son responsable hiérarchique.

Figure 2. Catalogue CSP 2018, p. 31.

Figure 2. Catalogue CSP 2018, p. 31.

27Comme le montre bien l’extrait du catalogue CSP ci-dessus, les évaluations "à chaud" et "à froid", présentées comme "neutres", le sont également comme balisant les étapes d’un continuum : l’évaluation est censée permettre le passage du recueil des réactions des stagiaires à l’évaluation des "résultats" de la formation. Or, cette conception transitive de la médiation des savoirs ne permet pas de prendre en compte toutes les dimensions qui entrent en jeu et qui font justement que la médiation n’est jamais linéaire. La mise en scène de leur "dispositif qualité" est un passage obligé des catalogues, surtout pour les gros organismes de formation. La Cegos, dans ses catalogues et différentes brochures, appelle cela "l’effet waouh".

Figure 3. Catalogue Cegos 2018, p. 10.

Figure 3. Catalogue Cegos 2018, p. 10.

28On le voit ci-dessus, l’évaluation n’est pas présentée uniquement comme ce qui mesure l’"impact", elle est censée également le "renforcer". En cela, est conféré à l’évaluation un double pouvoir : celui d’objectiver, de mesurer, de rendre commensurable le réel, mais aussi celui d’agir sur lui. Or, cette action, présentée à l’aide des flèches du schéma ci-dessus, est présentée comme un continuum temporel qui fait fi de la pluralité des situations sociales, communicationnelles et professionnelles dans lesquelles les formations sont prises. Les chiffres de l’évaluation sont censés dire, révéler la performativité de la formation.

29Desrosières (2001, 124) explique au sujet des enquêtes quantitatives qu’au cœur de celles-ci, "reste la question des effets de certaines variables sur d’autres. Cette interrogation ne trouve sens que dans une perspective d’action et de transformation du monde. Sur quoi faut-il agir pour atteindre tel but ? La variable résume alors un objectif (un indicateur social, un critère de convergence fixé par un traité), ou un moyen d’action de portée générale. La variable est faite pour être inscrite sur un cadran du tableau de bord de l’homme d’action". La fin du questionnaire "à chaud" envoyé par la Cegos, destinée à demander au stagiaire s’il souhaite qu’un questionnaire soit envoyé à son manager, est bien illustrative de ce double pouvoir, conféré à l’évaluation, de cette conception de l’évaluation comme outil de prédilection de la raison instrumentale : "Nous vous proposons de solliciter votre manager sur les mêmes questions que celles auxquelles vous venez de répondre. Cette évaluation sera confidentielle et ne sera partagée avec personne au sein de votre entreprise. Elle permettra de vous donner un regard extérieur sur les premiers effets visibles de la formation et d’alimenter la discussion avec votre manager sur les éventuelles actions complémentaires à entreprendre pour en maximiser l’impact". 

30Or on peut tout d’abord objecter que cette méthode du questionnaire n’appréhende pas ce qu’a opéré la formation sur le formé, mais l’avis qu’il en a ou, du moins, celui qu’il déclare. De plus, comme sa transmission dépend de la décision du stagiaire, l’évaluation par questionnaire destiné à "recueillir" l’avis du manager (qui n’est pas moins déclaratif que celui du formé) est toujours très positive.

31L’évaluation dans la formation professionnelle est dès lors très représentative de la manière dont les enquêtes quantitatives par questionnaire sont perçues comme une modalité "objective" d’analyse de la réalité, alors qu’elles ne peuvent qu’appréhender des représentations, des jugements qui sont eux-mêmes pris dans des contextes dans lesquels le stagiaire doit se valoriser. En effet, si le stagiaire répond que la formation ne lui a pas permis d’acquérir les compétences visées, ce qui peut être considéré comme un échec peut aussi lui être imputé.

32Comme le soulignent Desrosières et Kott (2005, 3) dans leur introduction au dossier de la revue Genèses intitulé "Quantifier", "la statistique est perçue comme un outil précieux d’objectivation, mais sa fonction attendue est de fournir des résultats pertinents. […] Le verbe quantifier est employé dans un sens large : celui d’exprimer et de faire exister sous une forme numérique ce qui, auparavant, était exprimé seulement par des mots et non par des nombres. Pour analyser cette activité, il est utile de distinguer les verbes quantifier et mesurer, souvent utilisés comme synonymes. L’idée de mesure, inspirée des sciences de la nature, suppose que quelque chose de réel peut être "mesuré", selon une métrologie réaliste. Dans le cas des sciences sociales, l’emploi immodéré du mot mesurer induit en erreur, en laissant dans l’ombre les conventions de la quantification. Ce verbe quantifier, dans sa forme active (faire du nombre), implique qu’il existe une série de conventions préalables, de négociations, de compromis, de traductions, d’inscriptions, de codages et de calculs conduisant à la mise en nombre. La quantification se décompose en deux moments : convenir et mesurer. L’usage du verbe quantifier attire l’attention sur la dimension, socialement et cognitivement créatrice, de cette activité. Celle-ci ne fournit pas seulement un reflet du monde (point de vue méthodologique usuel), mais elle le transforme, en le reconfigurant autrement".

33Présentées comme "neutres" et permettant "le pilotage de la performance", les statistiques issues des évaluations des formations s’inscrivent pleinement dans cette conception de la mesure où les "effets formatifs" pourraient être objectivés comme dans les sciences naturelles. Ceci ne signifie pas pour autant que l’observation "directe" des pratiques serait une méthode plus "objective", mais cela montre en quoi la méthode est associée à la promesse de certitude, promesse qui participe à celle de mesure et donc de maîtrise de situations complexes qui se prêtent pourtant mal à ce type de formalisation.

34Vouloir mesurer l’"effet" de la formation sur la productivité du stagiaire témoigne d’une conception assez déterministe de la médiation pédagogique. Tout comme l’idée d’évaluer "l’impact" d’une publicité est une fiction (Berthelot-Guiet, 2013), celle de mesurer "l’impact productif" d’une formation, a fortiori d’une formation courte non "technique", l’est aussi. Ceci semble être un écueil lié à cette conception de la mesure des "effets" qui pourtant structure bon nombre de domaine d’activités (les médias, les dispositifs publics, les politiques managériales, etc.). Comme le souligne Jullien (1996, 189), "l’effet est à la fois trop simplement causal et trop purement explicatif, à la fois trop produit et trop fini, pour pouvoir rendre compte de l’effectivité qui est à l’œuvre ; son concept est à la fois trop gourd et trop étroit : trop coupé de la procédure d’ensemble qui l’a fait advenir, l’effet est trop platement résultatif ; par là il est encore trop spectaculaire et démonstratif (au point de pouvoir en paraître, comme quand il est question de rechercher des effets, en musique comme en poésie, ou qu’on parle d’un "bel effet" : cet effet est à la fois trop théâtral et technique). Par différence avec lui, et parce que demeurant plus proche de son fond verbal (efficere : faire en sorte que), l’effect est la dimension opératoire de l’effet, il est ce qui conduit à lui et le rend effectif : il est l’effet en cours""" . Or il s’avère que la dimension processuelle, graduelle, évolutive et pluridimensionnelle de l’effectivité ne peut être appréhendée par des dispositifs qui prétendent isoler des variables pour mieux les mesurer.

35Ainsi, si l’évaluation est agissante, cela ne signifie pas pour autant que l’on peut en garantir les effets. S’il ne m’a pas été possible dans l’enquête menée sur la formation professionnelle de recueillir les résultats des évaluations des formations suivies (ce qui montre bien à quel point l’évaluation est un sujet sensible et stratégique pour les organismes), l’analyse des formalismes des questionnaires permet déjà de faire ressortir les normes et conceptions de la "qualité" de la formation à l’œuvre, le glissement de l’évaluation des "effets formatifs" à la récolte et à la valorisation de la satisfaction des formés. Formulés sur des échelles de satisfaction ou d’utilité, les critères que l’on retrouve de manière systématique dans les questionnaires d’évaluation analysés sont de plusieurs ordres : des critères d’évaluation "globaux" de la formation portant sur l’adéquation aux attentes des stagiaires ; des critères portant sur la logistique de l’organisme (locaux, repas, mails d’information, etc.) ; et des critères portant sur le "contenu" de la formation et la pédagogie du formateur.

36L’évaluation des formations relève ainsi principalement de la satisfaction des formés, satisfaction qui n’est pas seulement liée au fait qu’ils auraient ou non acquis des compétences "utiles" en formation. En effet, elle témoigne plus largement de l’ambiance générale de la formation, de la relation avec les autres stagiaires, de l’accessibilité des lieux et de bien d’autres aspects. Un ancien formateur nous a même confié qu’il connaissait des formateurs qui laissaient une plus longue pause repas aux stagiaires, pour qu’ils aient le temps d’aller faire les magasins, et que cela leur permettait d’améliorer leurs résultats d’évaluation. On voit à quel point ce type d’évaluation peut même aller à l’encontre des objectifs pédagogiques de la formation. Le primat de la satisfaction renforce la logique de séduction. En effet, pour les formateurs, le fait d’avoir de "bonnes" évaluations est central pour qu’ils soient sollicités par les organismes de formation. Mobilisés pour "piloter" les offres, ces retours d’évaluation servent aussi les discours promotionnels des organismes de formation et ils sont présentés comme d’autant plus crédibles s’ils ont été mis en place par des structures extérieures spécialisées, structures qui participent à industrialiser l’évaluation des formations.

4. L’industrialisation de l’évaluation de la formation

37Afin de crédibiliser leur "démarche qualité", les organismes ont de plus en plus recours à des acteurs spécialisés comme ForMetrics ou Formaeva. Ces acteurs, présentés comme "neutres" par les organismes de formation qui y ont recours, doivent garantir l’"objectivité" de l’évaluation et contribuent à renforcer les cinq dimensions de l’évaluation analysées dans l’ouvrage Faire et dire l’évaluation : en l’occurrence, la procéduralisation, la formalisation, la normalisation, la standardisation et la publicisation.

38Même s’il prend de l’ampleur et que tous les gros organismes de formation le mentionnent, le recours à ce type de structures spécialisées dans l’évaluation de la formation n’est pas généralisé. L’industrialisation de la formation n’est pas un phénomène homogène, mais un phénomène à géométrie variable qui invite également les acteurs à se positionner vis-à-vis de celle-ci.

39Afin de montrer comment ces dimensions se trouvent renforcées par le recours à ces spécialistes de l’évaluation de la formation, nous prendrons l’exemple de ForMetrics qui est l’acteur le plus sollicité par les organismes de formation étudiés. Pour commencer, le slogan de ForMetrics, "Boost your learning impact" (<www.formetrics.com>), est très révélateur de la prétention à faire de l’évaluation un instrument d’optimisation des "effets formatifs". Cette structure propose en effet de permettre aux organismes de formation de "démontrer la contribution de (leurs) formations à la performance de l’entreprise". Cette promesse se base sur "la puissance des Learning Analytics" qui sont censés être des outils de révélation des apprentissages. Mais l’objectif premier de cette métrique est surtout de renforcer l’efficacité économique des structures de formation, comme en témoignent les promesses de la structure : "Évaluez avec précision l’impact de vos actions, marketez votre offre et optimisez votre budget". L’évaluation devient un instrument de l’efficacité, elle est vue comme ce qui permet de mettre en adéquation les moyens avec les fins. La question du temps, dans la logique d’optimisation des moyens qui est centrale dans l’impératif d’efficacité, est également mise en avant : "Gagnez du temps. On le sait, vous avez peu de temps à consacrer à l’évaluation et vous avez besoin d’outiller vos services. Alors laissez-nous vous fournir les processus et les données qui vous permettront d’avoir une vision claire de l’activité L&D et d’instaurer une culture positive de l’évaluation" ; ou encore "Nous travaillons, vous décidez. Et l’évaluation devient facile". La structure se présente ainsi comme un adjuvant qui permet d’outiller l’organisme de formation d’instruments fiables pour maîtriser son activité économique et garantir son optimisation.

Figure 4. Copie d’écran d’une synthèse d’évaluation de ForMetrics présentée sur son site internet.

Figure 4. Copie d’écran d’une synthèse d’évaluation de ForMetrics présentée sur son site internet.

40Cette mise en scène des résultats d’évaluation par ForMetrics n’est pas un réceptacle, mais un formalisme d’écriture qui anticipe "les conditions de lecture favorisées par le calcul et la transversalité propres aux dispositifs informatiques" (Cotte 2000, 180). La visualisation des "données" mise en place a pour objectif de "mesurer" chaque critère d’évaluation de la formation ("l’animation", "l’adéquation aux attentes", "les supports", etc.), mais aussi de distinguer les critères qui auraient un "impact pour l’entreprise" de ceux qui relèvent de la "perception par les formés". Pourtant les évaluations sont justement produites à partir de la perception des formés. Isoler la "note d’impact pour l’entreprise" contribue dès lors à promettre de pouvoir mesurer les "effets" de la formation sur l’entreprise. Cette promesse d’objectivation, qui était déjà à l’œuvre dans les évaluations faites par les organismes, se trouve renforcée par les discours portant sur les outils informatisés introduits par ces structures spécialisées pour collecter, traiter, analyser et mettre en scène ces "données". L’outil informatisé est présenté comme un générateur de preuves irréfutables, comme garant de la "scientificité" de la démarche. En cela, comme le souligne Robert (2017, 382), l’informatique renforce considérablement le mouvement de "gestionnarisation" qui travaille en profondeur notre société. Par "gestionnarisation", il entend "la lecture de toute question de société en termes gestionnaires et la conception de réponses sur le mode technico-gestionnaire, dans lequel l’informatique et plus globalement les technologies intellectuelles informatisées prennent toute leur part". On comprend alors pourquoi la dimension logicielle est particulièrement mise en avant par ces structures spécialisées.

41La prétention de ces structures à aider les organismes à renforcer leur efficacité économique va plus loin que la production de "tableaux de bord" : elles se placent également comme des prescripteurs de "bonnes pratiques" en proposant, entre autres, aux organismes de formation, des guides d’action. ForMetrics propose, par exemple, un livre blanc intitulé Booster l’impact des formations au leadership qui est présenté en ces termes : "Si vous avez déjà déployé des programmes de leadership, vous savez toute la difficulté de faire changer des habitudes qui tiennent depuis des années, d’amener des changements de comportement... En un mot, d’avoir des formations performantes. Parce que nous connaissons ces difficultés et l’enjeu que représente le développement du leadership, nous avons rassemblé pour vous : les facteurs clés de succès des formations, les bonnes pratiques qui vous permettront de maximiser le retour sur investissement de ces formations, des témoignages de professionnels du secteur". La structure ne se présente pas uniquement comme celle qui sait faire l’évaluation, elle se présente comme celle qui sait dire quoi faire aux organismes de formation pour renforcer leur performance économique.

42Si le recours à ce type d’architexte [3] renforce les logiques de procéduralisation, de formalisation, de standardisation et de publicisation, il introduit une nouvelle dimension : celle de la mise en concurrence. Dans l’architexte de ForMetrics, l’emploi des couleurs sert quant à lui à situer l’évaluation de la formation par rapport à d’autres formations du même type chez les concurrents. Le vert foncé vient signifier que la formation est au-dessus de la moyenne, le vert clair qu’elle se situe dans la moyenne, et le rouge qu’elle est en dessous de la moyenne. Ainsi, les structures spécialisées dans l’évaluation de la formation ne font pas que renforcer, standardiser, outiller, des dimensions qui étaient déjà à l’œuvre dans l’évaluation effectuée par les organismes, elles introduisent une dimension comparative entre les structures et par là-même une mise en concurrence accrue. Si l’organisme prend un risque en s’exposant à la comparaison avec d’autres organismes, il saisit aussi une opportunité, celle de faire valoir ses "bons résultats".

43La mesure sert le classement et le classement, les palmarès. Bouchard (2017) définit la palmérisation comme processus sociotechnique particulier de valuation fait de représentations sociales, de mécanismes, d’instruments, de pratiques et d’institutions qui façonnent la valeur d’entités. Dans ses travaux, elle montre que la presse magazine joue un rôle important dans l’élaboration et la mise en circulation de palmarès de l’enseignement supérieur. Dans le cadre de la formation professionnelle, le magazine Les Décideurs (<www.decideurs.com>) est très illustratif de ce processus de palmérisation permis par les dispositifs sociotechniques d’évaluation des offres de formation. À 180 euros le numéro et 1 500 euros l’abonnement, ce magazine se présente comme "un mensuel de référence pour des dirigeants et cadres dirigeants, des décideurs financiers et décideurs juridiques". Il leur propose pour cela un certain nombre de dispositifs d’aide à la décision dont des classements dans différents domaines d’activité : on trouvera, entre autres, des classements de banques d’affaires, de cabinets de recrutement, de cabinets d’avocats et d’organismes de formation. Les organismes de formation sont à la fois classés, pour les "multi-spécialistes", dans un classement global et par thématiques de formation. Il est intéressant de noter que, pour chaque classement par thématique, Les Décideurs classe les organismes dans quatre catégories : "Incontournable", "Excellent", "Forte notoriété" et "Pratique réputée". Pour le classement 2018 "Communication" [4], on trouve 32 organismes cités. Chacun des 32 organismes peut dès lors faire prévaloir son classement dans telle ou telle catégorie.

Conclusion

44Le lien entre indicateurs quantitatifs et formes de légitimation apparaît dès lors très étroit. Si l’évaluation des formations ne parvient pas à appréhender la complexité de la médiation des savoirs et de son effectivité professionnelle, elle n’en reste pas moins agissante, et ce pour renforcer l’idée que l’efficacité formative au service de l’efficacité économique se prouve, se mesure, se valorise et doit être au cœur du pilotage de l’activité des organismes de formation. La question n’est pas tant de savoir ce que le stagiaire a appris que de disposer d’outils présentés comme irréfutables permettant de montrer que le service rendu à l’entreprise a atteint ses objectifs.

45L’évaluation comme processus de valuation est centrale dans l’institutionnalisation de l’efficacité comme valeur. Dans la première partie de son ouvrage Lecointe (2017) explique que l’évaluation qui est une pratique d’attribution et de création de valeur est sans cesse ramenée à une opération technique, rationnelle, ce qui donne l’impression qu’elle ne fait que positionner des items sur une échelle de valeur qui lui préexisterait. Ce voile que pose la technique sur les questions politiques peut dès lors apparaître comme une forme de neutralisation. Dans son cours au Collège de France, Barthes (1978, 31) explique que relève "du Neutre toute inflexion qui esquive ou déjoue la structure paradigmatique, oppositionnelle, du sens, et vise par conséquent à la suspension des données conflictuelles du discours. [...] on a essayé de faire entendre que le Neutre ne correspondait pas forcément à l’image plate, foncièrement dépréciée, qu’en a la Doxa, mais pouvait constituer une valeur forte, active". L’évaluation opère ainsi dans le même mouvement une institutionnalisation de certaines valeurs au détriment d’autres valeurs et une neutralisation, une déconflictualisation de ce processus d’institutionnalisation.