Introduction
1 L’économie du savoir pousse les entreprises à penser des stratégies de création de valeur du capital humain et à envisager les actions de gestion des ressources humaines (GRH) comme des investissements dont il faut justifier le retour financier (Noe, 2013). Si l’évaluation des actions GRH est une pratique assez ancienne, les approches basées sur le contrôle des coûts cèdent la place à des approches basées sur l’optimisation des résultats, comme l’approche du ROI (return on investment ou retour sur investissement). Le « contrôle » est progressivement remplacé par l’« évaluation », une notion plus large qui englobe des aspects plus intangibles et plus subjectifs. Aujourd’hui l’évaluation vise autant le respect de règles budgétaires que le développement d’une vision stratégique en GRH (Beaupré et al., 2007).
2 De nombreuses recherches mettent en évidence l’augmentation des investissements en formation du personnel (p. ex. Kennedy et al., 2014). Toutefois, rares sont les entreprises à évaluer de manière robuste leur formation (Savall, 2007 ; Monnot, 2013) ou à évaluer le rendement financier de leurs investissements en formation (Pottiez, 2013). Ce constat est particulièrement vrai pour les formations managériales, c’est-à-dire les formations qui visent à développer des compétences personnelles ou interpersonnelles en lien avec la conduite d’une équipe. Historiquement souvent associées à une finalité de récompense symbolique pour cadres méritants, ces formations doivent aujourd’hui répondre à des exigences d’impact organisationnel et de rendement financier d’investissement (Saks et Burke-Smalley, 2014). Toutefois les méthodes classiques d’évaluation du retour sur investissement des formations semblent peu adaptées aux formations managériales (Chochard et Davoine, 2011). Dans cet article, nous discutons, à partir de dix études de cas réalisées dans des entreprises suisses, les apports de la méthode d’évaluation par la valeur-utilité, une alternative intéressante aux méthodes classiques d’évaluation du retour sur investissement.
1. – L’évaluation de formations managériales
1.1. Les enjeux de l’évaluation de la formation
3 La formation est aujourd’hui considérée comme une des méthodes les plus efficaces pour augmenter la productivité du personnel, pour attirer et fidéliser de nouveaux employés et pour gérer et anticiper les changements rapides des marchés (Lee et al., 2014). En France comme en Amérique du nord, les entreprises cherchent à déterminer la pertinence de leurs investissements en formation (Noe, 2013 ; Guerrero, 2000). En même temps, la rentabilité de l’investissement formation est difficile à évaluer car fortement dépendante de facteurs humains ainsi que de facteurs contextuels et organisationnels (Kennedy et al., 2014). Cette spécificité confère à l’entreprise qui investit en formation un avantage concurrentiel difficilement imitable par ses concurrents.
4 Les formations destinées aux managers offrent une illustration parfaite de cette difficulté contextuelle à évaluer la rentabilité de la formation. Elles peuvent influencer la performance de l’entreprise, surtout dans les PME (Paradas, 1993), à condition d’être étroitement liées aux préoccupations stratégiques de l’organisation et aux préoccupations opérationnelles de l’encadrement (Mabey et al., 2004). La plupart des formations managériales ont pour objet principal le développement de compétences « soft », sociales ou interpersonnelles (p. ex. la conscience de soi, la résolution de problème, les comportements d’encadrement, la conduite de réunions). C’est le cas des formations au leadership, de plus en plus nombreuses dans les programmes de formation d’entreprise (Tsyganenko, 2014).
5 L’évaluation est un élément central pour le développement d’un programme de formation managériale, et les organisations qui n’y ont pas recours ont tendance à réduire ou à supprimer leurs budgets de formation (Dunberry et Péchard, 2007). L’évaluation peut avoir plusieurs objectifs : déterminer les impacts directs et indirects de la formation, améliorer la qualité du contenu, donner un retour aux personnes formées et au formateur, ou développer une approche de marketing de la formation (Rivard et Lauzier, 2013). Mesurer l’impact paraît plus important encore lorsqu’il s’agit de formations destinées aux cadres de l’entreprise. En Suisse comme ailleurs, ces formations pour cadres ont en général des coûts au-dessus de la moyenne et représentent une partie importante des dépenses globales des entreprises en formation (OFS, 2008). L’évaluation, qui devrait être promue par les professionnels de la formation, est loin de l’être systématiquement, et ce pour plusieurs raisons. La première raison en est probablement la crainte de résultats négatifs : de mauvais résultats pourraient être interprétés par la direction comme un mauvais travail de la part des professionnels RH (Dunbery et Péchard, 2007). Deuxièmement, l’évaluation représente un coût et des charges administratives supplémentaires que les professionnels RH ont peur de ne pouvoir supporter. Troisièmement, ils ne savent pas toujours comment collecter de l’information qui leur soit véritablement utile. Ils se contentent souvent de récolter les avis des participants sur la formation qu’ils viennent de suivre (Pottiez, 2013). Pourtant, chercheurs et praticiens s’accordent à dire que l’évaluation d’une formation devrait être prise en charge à plusieurs niveaux (équipe, unité organisationnelle, département, ensemble de l’organisation) et devrait s’intéresser à l’ensemble des effets de la formation.
1.2. La méthode d’évaluation du ROI de Phillips
6 Plusieurs méthodes permettent d’estimer les effets d'une formation, chacune se concentrant sur l’évaluation d’un effet particulier (Chochard, 2012). Le modèle de Kirkpatrick (1959, figure 1) classifie ces principaux effets.
Figure 1 : Modèle d’évaluation de Kirkpatrick (1959)
Figure 1 : Modèle d’évaluation de Kirkpatrick (1959)
7 Il décrit quatre niveaux de résultats selon lesquels une formation peut être évaluée. Le premier niveau, celui des réactions, repose sur l’évaluation de la satisfaction des participants vis-à-vis du séminaire de formation. Le second niveau est celui de l’évaluation des apprentissages, où l’on évalue les connaissances développées par les participants, par exemple grâce à un examen. Le troisième niveau est celui des comportements, où l’on évalue la mise en application par les participants, dans leur quotidien de travail, des connaissances ou méthodes acquises au cours du séminaire (Meignant, 2001). Le quatrième niveau d’évaluation est celui des effets sur la performance de l’organisation et de l’estimation de la valeur ajoutée associée aux changements de comportements au travail. L’évaluation du rendement de la formation se situe au niveau 4, parmi les résultats financiers.
8 Le ratio de rendement le plus utilisé est celui du retour sur investissement (Phillips et Schirmer, 2008) qui vise à établir le rapport entre la valeur ajoutée de la formation (p. ex., un gain suite à une hausse des ventes ou une augmentation des marges) et l’ensemble des coûts qu’elle représente pour l’organisation (coûts d’organisation et de logistique, honoraires du formateur, temps rémunéré des participants). La méthode d’évaluation du ROI la plus répandue est la méthode développée par Phillips en 1997. Elle consiste en un processus de cinq étapes (figure 2) débutant par la création d’une liste des indicateurs qui seront touchés par la formation (p. ex. taux de roulement du personnel, durée des arrêts de production ou quantité produite).
Figure 2 : Processus d'évaluation du ROI de Phillips (1997)
Figure 2 : Processus d'évaluation du ROI de Phillips (1997)
9 La deuxième étape de cette méthode, la collecte des données relatives à ces indicateurs, se fait à plusieurs reprises, au moins une fois avant et après la formation. L’analyse des données débute par l’isolement de l’effet de la formation (étape 3) qui peut se faire au moyen d’un groupe de contrôle, d’une projection de tendance ou de la consultation d’experts (Phillips, 1997). L’objectif de l’étape 4 est de convertir le plus de données possibles en valeurs monétaires. Toutes les données pour lesquelles la conversion a été possible entrent dans le calcul du retour sur investissement (étape 5a, équation 1).
10(équation 3)
11 Les données pour lesquelles la conversion n’a pas été possible sont tout de même citées dans le rapport d’évaluation sous la catégorie « bénéfices intangibles ». Ce processus a été suivi pour l’évaluation de nombreux séminaires de formation, dans des domaines divers comme le management de la qualité, la conduite du personnel (Phillips et Phillips, 2007) ou les techniques de vente (Tesoro, 1998).
12 La méthode de Phillips fonctionne bien lorsque les indicateurs de résultats correspondent à des gains de temps. A titre d’exemple, Nathan (2009) calcule le ROI d’une formation linguistique en demandant aux personnes formées d’estimer le temps qu’elles gagnent dans leur travail grâce à une meilleure maîtrise de l’anglais. Il convertit ensuite le gain de temps en valeur monétaire au moyen d’un indicateur monétaire de coût, le coût salarial horaire, qui permet d’estimer la valeur théorique d’une heure de travail gagnée. On retrouve une approche similaire d’estimation dans la méthode du coût-valeur des activités de Savall et Zardet (2008). Cette méthode vise à mesurer la valeur économique moyenne générée par une heure de travail dans l’organisation, quelque soit le service ou l’activité considérée. Cette méthode (Savall et Zardet, 2008), pour estimer le coût ou la valeur d’une heure de travail dans une organisation, privilégie l’utilisation de « la contribution horaire à la valeur ajoutée sur coût variable » (CHVACV), un indicateur qui prend en compte le chiffre d’affaires et les charges variables de l’organisation. Savall et Zardet relèvent une CHVACV se situant entre 26 et 53 euros / heure pour les pays industrialisés.
13 Toutefois, lorsque la mesure d’indicateurs de temps, ou la mesure d’indicateurs directement financiers, n’est pas possible, la méthode de Phillips devient complexe à mettre en œuvre. Les critiques de la méthode lui reprochent principalement sa lourdeur et son coût. Holly Burkett (2005) remarque que des praticiens RH renoncent à une évaluation du rendement des formations par manque de connaissances, de moyens, financiers ou de ressources humaines. Une deuxième critique concerne la difficulté à comparer les différentes évaluations à cause de la multiplicité des indicateurs utilisés. Dans les exemples cités par Phillips, les évaluations s’appuient toutes sur des indicateurs différents. Mais la critique la plus importante concerne la difficulté à trouver des indicateurs d’impact pertinents et d’en extrapoler une valeur financière (Dunberry et Péchard, 2007). Faute d’informations pour la conversion, une partie des bénéfices ne peut pas être incluse dans le ROI et doit être présentée à part, de manière quasi-anecdotique. Cette méthode semble donc peu appropriée pour l’estimation du rendement financier de formations managériales touchant les compétences comportementales (« soft skills »), compétences dont les impacts sont plus difficiles à déterminer avec des indicateurs quantitatifs objectifs.
2. – L’analyse de l’utilité comme méthode d’évaluation
2.1. Principes de la méthode de l’analyse de l’utilité
14 Une autre méthode permet d’intégrer dans le ROI les bénéfices tangibles et intangibles, en liant indicateurs qualitatifs, quantitatifs et financiers comme dans les approches dites « qualimétriques » (Savall et Zardet, 2004). Cette méthode se base sur le concept d’utilité de la formation (Wang, Dou et li, 2002).
15 Le concept d’utilité fait référence à un ensemble de modèles et de méthodes conçus pour mesurer l’impact sur la productivité de la main-d’œuvre de différentes interventions de ressources humaines. Selon ce concept, l’intervention la plus utile est celle ayant le plus fort impact sur la productivité (Cascio et Boudreau, 2008). Par exemple, le modèle d’analyse de l’utilité de Naylor et Shine (1965) a été développé pour aider au recrutement de la main d’œuvre. Il permet de comparer différents tests de sélection dans l’optique de ne choisir que le test le plus utile, celui qui prédira le mieux la performance au travail de la future personne embauchée.
16 Alors que les premiers modèles d’utilité analysaient les activités de recrutement ou de promotion, les modèles plus récents s’intéressent aux activités de développement des ressources humaines (Cascio et Boudreau, 2008). Ils vont aussi plus loin que les premiers modèles en attribuant une valeur monétaire à l’impact. L’utilité de la formation y est alors exprimée en termes de rendement, au moyen de l’équation de base suivante (équation 2) :
17 Utilité nette ΔU = Bénéfices – coûts totaux de la formation
18 (équation 2)
19 Cette équation reflète l’idée qu’une formation n’est utile que si elle produit des bénéfices. Elle ne produit des bénéfices que si les personnes formées deviennent plus performantes dans leur travail. Pour être plus performantes, les personnes formées doivent, d’une part, développer de nouvelles compétences et, d’autre part, les utiliser dans leur travail. C’est pourquoi l’estimation des bénéfices s’appuie sur deux indicateurs : (1) la mesure des compétences développées et (2) l’impact de la formation sur les activités de la place de travail. La conversion monétaire de l’effet sur les indicateurs peut se faire au moyen du coût salarial ou au moyen de la CHVACV. Les coûts totaux de la formation incluent les coûts variables (rémunération des participants, frais de déplacement, supports de cours) et les coûts fixes (frais de conception et de développement, rémunération du formateur, infrastructure de formation). Une étude réalisée par Morrow, Jarret et Rupinski (1997) compare l’utilité de 18 formations techniques, commerciales et managériales dans une grande entreprise pharmaceutique américaine. L’utilité y est calculée de la manière suivante (équation 3) :
20(équation 3)
21L’expression ΔU représente l’utilité nette de la formation, une fois les coûts de formation (cN) soustraits des bénéfices (AσRdN). La variable c représente le coût de formation par personne et la variable N le nombre de personnes formées. La variable c inclut les coûts variables pour une personne formée et une partie des coûts fixes. La variable d synthétise le gain de performance individuelle, gain estimé à partir du développement de compétences. L’expression AσR représente la valeur monétaire moyenne d’une unité de gain de performance. La méthode CREDIP (Cascio et Ramos, 1986) permet d’estimer la valeur de AσR à partir de (1) l’impact de la formation sur les activités de la place de travail et (2) le coût salarial des personnes formées. Enfin, sur la base de la valeur utilité, le retour sur investissement de la formation se calcule de la manière suivante (équation 4) :
22(équation 4)
23 La démarche d’analyse de l’utilité se décompose en cinq phases (figure 3) et se concentre sur l’évaluation des impacts au niveau des compétences (niveau 3) et au niveau des résultats économiques (niveau 4). Dans la première phase, on élabore deux questionnaires d’évaluation. Le premier questionnaire permet de calculer l’effet d de l’équation 3. On mesure un gain de performance par le développement de 15 à 50 compétences tirées du référentiel de compétences de l’organisation et du descriptif de la formation. Le second questionnaire est destiné à quantifier la valeur monétaire d’une unité de gain de compétences / de performance AσR. On mesure (a) la performance au travail de la personne formée à partir de la qualité de ses activités et (b) le lien entre ces activités et les compétences développées en formation. Puis on convertit la performance au travail en valeur monétaire. Morrow et al. (1997) réalisent cette conversion au moyen du coût salarial, sur la base de l’hypothèse suivante : la valeur des activités réalisées par un individu sur sa place de travail est supérieure ou égale à son coût salarial.
24 La seconde phase consiste à mesurer les effets sur les compétences (2a) et sur les activités de la place de travail (2b). Pour collecter les données, deux séries d’entretiens sont réalisées avec les participants ou avec leurs supérieurs hiérarchiques : une première série quelques jours avant la formation, une seconde entre trois et neuf mois après la formation afin de laisser le temps à la formation de produire tout ses effets.
Figure 3 : Méthode d'évaluation de l'utilité d'une formation
Figure 3 : Méthode d'évaluation de l'utilité d'une formation
25La troisième phase marque le début de l’analyse des données. Elle consiste à isoler l’effet de la formation de l’évolution observée entre les deux périodes d’entretiens. Cette étape est essentielle pour dresser un portrait objectif de la formation. En effet, une difficulté majeure de l’évaluation au niveau 4 est d’identifier les changements liés à la seule formation. Pour isoler l’effet, il est possible de recourir à un groupe de contrôle ou la consultation d’experts, deux des méthodes décrites par Phillips (1997). La quatrième phase consiste à déterminer le gain de compétences (d). Le niveau de compétences préformation est calculé à partir des données de la première série d’entretiens, le niveau de compétences post-formation à partir de la seconde série d’entretiens. Le gain de compétences (d) correspond à la différence entre les deux niveaux. Le gain est ensuite standardisé afin de comparer les effets de formations différentes. Dans la dernière phase, l’effet sur les compétences est transposé en utilité et ROI. Au moyen de la valeur monétaire (AσR), le gain de compétences (d) est traduit en utilité ou « bénéfices » de la formation (U) (équation 3). Enfin le niveau de retour sur investissement atteint par la formation (ROI) s’estime à partir de son utilité (U) et de son coût (c) (équation 4).
2.2. Aspects méthodologiques des études de cas
26 Pour illustrer et discuter les apports de la méthode, nous avons réalisé dix évaluations de formations managériales dans plusieurs organisations suisses (tableau 1).
Tableau 1 : Formation managériales suisses étudiées
Tableau 1 : Formation managériales suisses étudiées
27Ces formations portaient sur l’évaluation du personnel, l’introduction au management ou les techniques de leadership. Elles touchaient des compétences relativement semblables, car elles visaient toutes le développement de compétences comportementales dans les domaines de la communication, de la gestion d’une équipe, du management par objectifs et de la gestion des conflits. Elles abordaient aussi toutes des questions liées au développement personnel des participants (supposées être spécifiques aux formations au leadership) par exemple la connaissance de soi ou la prise de conscience des responsabilités d’un cadre. Pour chaque formation managériale, nous avons étudié l’évolution de 8 à 23 cadres formés en suivant le processus d’évaluation décrit précédemment.
28 Pour Phillips et Schirmer (2008), cette méthode d’évaluation du ROI comporte deux limites. D’une part, elle s’appuie sur l’appréciation de comportements et non sur l’analyse de résultats financiers. Deuxièmement, elle se base sur les estimations subjectives que les supérieurs hiérarchiques et les participants ont de ces comportements. Pour minimiser l’effet de cette évaluation subjective, nous avons systématiquement demandé aux participants, durant les entretiens post-formation, une nouvelle estimation de leurs compétences sans leur rappeler le chiffre de la première estimation avant la formation. Puis, une fois cette nouvelle estimation formulée, nous leur avons rappelé le premier chiffre et demandé de justifier l’évolution – lorsqu’il y en avait une – par des situations et des exemples concrets. Les résultats de chaque évaluation ont été présentés individuellement aux responsables de la formation et à des membres de la DRH de chaque entreprise, permettant ainsi une validation interne des résultats et une information qualitative complémentaire sur le contexte de la formation.
29 Dans la section suivante, nous utilisons les résultats de nos évaluations pour illustrer les apports de l’analyse de l’utilité. Dans un premier temps, nous discutons des apports de la comparaison de différentes formations grâce à plusieurs indicateurs. Dans un deuxième temps, nous verrons que cette méthode permet aussi d’identifier, pour chaque cas, les principaux facteurs contextuels qui influencent le transfert des apprentissages.
3. – Résultats : au-delà du retour sur investissement (ROI)
3.1. Le ROI des formations managériales évaluées
30 Nous remarquons que le niveau de retour sur investissement (ROI) des dix formations de notre échantillon varie beaucoup (tableau 2). Les formations A, B et C apparaissent comme étant très rentables alors que les formations G et J génèrent des pertes. Les autres variables et indicateurs de la méthode vont nous permettre de mieux comprendre les rendements obtenus.
Tableau 2 : Synthèse des résultats de l’analyse de l’utilité
Tableau 2 : Synthèse des résultats de l’analyse de l’utilité
3.2. Les variables liées aux personnes formées
31 L’effet sur les compétences d (voir équation 2) est au cœur du modèle d’analyse de l’utilité. Nous remarquons que cet effet est positif pour toutes les formations : en moyenne, les personnes formées se perçoivent comme plus compétentes suite à leur formation. Toutefois, en nous basant sur la classification proposée par Cohen (1992 dans Arthur et al., 2003 : effet d fort, modéré et faible pour des valeurs respectivement de 0,20, 0,50 et 0,80 unité), nous voyons que la seule formation qui produit un effet fort sur les compétences (0.84 unité), la formation A, génère un ROI dépassant les 1'000 %. Nous voyons aussi que les formations non-rentables (G et J) ont des effets perçus très faibles (0.12 et 0.14 unité).
32 Si l’on considère l’influence de la durée de la formation sur la valeur de l’impact, nous nous apercevons qu’il n’existe pas véritablement de lien entre les deux. A titre d’exemple, la formation F (6 jours), plus longue que la formation G (4 jours), produit un effet sur les compétences bien moins important (0.12 unité contre 0.45 unité). Il semble donc que le temps passé en formation ne garantisse pas de meilleurs résultats en termes d’impact.
33 L’écart-type de la performance au travail des participants σR est une autre variable entrant dans l’estimation de l’utilité et qu’il est pertinent d’analyser, car elle représente en quelque sorte le potentiel de progression de ces participants. On peut considérer que la performance au travail suit une loi normale : la grande majorité des participants ont une performance proche de la performance moyenne, un petit groupe de participants ont des performances supérieures et un autre petit groupe des performances plus faibles. Si l’on fixe la performance moyenne à 1 unité, la variable σR correspond alors aux écarts de performance existant entre ces trois groupes (Le Louarn et Wils, 2001). Pour les formations étudiées, l’écart moyen se situe à environ 0.18. Cela signifie qu’un cadre « moins efficace » dans ses activités de management est 18% moins performant qu’un cadre « moyen ». Un bon potentiel de progression existe donc au sein des groupes de participants, car il est envisageable d’amener les cadres « moins efficaces » à un niveau de performance sensiblement plus élevé.
34 Le Job Skills Index (JSI) est une variable intermédiaire qui entre dans le calcul de la variable A. Estimé au moyen de la méthode CREPID, il représente l’impact potentiel des compétences visées par la formation sur le poste de travail. Cet indice prend des valeurs comprises entre 0 et 100%. S’il vaut 0, les compétences développées ne seront d’aucune aide pour la réalisation des tâches du participant. Autrement dit, pour une formation au management, un JSI équivalent à 0 signifie que le participant n’exerce aucune tâche professionnelle pour laquelle des compétences en management sont nécessaires. L’impact potentiel de cette formation sur son activité professionnelle est donc nul et l’investissement en formation ne pourra en aucun cas être rentabilisé. Au contraire, un JSI équivalent à 100% signifie que toutes les tâches du participant sont liées aux compétences développées dans la formation. Les JSI des formations managériales de notre échantillon oscillent entre 52 et 76%. Les compétences développées dans ces formations sont donc utiles aux participants dans plus de la moitié de leurs activités professionnelles. Cela semble logique puisque nous avons affaire à des formations générales qui s’adressent à des cadres moyens ou supérieurs. Le potentiel de progression élevé (σR) et l’impact sur la place de travail (JSI) permettent ainsi de mieux comprendre les hauts niveaux de rendement atteints par certaines formations managériales.
3.2. Les variables monétaires
35 Des différences de coûts de la formation peuvent peut-être expliquer les variations de ROI. Pour que la comparaison soit pertinente, il convient de considérer le coût de formation par participant et par jour. Nous remarquons que les coûts des formations managériales varient entre 350 et 750 CHF par participant et par jour. Toutefois, les observations semblent montrer que le coût ne justifie pas à lui seul le ROI obtenu. Les coûts des formations A, E et H sont identiques et faibles (350 CHF par personne et par jour) alors que les ROI sont très différents (1’996%, 189%, 136%).
36 La variable A est la seconde valeur monétaire entrant dans le calcul de l’utilité et du ROI. Elle reflète le coût salarial des activités touchées par la formation et s’estime à partir du JSI et de la rémunération annuelle des participants. Plus la valeur de A est élevée plus l’impact économique du développement de compétences sera important. Si les compétences visées par les dix formations sont relativement proches, les activités concernées ont des valeurs différentes, comprises entre 56’358 CHF et 90'740 CHF.
3.3. Les indicateurs de rendement
37 L’utilité nette (ΔU) est en quelque sorte le « bénéfice net » produit par une formation. L’utilité nette par participant (ΔU/N) correspond à la valeur monétaire moyenne qu’une organisation retirera de la formation de chaque participant, une fois les coûts de formation remboursés. Des utilités nettes importantes sont générées par les deux formations à l’évaluation du personnel A et B (6'989 et 6'734 CHF par participant), la formation d’introduction au management E (5'940 CHF par participant) et la formation au leadership H (5'249 CHF par participant). A l’opposé, nous pouvons considérer que l’entreprise de transport perd environ 1'800 CHF pour chaque personne envoyée à sa formation au management (G) et l’administration fédérale perd environ 1'650 CHF pour chaque participant à sa formation au leadership (J). Le nombre de cadres formés chaque année étant restreint, cet indicateur financier nous paraît ainsi être un bon complément au ROI : au lieu d’évaluer un niveau de rentabilité par franc investi, nous évaluons ici un niveau de rentabilité par cadre formé.
4. – Les facteurs explicatifs de l’impact des formations
4.1. L’influence du transfert des apprentissages sur le ROI
38 Grâce à la collecte d’informations par entretiens, il est aussi possible d’identifier et d’estimer les causes des variations de l’impact de la formation sur les compétences et sur la place de travail. Dans le cadre de notre étude, nous nous sommes concentrés sur les facteurs explicatifs mis en avant par les participants et par leurs supérieurs hiérarchiques afin d’étudier comment ces facteurs ont influencé les résultats de la formation. Nous avons ainsi profité des deux séries d’entretiens pour poser des questions ouvertes à ce sujet. Pour la formulation de ces questions, nous nous sommes inspirés des questionnaires utilisés dans de précédentes études sur les facteurs de transfert (par ex. Hawley et Barnard, 2005 ; Holton et al., 2000).
39 La littérature académique sur la formation continue identifie plusieurs facteurs susceptibles d’affecter les résultats d’une formation (Burke et Hutchins, 2007 ; Delobbe, 2007). Selon la classification de Baldwin et Ford (1988), ces facteurs peuvent être liés à la conception de la formation, aux caractéristiques de chaque personne formée ou à l’environnement de travail dans lequel elle évolue. L’intérêt pour ces facteurs a grandi depuis qu’a été identifié un problème de transfert des apprentissages. Seule une minorité des formations donnent lieu à un transfert des apprentissages du milieu de formation vers le milieu de travail (Saks et Burke-Smalley, 2014). Pour que le rendement de la formation soit positif, le transfert doit être suffisamment fort pour faire changer les habitudes de travail (Gérard, 2003).
4.2. Les facteurs liés à la conception de la formation
40 Nous avons identifié huit facteurs qui influencent positivement le transfert des apprentissages (tableau 3). Deux facteurs d’influence ont trait à la conception de la formation. Le premier est l’analyse du besoin (AB), la première étape de la conception de la formation qui vise à identifier les problèmes pouvant être résolus par une action de formation (Arthur et al., 2003). Dans plusieurs cas, l’analyse des besoins a été clairement négligée. Par exemple, une analyse du besoin bâclée est la cause la plus citée par les participants à la formation D pour expliquer l’absence de résultats.
Tableau 3 : Influence des facteurs impactant le transfert des apprentissages
Tableau 3 : Influence des facteurs impactant le transfert des apprentissages
41 Le deuxième facteur est le contenu de la formation (CO), c’est-à-dire les thèmes traités et les stratégies d’apprentissage mobilisées durant la formation (Holton et al., 2000). Le contenu influence le transfert car les entretiens font ressortir la difficulté de traiter de thématiques plus personnelles (p. ex., la capacité à se remettre en question, la prise de conscience de son propre comportement, l’autogestion) lors de formations en classe.
4.3. Les facteurs liés à la personne formée
42 Trois caractéristiques personnelles ont joué un rôle sur la capacité du cadre formé à modifier sa manière de travailler. La première correspond aux attentes (AT) de la personne formée vis-à-vis de la formation (Noe, 2013). Dans les cas B et C, une majorité de participants ont nettement perçu certains avantages découlant de leur formation. Ces avantages pouvaient prendre la forme d’une hausse de la rémunération ou d’une progression de la carrière. D’autres participants ont également perçu des risques liés à la non-utilisation des compétences acquises en formation, comme l’augmentation du nombre de conflits, une perte d’autonomie ou de l’estime de son supérieur. La seconde caractéristique influençant le transfert est la motivation au transfert (MAT) qui se définit comme la volonté de la personne formée d’utiliser le contenu de sa formation dans son travail (Monnot, 2013 ; Tannenbaum et Yukl, 1992). Modifier ses habitudes de travail demande des efforts particuliers qui passent, par exemple, par une nouvelle planification du temps de travail ou une réflexion sur la manière d’adapter les nouvelles compétences à l’environnement professionnel. Pour évaluer ce facteur, nous avons demandé aux participants ce qu’ils avaient entrepris pour utiliser le contenu de leur formation. Cette motivation semble avoir manqué à plusieurs participants des formations G et I, qui n’avaient pas choisi la formation de leur plein gré mais qui avaient été désignés, de manière relativement arbitraire, pour la suivre.
43 La troisième caractéristique est le sentiment d’efficacité personnelle (self-efficay, SEP). La personne formée doit se sentir suffisamment en confiance pour changer ses habitudes et tester une nouvelle manière de faire. L’analyse a fait apparaître une baisse de ce sentiment du dans certaines situations, conséquence d’un environnement de travail peu favorable à la formation.
4.4. Les facteurs liés à l’environnement de travail
44 Trois autres facteurs importants sont parfois regroupés sous la notion de climat organisationnel (Burke et Hutchins, 2007). Nous avons décidé de les différencier car ils n’apparaissent pas toujours simultanément. Le soutien du supérieur hiérarchique (SSU) se définit comme les situations dans lesquelles le supérieur hiérarchique aide le participant à utiliser le contenu de sa formation (Russ-Eft, 2002). Le soutien du supérieur hiérarchique peut prendre deux formes. Une forme plus « active », que l’on retrouve dans plusieurs cas, où le supérieur fixe des objectifs d’apprentissage, fait des réunions de feedback avec son collaborateur et rappelle régulièrement les bienfaits de la formation. Une forme plus « passive », que l’on retrouve dans les cas C et E, où le supérieur hiérarchique garantit une autonomie d’action tout en rappelant la confiance portée à son collaborateur. Mais par-dessus tout, il applique lui-même les comportements enseignés et montre « le bon exemple » à ses collaborateurs.
45 Le soutien des collègues (SCO) peut également expliquer la différence de résultats. Russ-Eft (2002) le définit comme l’aide apportée au participant par ses collègues pour utiliser au travail les compétences acquises en formation. Il peut s’agir de feedback positifs en cas d’utilisation des nouvelles compétences ou d’une aide à réalisation de nouvelles activités. Dans les cas étudiés, le soutien des collègues était surtout présent lorsque le participant suivait la formation en même temps qu’un ou plusieurs de ses collègues proches, ou lorsque ces derniers avaient suivi la formation une ou deux années auparavant. Cela n’a malheureusement pas été le cas pour la grande majorité des participants aux formations D et J, qui provenaient d’unités très éloignées les unes des autres.
46 Un dernier facteur d’explication est l’absence d’opportunité de transférer (Burke et Hutchins, 2007). Pour que l’on puisse parler de transfert des compétences, les opportunités de mise en pratiques doivent être suffisamment fréquentes et ceci dans un laps de temps assez court dès la fin de la formation. Nous avons observé que de telles opportunités ont fait défaut chez plusieurs participants à la formation G. En tant que remplaçants de chef d’équipe, ils avaient relativement peu de tâches de management ou liées à la conduite.
Conclusion
47 La méthode d’analyse de l’utilité rend possible une évaluation à différents niveaux. Elle fournit de l’information utile à la décision avec une méthode qui paraît plus légère que la méthode d’évaluation des impacts organisationnels de Phillips. Même si on peut lui reprocher de s’appuyer sur une évaluation subjective des compétences, l’approche par la valeur utilité paraît appropriée à l’évaluation de formations comportementales pour lesquelles les indicateurs d’impacts sont plus difficiles à définir. Cette méthode, centrée sur le lien entre les compétences développées et les activités de la place de travail, permet également (1) de comparer des formations aux formats différents au moyen de plusieurs variables explicatives et (2) de faire une analyse complémentaire des facteurs de transfert des apprentissages.
48 L’étude des variables de l’équation d’utilité donne davantage de sens aux ROI obtenus. Ces variables permettent de comprendre l’origine et l’ampleur des bénéfices ou des pertes générées par la formation. Ces informations nous paraissent importantes, car, comme Morrow et al., (1997), nous constatons que le rendement des formations managériales varie beaucoup, même lorsque, au départ, les objectifs pédagogiques, les compétences visées, les coûts et la durée de la formation sont similaires.
49 L’analyse met en lumière l’importance des variations de l’impact sur les compétences (variable d) et de l’impact sur les activités de la place de travail (variables A et JSI) davantage susceptibles d’expliquer les différences de ROI que la durée ou le coût de la formation.
50 La méthode permet aussi d’aller plus loin en permettant d’identifier, pour chaque cas, les facteurs pouvant influencer les résultats au niveau 3 et 4 du modèle de Kirkpatrick. Nous avons retrouvé dans chaque cas, mais de manière non exhaustive, un ensemble de facteurs identifiés par d’autres auteurs comme facteurs influençant le transfert des apprentissages. Nous avons constaté que l’identification de ces facteurs est un élément au moins aussi intéressant pour les responsables de formation que la seule mesure du ROI, car ils leur permettent de discuter et de remettre en question leurs pratiques de formation dans le contexte spécifique de ces pratiques.
51 Toutefois nos résultats appellent des recherches complémentaires. Etant donné notre petit échantillon de formations très diverses, les niveaux de rendement ainsi que les variables d’influence observées demeurent des hypothèses à confirmer. Des situations de formations managériales à utilité négative ou, au contraire, à utilité très élevées seront-elles aussi fréquentes dans des échantillons plus représentatifs ? En terme de méthode, la combinaison de l’analyse de l’utilité avec la méthode du coût-valeur des activités (Savall et Zardet, 2008) permettrait de valoriser d’une autre manière les impacts des compétences sur les activités, en appuyant la conversion monétaire non plus uniquement sur un coût (le coût salarial), mais également sur une création potentielle de valeur ajoutée dans un contexte d’actions d’investissement incorporel. Enfin, il est difficile de savoir si nos résultats prennent en compte les impacts indirects de la formation sur l’équipe du manager formé. De futures mesures du rendement pourraient intégrer la quantification de cet effet.
52 Le caractère générique des variables et facteurs qui expliquent la rentabilité financière supérieure ou inférieure des formations managériales nous invite à penser l’évaluation de la formation managériale au-delà du seul chiffre clé du ROI en la focalisant davantage sur la conception de la formation, les caractéristiques des personnes formées et l’environnement de travail. Ainsi, l’évaluation de la formation peut devenir un instrument favorisant une réflexion véritablement stratégique sur les compétences clés des managers et sur les conditions organisationnelles de leur développement et de leur utilisation.
Bibliographie
Références bibliographiques
- Arthur W., Bennett W., Edens P., Bell S., « Effectiveness of Training in Organizations: A Meta-Analysis of Design and Evaluation Features », Journal of Applied Psychology, vol. 88, no 2, 2003, p. 234-245.
- Baldwin T., Ford K., « Transfer of training: A review and directions for future research », Personnel Psychology, vol. 41, 1988, p. 66-105.
- Beaupré D., D’Hostingue D., Trottier M., Observation des tendances en matière d’évaluation du rendement de la formation en entreprise, ESG-UQAM, Montréal, 2007.
- Burke L., Hutchins H., « Training Transfer: An Integrative Literature Review », Human Resource Development Review, vol. 6, no 2, 2007, p. 263-296.
- Burkett H., « ROI on a shoe-string: strategies for resource-constrained environments, Measuring more with less (part I) », Industrial and Commercial Training, vol. 37, no 1, 2005, p. 10-17.
- Cascio W. F., Boudreau J. W., Investing in people, financial impact of human resource initiatives, Pearson Education, Austalia, 2008.
- Cascio W. F., Ramos R. K., « Development and Application of a New Method for Assessing Job Performance in Behavioral/Economic Terms », Journal of Applied Psychology, vol. 71, no 1, p. 20-28.
- Chochard Y., Les variables influençant le rendement des formations managériales : une étude de cas multiple suisse par la méthode de l'analyse de l'utilité, Thèse de doctorat : Université de Fribourg, 2012.
- Chochard Y., Davoine E., « Variables influencing the return on investment in management training programs: a utility analysis of 10 Swiss cases », International Journal of Training and Development, vol. 15, no 3, 2011, p. 225-243.
- Delobbe N., « Facteurs de motivation et de transfert d’apprentissage en formation : une étude séquentielle dans le contexte d’une formation au leadership », Psychologie du travail et des Organisations, vol. 13, no 3, 2007, p. 71-77.
- Diagne D., Hanhart S., Meier C., Perez S., Schulz H.-R., Strobel O., La formation professionnelle continue dans les entreprises publiques et privées en Suisse : coûts, avantages et financement, PNR 43 « Formation et emploi », Genève et Bâle, 2002.
- Dunberry A., Péchard C., L’évaluation de formation dans l’entreprise, état de la question et perspective, UQAM-CIRDEP, 2007.
- Gerard F.-M., « L’évaluation de l’efficacité d’une formation », mai-juin, Gestion 2000, no 3, 2003.
- Guerrero S., « Où en sont les entreprises françaises en matière d’évaluation des actions de formation ? », Gestion 2000, no 5, 2000, p. 101-116.
- Hawley J., Barnard J., « Work Environment Characteristics and Implications for Training Transfer: A Case Study of the Nuclear Power Industry », Human Resource Development International, vol. 8, no 1, 2005, p. 65-80.
- Holton E., Bates R., Ruona W., « Development of a Generalized Learning Transfer System Inventory », Human Resource Development Quarterly, vol. 11, no 4, 2000, p. 333-360.
- Kennedy E. P., Youn Chyung S., Winiecki D. J., Brinkerhoff R. O., « Training professionals’ usage and understanding of Kirkpatrick’s Level 3 and Level 4 evaluations », International Journal of Training and Development, vol. 18, n°1, 2014, p. 1-21.
- Kirkpatrick D., « Techniques for Evaluating Training Programs », Journal of the American Society of Training Directors, vol. 13, no 11, 1959, p. 3-9.
- Lee H.N., McNamara T. K., Pitt-Catsouphes M., Lee J., « Opportunities to improve skills and to teach and train others: employee outcomes in the United States and Japan », International Journal of Training and Development, vol. 18, no 3, 2014, p. 204-222.
- Le Louarn J.-Y., Wils T., L’évaluation de la gestion des ressources humaines, Editions Liaisons, Rueil-Malmaison, 2001.
- Mabey C., Gooderham P., Klarsfeld A., L’efficacité du développement managérial : son impact sur la performance organisationnelle en Europe, 15e congrès annuel de l’AGRH, Tome 1, Montréal, 2004.
- Meignant A., Manager la formation, 5e édition, Editions Liaisons, Paris, 2001.
- Monnot A., « Les conséquences de la mise en œuvre d’une évaluation de la formation par le contrôle des apprentissages », Revue de gestion des ressources humaines, vol. 88, no 2, 2013, p. 49-61.
- Morrow C., Jarrett Q., Rupinski M., « An investigation of the effect and economic utility of a corporate-wide training », Personnel Psychology, vol. 50, 2007, p. 91-119.
- Nathan E. P., « Determining the ROI of an online English as a second language program », Performance Improvement, vol. 40 no 6, 2009, p. 39-48.
- Naylor H. C., Shine L. C., « A Table for Determining the Increase in Mean Criterion Score Obtained by Using a Selection Device », Journal of Industrial Psychology, vol.3, 1965, p. 33-42.
- Noe R. A., Employee Training and Development, Sixth Edition, Mc Graw-Hill, New York, 2013.
- OFS, Office Fédéral de la Statistique, Le soutien des entreprises à la formation continue, une analyse de l’enquête suisse sur la population active de 2006, Neuchâtel, 2008.
- Paradas A., Typologie de formation et détermination des objectifs dans la PME, Actes du 4e Congrès de l'AGRH : Universalité et contingence, H.E.C., Jouy en Josas, 1993.
- Phillips J. J., Handbook of Training Evaluation and Measurement Methods, third edition, Improving Human Performance Series, Gulf Publishing, 1997.
- Phillips J. J., Schirmer F., Return on Investment in der Personalentwicklung, Der 5-Stufen-Evaluationsprozess, 2e édition, Springer-Verlag, 2008.
- Phillips P. P., Phillips J. J., Southeast Corridor Bank (SCB), Measuring ROI on Employee Retention, ROI Institute, 2007.
- Pottiez J., L’évaluation de la formation, Dunod, Paris, 2013.
- Rivard P., Lauzier M., La gestion de la formation et du développement des ressources humaines, 2e édition, Presses de l’Université du Québec, Québec, 2013.
- Russ-Eft D., « A Typology of Training Design and Work Environment Factors Affecting Workplace Learning and Transfer », Human Resource Development Review, vol. 1, no 1, 2002, p. 45-65.
- Savall, H., « Préface », in Bach P., Le management de projets de formation, De Boeck Université, Bruxelles, 2007, p. 5-6.
- Savall H., Zardet V., « Le concept de coût-valeur des activités. Contribution de la théorie socio-économique des organisations » Revue Sciences de Gestion, vol. 64, 2008, p. 61-89.
- Savall H., Zardet V., Recherche en Sciences de Gestion – approche qualimétrique, Economica, Paris, 2004.
- Saks A. M., Burke-Smalley L. A., « Is transfer of training related to firm performance? », International Journal of Training and Development, vol. 18, no 2, 2014, p. 104-115.
- Tannenbaum S., Yukl G., « Training & Development in Work Organization», Annual Review of Psychology, vol. 43, p. 399-441.
- Tesoro F., « Implementing an ROI Measurement Process at Dell Computer », Performance Improvement Quarterly, vol. 11, no 4, 1998, p. 103-114.
- Tsyganenko M., « The Effect of a Leadership Development Program on Behavioral and Financial Outcomes : Kazakhstani Experience », Procedia and Social and Behavioral Sciences, vol. 124, 2014, p. 486-495.
- Wang G., Dou Z., Li N. « A Systems Approach to Measuring Return on Investment for HRD Interventions », Human Resources Development Quarterly, vol. 13, no 2, 2002, p. 203-224.
Mots-clés éditeurs : retour sur investissement, transfert des apprentissages, évaluation, analyse de l’utilité, Formation continue
Mise en ligne 25/03/2016
https://doi.org/10.3917/resg.108.0133