Filtres à l’entrée et tests de prérequis pour les étudiants dans l’enseignement supérieur : une aide pour la réussite ?
Pages 30 à 48
Citer cet article
- DEHON, Catherine,
- DETROZ, Pascal,
- MASSART, Xavier
- et ROMAINVILLE, Marc,
- Dehon, Catherine.,
- et al.
- Dehon, C.,
- Detroz, P.,
- Massart, X.
- et Romainville, M.
Citer cet article
- Dehon, C.,
- Detroz, P.,
- Massart, X.
- et Romainville, M.
- Dehon, Catherine.,
- et al.
- DEHON, Catherine,
- DETROZ, Pascal,
- MASSART, Xavier
- et ROMAINVILLE, Marc,
1 – Introduction
1La pertinence ou non de dispositif de filtre à l’entrée des étudiants dans l’enseignement supérieur en FWB est un débat qui revient de manière assez récurrente depuis plusieurs décennies. Cette résurgence n’est pas étonnante dans un contexte qui combine un libre accès à l’enseignement supérieur sur la base du seul certificat de l’enseignement secondaire supérieur (CESS), un faible coût d’entrée (minerval réduit), un définancement constant de l’enseignement supérieur et des taux d’échec et d’abandon très élevés au terme de la première année.
2Cette situation très particulière de l’enseignement en FWB est mise en évidence dans les comparaisons internationales (Lambert, 2020). Il existe de grandes diversités entre les différents systèmes d’enseignement supérieur. Ainsi la FWB et la Communauté flamande sont les deux seuls systèmes, parmi tous ceux examinés, que l’OCDE qualifie de « totalement ouverts ». Par ailleurs, la FWB combine un enseignement secondaire particulièrement inégalitaire sans mise en place d’épreuves externes, standardisées et obligatoires à l’issue du secondaire. Ce double mécanisme impose à l’enseignement supérieur en FWB un double handicap : un public très hétérogène et des moyens par étudiant plus faibles qu’ailleurs (Lambert, 2021, dans ce numéro).
3Malgré ce contexte, est-il possible d’offrir aux étudiants un enseignement supérieur équitable ? Et qu’en serait-il de l’accès si on appliquait un processus de sélection contraignant ? Ces questions sont particulièrement judicieuses dans un système éducatif qui, depuis plusieurs années, a le triste privilège de voir figurer son palier secondaire parmi ceux qui enregistrent les inégalités scolaires imputables à l’origine sociale les plus importantes (Danhier et Jacobs, 2017). Un filtre à l’entrée de l’enseignement supérieur risquerait donc de pénaliser de facto, au niveau de l’admission, certaines catégories d’étudiants.
4Toutefois, la question de l’équité à l’entrée de l’enseignement supérieur est-elle bien posée ? Un système d’enseignement supérieur, qui devrait remplir un rôle d’ascenseur social, ne devrait pas se limiter à donner un accès équitable aux études supérieures, mais il devrait plutôt chercher à favoriser l’obtention d’un diplôme en permettant une orientation vers les cursus les plus « adéquats ». Comment réduire les inégalités de départ, inégalités liées au niveau d’éducation des parents, au niveau socioculturel de la cellule familiale, ou encore aux choix préalables des écoles secondaires et des parcours, souvent imposés, dans le secondaire ? Assurer un libre accès, sans aucune sélection à l’entrée, suffit-il pour assurer une égalité des chances et une égalité des résultats ? Plusieurs études scientifiques (Arias Ortiz et Dehon, 2013 ; Romainville et Michaut, 2012) montrent que ce n’est malheureusement pas le cas. En effet, dans un système très ouvert, les étudiants n’en demeurent pas moins inégaux face à la réussite en première année, face aux abandons et à la diplomation (Dehon et Lebouteiller, 2021, dans ce numéro). L’épreuve d’une première année très ouverte remplit alors une fonction de sélection qui ne dit pas son nom. Un « filtre » à l’entrée serait-il une piste de réflexion pour améliorer l’efficacité, l’équité et la qualité de l’enseignement supérieur ?
5Si l’objectif d’équité est envisagé au niveau de la réussite et de la diplomation et non uniquement au niveau de l’admission dans les études supérieures, la question de la qualité d’un filtre est dès lors primordiale : le filtre est-il suffisamment prédictif de la réussite future de l’étudiant ? Cet objectif est évidemment très ambitieux sachant qu’il existe de nombreux autres facteurs (gestion du temps, gestion du stress, motivation, etc.), souvent difficilement mesurables, pouvant avoir une influence non négligeable sur les résultats académiques des étudiants (Houart et al., 2019).
6Néanmoins, il faut garder à l’esprit qu’au niveau plus « micro » de l’étudiant, toute sélection contraignante de type « examen d’entrée » ou « concours » crée de facto deux types d’erreurs possibles. Nous observons en effet que, même dans les cursus où une sélection à l’entrée est instaurée, un certain nombre d’étudiants n’obtiennent pas leur diplôme dans le cursus envisagé à leur entrée dans l’enseignement supérieur. Ce type d’erreur ne pénalise pas plus les étudiants que s’il n’y avait pas eu de filtre à l’entrée, mais malheureusement l’information contenue dans le processus de sélection n’a pas été confirmée par la réussite de l’étudiant pour ce cursus. Par contre, le deuxième type d’erreur est bien plus dramatique et lourd de conséquences pour les étudiants : un étudiant aurait pu obtenir un diplôme dans une orientation, mais n’a pas franchi la sélection à l’entrée. Il est évidemment extrêmement difficile d’évaluer ce deuxième type d’erreur, car les données sont simplement inexistantes, et pour cause.
7Dans cet article, un rappel historique des domaines dans lesquels une sélection est déjà organisée à l’entrée des études en FWB est présenté en section 2, avant d’offrir un aperçu des instruments utilisés à travers le monde dans le cadre d’une sélection lors d’un processus d’admission dans l’enseignement supérieur (section 3). La section 4 reprend une étude de cas, avec une approche plus quantitative, réalisée en fonction des données disponibles dans le cadre des « Passeports pour le BAC » (épreuves formatives non contraignantes) où l’ampleur des deux types d’erreurs a été estimée, en simulant dans les parcours existants des filtres fictifs à l’entrée. Finalement, d’autres perspectives sont proposées dans la conclusion.
2 – La situation dans l’enseignement supérieur en FWB
8Bien que la plupart des cursus de notre enseignement supérieur soient associés à un système d’admission ouvert, l’enseignement supérieur en FWB compte, actuellement, déjà plusieurs types de « filtres » introduits à des moments différents et pour des raisons spécifiques. Dans cette section, nous allons passer en revue ces différents types de filtres d’ores et déjà en application en FWB.
9Les différents systèmes de filtre introduits en sciences médicales en FWB, mais également dans beaucoup d’autres pays, sont généralement installés dans un contexte de régulation et de limitation de l’accès à la profession. En Belgique, les quotas imposés depuis 1998 par le Gouvernement fédéral et l’accès aux numéros INAMI [1] pour les diplômés ont nécessité l’introduction de plusieurs mécanismes de sélection.
10Afin de réguler le nombre d’étudiants par rapport aux quotas fédéraux, plusieurs processus de sélection ont été mis en application. Entre 1997 et 2003, la sélection s’effectue au terme du premier cycle des études médicales ou dentaires, soit après trois ans d’études. Elle se réalise sur la base des résultats des étudiants et d’une interview de motivation. Entre 2006 et 2008, la sélection prend place après une seule année d’études. Elle est organisée sous la forme d’un concours. Entre 2011 et 2016, la session de janvier de la première année peut freiner certains étudiants de manière précoce. Si l’étudiant n’obtient pas en moyenne 8/20, il peut être obligé par le jury d’étaler sa première année sur deux ans ou de se réorienter. Entre 2015 et 2017 est organisé un concours au terme de la première année. Depuis, la sélection s’organise sur la base du décret du 29 mars 2017 qui a instauré, dès l’année académique 2017-2018, l’organisation d’un examen d’entrée. L’inscription aux études de médecine et de sciences dentaires est désormais conditionnée à la réussite de cet examen d’entrée. À cette sélection s’ajoute la problématique de contingentement pour les étudiants étrangers. Les sciences dentaires sont, tout comme la médecine, impactées par ces mêmes problématiques.
11L’introduction récente d’un concours en fin de première année de premier cycle en médecine vétérinaire en FWB s’appuie sur une argumentation différente : la capacité matérielle de pouvoir organiser des études de qualité au niveau du Master où les stages et les travaux pratiques prennent une place significative. On peut d’ailleurs se poser la question de savoir pourquoi cette argumentation, acceptée pour les études en médecine vétérinaire, ne pourrait pas être appliquée à d’autres types de cursus.
12Par ailleurs, toujours en médecine vétérinaire, le Test d’Orientation en Sciences de la Santé (TOSS) organisé par l’Académie de recherche et d’enseignement supérieur (ARES) est utilisé par l’ensemble des universités belges francophones proposant un premier cycle d’études dans cette discipline non pas dans le but de restreindre l’accès à ces études, mais pour aider les étudiants à se situer par rapport aux prérequis jugés nécessaires pour les réussir. Le TOSS revêt ainsi un caractère obligatoire, mais non contraignant, ce qui signifie que les étudiants peuvent s’inscrire en première année de médecine vétérinaire, même s’ils ont échoué au test. Le TOSS a fait l’objet d’une étude de validation complète en 2015 (Romainville et al., 2016).
13En sciences de l’ingénieur, qui connaît une longue tradition de sélection, l’existence de l’examen spécial d’admission avait été remise en question dans la déclaration de politique communautaire du Gouvernement de la FWB (2009-2014) pour des raisons de pénurie des profils correspondants sur le marché de l’emploi. La Communauté flamande a d’ailleurs supprimé son examen d’entrée en 2004, pour ces mêmes raisons, sans malheureusement enrayer la diminution du nombre d’étudiants, mais surtout le nombre de diplômés dans ces filières.
14Finalement, les différents filtres à l’entrée (concours, examens, sélection sur dossier, etc.) dans les Écoles supérieures des Arts (ESA) semblent être complètement acceptés et assimilés par les différents acteurs de ce milieu, dans un contexte où des capacités et des compétences préalables pour les différentes disciplines enseignées semblent indispensables. Si l’on peut admettre aisément qu’il est sans doute difficile de réussir au conservatoire en chant si l’on ne dispose pas à l’entrée de talents dans le domaine, on peut néanmoins se demander si une sélection est absolument nécessaire et justifiée dans d’autres cursus des ESA tels que, par exemple, des études en photographie ? De plus, au nom de quoi alors devrait-on refuser un tel filtre dans des études proches telles que l’infographie ? Et de manière plus générale, est-on si sûr que la réussite dans d’autres programmes ne repose pas également, et avec autant de force, sur la maîtrise de connaissances et de compétences préalables ?
3 – Les instruments utilisés pour un filtre à l’entrée
15En FWB, certes moins qu’ailleurs, certaines filières sont donc soumises à un filtre d’entrée, le plus souvent un examen ou un concours. Divers outils et méthodes sont utilisés allant du test de type QCM à la réalisation d’une œuvre technique. Une partie significative de la littérature sur les tests à l’entrée se consacre justement à comparer les avantages et les inconvénients de ces différentes méthodes de sélection, au niveau de l’équité, mais également de la qualité, c’est-à-dire de leur potentiel à prédire la réussite et la diplomation des étudiants dans leur parcours au sein du cursus sélectionné. Il n’est d’ailleurs pas rare qu’un processus de sélection combine plusieurs outils (Fayolle et al., 2016) pouvant être rattachés à une dimension tantôt cognitive, tantôt non cognitive. Si elle ne vise pas à les lister d’une manière exhaustive, cette section offre toutefois un aperçu des instruments utilisés à travers le monde. Elle est, notamment, basée sur les travaux de Detroz et Loye (2018), portant un regard critique sur la validité de ces procédures de sélection. La validité fait référence à la manière dont les inférences et interprétations qui sont faites à partir des résultats d’un test – utilisé dans un contexte donné – s’appuient sur des preuves ou des théories éprouvées. Parmi les preuves à analyser figurent la pertinence du contenu du test, la pertinence des activités mentales nécessaires pour y répondre, la structure interne du test (ses qualités psychométriques), ses relations à d’autres variables évaluant des construits semblables et les conséquences voulues et non voulues du test (AERA et al., 2014).
3.1 – Les instruments cognitifs
16Les instruments qui s’inscrivent dans une dimension cognitive tendent principalement à évaluer « les qualités académiques des candidats, généralement mesurées à partir de notes à des évaluations de connaissances, avant ou lors de l’admission » (Fayolle et al., 2016). Parmi ces instruments se retrouvent les résultats scolaires antérieurs, ainsi que des tests de connaissances (générales ou plus spécifiques au domaine scientifique) intégrés au processus de sélection. Certains tests choisissent, par ailleurs, de se focaliser – en tout ou en partie – sur des aptitudes cognitives non académiques et donc plus transversales telles que le raisonnement des candidats ou leur capacité à résoudre des problèmes.
17Dans cette famille de tests, nous trouvons les indicateurs de performance scolaire antérieurs produits par le système éducatif. Il s’agit par exemple du General Certificate of Éducation Advanced Level (A-Level) au Royaume-Uni, du Grade Point Average (GPA) aux États-Unis et aux Pays-Bas, de la Cote de Rendement au collégial (cote R) au Québec, du résultat au Baccalauréat en France, du score à l’Abitur en Allemagne, du score au High School Certificate en Australie, etc. Ce type d’indicateurs s’est généralement révélé être un bon prédicateur de la réussite, au moins au début des études (notamment Cohen-Schotanus et al., 2006), renforçant ainsi l’idée selon laquelle de « bonnes » notes sont nécessaires pour faire naître de « bons » professionnels. McManus (McManus et al., 2013) parle même de colonne vertébrale (backbone) en observant les liens forts entre performances antérieures aux études, performances lors des études et performances professionnelles. Néanmoins, si les résultats scolaires antérieurs sont effectivement caractérisés par une bonne – et même la meilleure – validité prédictive, ils ne sont pas pour autant dénués de points faibles. Detroz et Loye (2018) listent trois points faibles :
- Dans une méta-analyse réalisée à partir de 62 études sur l’admission en médecine, Ferguson et ses collègues (2002) montrent que le score antérieur explique 23 % de la variance de la réussite en premier cycle et ce score n’explique plus que 6 % de la variance dans le second cycle, laissant présager que les indicateurs de performance scolaire produits par le système éducatif ont un pouvoir limité sur la prédiction de la réussite finale des étudiants en médecine.
- Esmail et al. (1995) ont mis très tôt en avant que ce système de sélection défavorisait les minorités ethniques, fait confirmé plus récemment (Stegers-Jager et al., 2015). D’autres études (Simmenroth-Nayda et Görlich, 2015 ; Girotti et al., 2015) ont, par ailleurs, démontré que ce système de sélection n’était pas socialement neutre et favorisait les étudiants provenant de milieux socioéconomiquement favorisés. Il y aurait donc un clair biais de sélection relié à l’origine ethnique et sociale lorsque l’admission repose sur les seules performances scolaires antérieures des candidats. À noter que les Pays-Bas, il y a quelques années, avaient tenté de prendre en compte ce phénomène en organisant un tirage au sort des étudiants, les chances d’être tirés au sort étant pondérées par les résultats antérieurs (Cohen-Schotanus et al., 2006). Cette procédure y est aujourd’hui abandonnée.
- Finalement, au Royaume-Uni, l’utilisation des résultats antérieurs des étudiants a été confrontée à un problème technique. L’inflation des grades cumulée à une échelle ne comprenant que quelques échelons a créé un effet plafond. Beaucoup d’étudiants ayant atteint le maximum, la mesure a donc perdu en pouvoir discriminant (McManus et al., 2013). C’est face à ce constat et pour parvenir à nouveau à différencier les candidats que certains pays ont décidé de s’appuyer sur d’autres méthodes de sélection (Wright et Bradley, 2010).
18La deuxième famille de tests cognitifs reprend les résultats à des tests intégrés au processus de sélection. À l’heure actuelle, il existe une série de tests produits par des organismes scientifiques, par des organismes privés ou par des consortiums regroupant ces deux types d’acteurs. Parmi ces tests, on en trouve de trois types essentiels : les tests mesurant les acquis d’apprentissage scolaire antérieurs, ceux qui mesurent des aptitudes cognitives transversales non reliées à des contenus enseignés (analyse, raisonnement…) et ceux qui présentent une combinaison entre ces acquis d’apprentissage et ces aptitudes transversales. Les structures de ces tests sont assez variables et basées sur des sections de natures diverses. Dans le contexte de la médecine, nous pouvons citer, par exemple, les tests suivants : The Medical College Admission Test (MCAT), The Graduate Australian Medical Schools Admissions Test (GAMSAT), The Undergraduate Medicine and Health Sciences Admission Test (UMAT), The Health Professions Admission Test (HPAT), The United Kingdom Clinical Aptitude Test (UKCAT), The International Medical Admissions Test (IMAT), The BioMedical Admissions Test (BMAT), Die Test für Medizinische Studiengänge (TMS), Le Test d’Orientation en Sciences de la Santé (TOSS), etc. Les avantages et inconvénients qui leur sont accordés de manière à identifier leur degré de validité sont repris de manière complète dans le rapport « Les dispositifs de test et de filtre des étudiants dans l’enseignement supérieur (2017) » (Detroz et al., 2017).
19En conclusion, et pour résumer les informations relatives à l’ensemble des instruments cognitifs, les indicateurs de performance scolaire antérieure produits par le système éducatif sont, de loin, ceux qui ont la meilleure validité prédictive sur la réussite dans les premières années d’études. Ils prédisent également, mais avec moins de robustesse, la réussite dans les dernières années d’études et le développement de compétences professionnelles. Ils ont cependant quelques défauts décrits plus haut. C’est la raison pour laquelle, dans de nombreux pays, on constate un mouvement étendant le processus de sélection à des outils comme les tests d’aptitude. Les tests d’aptitude présentent généralement une fidélité en termes de mesure (Cleland et al., 2012), c’est-à-dire qu’ils livrent des mesures exemptes d’erreurs accidentelles et de fluctuations aléatoires. Leur validité n’est toutefois pas démontrée puisque les études à ce sujet font état de preuves contradictoires (Lynch et al., 2009 ; Wright et Bradley, 2010 ; Yates et James, 2 013 ; Poole et al., 2012 ; Wilkinson et al., 2014). Par ailleurs, les tests qui présentent la moins bonne validité prédictive sont ceux du deuxième type, ceux qui mesurent des aptitudes cognitives transversales non reliées à des contenus enseignés. C’est le cas de test d’analyse, de raisonnement et de logique.
3.2 – Les instruments non cognitifs
20Nous venons de le souligner, les instruments cognitifs peuvent prédire en partie la réussite en premier cycle. La variance expliquée reste toutefois faible et ils sont, par ailleurs, moins bons pour prédire le développement de compétences professionnelles. C’est l’une des raisons pour lesquelles certaines procédures de sélection, tout particulièrement à l’entrée des études médicales, ont intégré des méthodes issues de la sélection professionnelle. Nous distinguons deux grands types de méthodes permettant la sélection sur la base d’éléments non cognitifs.
21Le premier type est constitué d’instruments pour lesquels la littérature psychométrique est univoque : ils sont à éviter. Citons parmi ceux-ci l’entretien devant un jury, l’analyse de lettres de recommandation et le dossier personnel (personal statements). Ces méthodes posent une variété de problèmes. La littérature leur attribue d’ailleurs un manque de validité (notamment prédictive), mais aussi de fidélité (Ferguson et al., 2003 ; Albanese et al., 2003 ; Kreiter et al., 2004 ; Siu et Reiter, 2009).
22Le second type de méthodes de sélection comprend des outils qui présentent un potentiel certain, bien qu’ils doivent encore largement être validés. Il s’agit des mini-entrevues multiples (MEM), des tests de personnalité et des tests de jugement situationnel.
23Les mini-entrevues multiples utilisent une méthodologie proche des Examens Cliniques Objectifs Structurés (ECOS). Ils sont composés d’une succession de stations (en général 8 à 12 de 8 à 10 minutes), chacune associée à un évaluateur différent, ce qui minimise les biais liés au correcteur. Dans chaque station, un scénario standardisé est proposé au candidat (Liao et al., 2014). Ce scénario vise à mesurer une série de compétences, d’aptitudes ou de traits de personnalité (par exemple, la communication, la tolérance à l’ambiguïté, l’ouverture d’esprit ou encore la résolution de problème). Cependant, comme le soulignent Eva et al. (2009), la MEM est plus un processus d’évaluation qu’un test. Cela signifie notamment que sa qualité est assez dépendante du processus de construction. Plusieurs études se sont penchées sur la fidélité ou la validité de ce type d’épreuve (Reiter et al., 2007 ; Oluwasanjo et al., 2015) montrant que si les MEM apportent certaines garanties quant à leur validité, il faut rester très attentif à leur processus de construction. Comme le soulignent Fayolle et ses collègues (2016), si elles font preuve d’une fiabilité plus grande que les entretiens classiques, la limite fréquemment pointée des MEM est la complexité de leur mise en œuvre et leur coût.
24Concernant les tests de personnalité, des recherches sont menées depuis au moins cent ans pour développer et valider ce type de tests. L’idée sous-jacente à leur usage dans le processus de sélection repose sur le fait que certains traits de personnalité seraient favorables à l’exercice de certains métiers. Ainsi, quelques études ont présenté une corrélation entre les facteurs du Big 5 (à savoir : l’Ouverture, la Conscience professionnelle, l’Extraversion, l’Agréabilité et la stabilité émotionnelle) et la réussite des études de médecine (Lievens et al., 2002 ; Lievens et al., 2009 ; Hojat et al., 2013). Cependant, comme le soulignent Schripsema et al. (2016) en s’appuyant sur des études de Le et al. (2011), il semble que le lien entre traits de personnalité et réussite ne soit pas linéaire, mais plutôt curvilinéaire. Par exemple, si avoir une conscience professionnelle est un facteur de réussite dans les premières années d’études, en avoir un excédent peut se révéler un facteur de contre-performance dans le domaine clinique, par exemple. Par ailleurs, ces tests pèchent par un défaut de fidélité, les réponses des étudiants n’étant pas dépourvues de désirabilité sociale (Griffin et Wilson, 2012).
25Les tests de jugement situationnel (Motowidlo et al., 1990), quant à eux, sont construits à partir de situations professionnelles scénarisées et présentées sous forme écrite ou vidéo. Le répondant est confronté à une situation professionnelle et doit choisir parmi un ensemble de solutions qui lui sont proposées, celle(s) qui lui semble(nt) la (les) plus pertinente(s) pour faire face à la situation. Des concepts comme l’intégrité, l’empathie, la capacité à gérer des relations interpersonnelles, la centration sur le bien-être du patient ou le leadership peuvent être évalués efficacement à l’aide de cette méthode (Patterson et al., 2013 ; Lievens, 2013). Ce type de test est, par ailleurs, assez praticable, car il est à réponse standardisée et peut être présenté à un grand nombre d’étudiants sans entraîner de coût trop élevé. Il est considéré comme ayant une bonne validité prédictive, essentiellement pour la réussite des études à composantes cliniques importantes (Schmitt et al., 2009). Par ailleurs, le test ne désavantage pas les étudiants issus d’un niveau socio-économique faible (Lievens et al., 2016). C’est un avantage important par rapport aux tests mesurant des compétences académiques. Par contre, il semble ne pas être complètement neutre quant à l’ethnie d’origine (Lievens et al., 2016). Les tests de jugement situationnel sont plus fiables et valides que les tests de personnalité et d’intelligence lorsqu’il s’agit d’évaluer les caractéristiques professionnelles (empathie, intégrité…) des individus (Patterson et al., 2012). Les tests de jugement situationnel semblent donc être des outils prometteurs dont la qualité dépend, comme nous l’avons également constaté pour les MEM, de la qualité du processus de construction des épreuves.
4 – Étude de cas : les passeports pour le bac
26Après une analyse théorique des différents types de tests en termes de validité et de spécificités, une analyse quantitative au niveau plus micro est réalisée dans cette section. Dans l’étude de cas proposée, nous allons utiliser les données d’épreuves formatives n’ayant pas de caractère contraignant par rapport à l’accès à une formation afin d’analyser l’ampleur des deux types d’erreurs évoquées dans l’introduction : les faux négatifs et les faux positifs. En effet, la passation d’une épreuve au tout début d’un parcours universitaire, sans restriction d’accès à celui-ci, va nous permettre de suivre les étudiants durant ce parcours et de l’analyser au regard des résultats obtenus aux épreuves formatives. Cette étude de cas sera en mesure d’analyser, dans cette situation spécifique, si les étudiants qui « échouent » à un test de prérequis vont réellement échouer en fin d’année académique (les vrais négatifs). Cette situation n’est évidemment pas possible à observer dans le cas de test filtrant. Par ailleurs, nous pourrons également vérifier si les étudiants qui réussissent un test de prérequis ont plus de chances de réussir en fin d’année.
27Cette étude de cas se base sur le projet « Passeports pour le bac », initié dès 2003 à l’Université de Namur, et ensuite étendu aux établissements de l’Académie « Louvain ». Actuellement, les Universités de Namur et de Saint-Louis à Bruxelles collaborent toujours au projet. Un des principaux objectifs de ce projet est de promouvoir et démocratiser la réussite en première année universitaire. Dès la rentrée, les étudiants de première année de bachelier sont invités à présenter un ou plusieurs tests de prérequis, appelés « Passeports pour le Bac ». Quelques jours après les passations, les étudiants sont invités à consulter leurs résultats individuels sur le site internet du projet. Les résultats sont présentés par prérequis, afin que les étudiants identifient leurs lacunes éventuelles. Des activités de remédiation, appelées « renforcements des prérequis », sont ensuite proposées en vue de permettre aux étudiants de remédier aux éventuelles difficultés détectées.
28Dans cette étude de cas, des simulations ont été réalisées sur la base de deux Passeports : « mathématique » et « lecture et compréhension d’un texte universitaire ». L’objectif est d’évaluer le lien entre la réussite académique en fin de première année universitaire et la maîtrise, en début d’année, de compétences plutôt disciplinaires (à savoir des connaissances spécifiques en mathématiques) ou plutôt transversales (à savoir des compétences de lecture et de compréhension en profondeur d’un texte de niveau universitaire).
29Afin d’évaluer la relation entre la maîtrise des prérequis à l’entrée en première année universitaire et la réussite académique en fin d’année, des calculs de corrélation bisériale ont été réalisés. Les corrélations ont été calculées sur la base du score (sur 20) obtenu au Passeport et du résultat académique (60 crédits acquis ou pas). Ces corrélations permettent d’évaluer le lien entre la maîtrise des prérequis et la réussite universitaire.
30Pour interpréter les résultats, les étudiants ont été répartis dans quatre groupes : le groupe 1 reprend les étudiants qui échouent au Passeport (seuil de réussite à 10/20) et qui réussissent moins de 60 crédits en fin d’année académique (les « vrais négatifs ») ; le groupe 2 est constitué des étudiants qui échouent au Passeport, mais qui réussissent tout de même 60 crédits en fin d’année académique (les « faux négatifs ») ; le groupe 3 est composé des étudiants ayant réussi le Passeport, mais qui n’ont pas acquis 60 crédits en fin d’année académique (les « faux positifs ») ; et enfin, le groupe 4 rassemble les étudiants qui réussissent le Passeport et qui ont acquis 60 crédits en fin d’année académique (les « vrais positifs »). Dans l’hypothèse d’un filtre contraignant, le groupe 2, correspondant aux « faux négatifs », représente les étudiants qui n’auraient pas été admis, mais à tort. Dans une logique de filtre à l’entrée, l’objectif est d’évaluer la proportion des étudiants qu’on exclurait sur la base d’un test de prérequis, alors même qu’ils peuvent réussir leur première année universitaire. En effet, ce groupe d’étudiants se retrouverait dans une situation particulièrement injuste et devrait donc être le plus restreint possible. Par ailleurs, le groupe 3 correspond aux « faux positifs », c’est-à-dire ceux dont le résultat au Passeport pronostiquait un succès en fin d’année, mais qui en réalité échouent alors que le groupe 4, les « vrais positifs » sont les étudiants qui ont réussi leur première année, comme prédit par le résultat au Passeport.
31L’analyse quantitative se base sur des étudiants inscrits en 2015 à l’UNamur dans quatre Facultés : la Faculté des sciences économiques, sociales et gestion ; la Faculté des sciences ; la Faculté de philosophie et lettres et la Faculté de droit.
32Les étudiants en sciences économiques, sociales et de gestion ont reçu un Passeport de mathématique (disciplinaire) et un Passeport « Lire et comprendre un texte universitaire » (transversal). La relation entre la maîtrise des prérequis en mathématique par ces étudiants à leur entrée en première année et leur réussite académique en fin d’année est mesurée par la corrélation bisériale de 0,4737. Cette corrélation positive et relativement élevée montre le lien majeur entre la maîtrise des prérequis en mathématique et la réussite universitaire dans ce cursus. Un Passeport transversal portant sur la lecture et la compréhension d’un texte de niveau universitaire a également été proposé à ces étudiants. La corrélation entre la maîtrise de ces prérequis à l’entrée et l’acquisition de 60 crédits en fin d’année académique est de 0,2539. La maîtrise de ces prérequis transversaux est également liée positivement à la réussite des étudiants en fin d’année académique pour ces filières. Cependant, le lien est moins marqué que pour le Passeport disciplinaire de mathématique.
33Le tableau 1 montre que si l’on fixe le seuil de réussite au Passeport de mathématique à 10/20, 48 % des étudiants échouent à ce test. Et en raisonnant en termes de sélection, dans les 48 % d’étudiants ayant échoué, on observe 7 % de « faux négatifs » [2], c’est-à-dire quatorze étudiants (sur une population de 208 étudiants) qui n’auraient pas été admis à suivre des études en sciences économiques, sociales et de gestion en fonction de leurs résultats à ce test de prérequis en mathématique et qui se sont néanmoins montrés capables d’acquérir 60 crédits dès leur première année universitaire. Par ailleurs, le fait de réussir le Passeport de mathématique ne garantit pas pour autant l’acquisition de 60 crédits en fin d’année, ni même de 45. En effet, dans le groupe 3 des « faux positifs », nous retrouvons 27 % des étudiants qui réussissent moins de 60 crédits. Si on considère que l’acquisition de 60 crédits est équivalente à la réussite d’une année académique, le résultat à ce Passeport semble donc plus prédictif de l’échec de l’étudiant en fin d’année que de sa réussite. Et tout comme pour le Passeport de mathématique, 7 % des étudiants ayant échoué au Passeport « lecture et compréhension d’un texte universitaire » réussiront les 60 crédits relatifs au Bac1. Concernant le groupe des « faux positifs », en postulant une réussite à 60 crédits acquis, ceux-ci représentent 30 % des étudiants ayant présenté ce test. Ce Passeport portant sur la lecture et la compréhension d’un texte semble donc également plus prédictif de l’échec de l’étudiant en fin d’année que de sa réussite.
Répartition des étudiants des quatre groupes pour les deux types de Passeports (disciplinaire et transversal) en fonction des résultats obtenus aux Passeports et en fin d’année académique
Répartition des étudiants des quatre groupes pour les deux types de Passeports (disciplinaire et transversal) en fonction des résultats obtenus aux Passeports et en fin d’année académique
34Il semblerait donc qu’un Passeport bien calibré pourrait tout de même permettre à minimum un tiers des étudiants de ces filières d’épargner une année universitaire en se réorientant, éventuellement, immédiatement après la passation de ces tests de prérequis.
35Le graphique 1 reprend le détail des résultats des étudiants en termes de crédits en fonction de la note obtenue lors du Passeport de mathématique. Pour les étudiants ayant obtenu moins que 8/20, la très grande majorité obtient en fin d’année académique moins de 45 crédits.
Répartition des étudiants de Bac1 en sciences économiques, sociales et de gestion selon leur note au Passeport de mathématique et leur résultat en fin d’année académique
Répartition des étudiants de Bac1 en sciences économiques, sociales et de gestion selon leur note au Passeport de mathématique et leur résultat en fin d’année académique
36Dans la Faculté des sciences, un Passeport testant les prérequis en mathématique et en physique est proposé aux étudiants en mathématiques, physique et chimie. Il s’agit d’une version dite « avancée », qui coexiste avec une version dite « de base » qui est proposée aux autres étudiants de la Faculté des sciences. La corrélation entre la maîtrise à l’entrée des prérequis en mathématique et en physique et la réussite en fin d’année est de 0,4032. Le tableau 1 reprend les proportions de « faux négatifs » et de « faux positifs ». Comme pour les autres Passeports, si on raisonne en termes de réussite, le résultat de ce Passeport est plus prédictif de l’échec de l’étudiant en fin de première année universitaire que de sa réussite.
37En Faculté de philosophie et lettres, les étudiants présentent un Passeport transversal de lecture et compréhension en profondeur d’un texte de niveau universitaire. La corrélation entre les notes à ce Passeport et les résultats en fin d’année académique pour les étudiants de Bac1 de cette faculté est de 0,3210. La maîtrise des prérequis relatifs à la compréhension d’un texte est donc liée au résultat en fin de première année pour ces étudiants, et ce, de façon plus importante par rapport aux étudiants de la Faculté des sciences économiques, sociales et de gestion (0,2539). Le tableau 1 montre que le plus petit groupe est, une fois encore, celui des « faux négatifs ». On observe toujours qu’environ trois étudiants sur dix pourraient éviter de perdre une année universitaire en se réorientant rapidement en début d’année académique, s’ils tenaient compte de leur résultat à ce test de prérequis. Ici également, la note au Passeport est plus prédictive de l’échec de l’étudiant en fin de première année que de sa réussite.
38Concernant la Faculté de droit, la corrélation entre la note du Passeport transversal et la réussite en fin d’année académique est de 0,0560. Pour ces études, le lien entre la maîtrise des prérequis transversaux testés par ce Passeport et la réussite en fin d’année académique est beaucoup moins évident, comparativement aux autres filières. Cette faible influence se reflète dans les données du tableau 1. En fixant le seuil de réussite de ce Passeport à 10/20, les données montrent que, si on considère la réussite universitaire à 60 crédits, le groupe des « faux positifs » est ici le plus important avec 58 %. Tandis que le groupe des « vrais négatifs » est très petit (7 %) comparativement aux autres filières où ce groupe 1 était souvent le plus important (de 29 % à 51 %). Dans le cadre de ce programme d’étude, ce Passeport est dès lors très peu prédictif de la réussite en fin de première année universitaire. Pour cette filière, un filtre basé sur un test de prérequis vérifiant la maîtrise de compétences transversales serait donc à proscrire. Toutefois, même en l’état, ce test peut avoir une certaine utilité, car l’essentiel des étudiants qui l’ont échoué, même s’ils sont peu nombreux, échoueront leur première année. Par contre, la réussite à ce test ne veut pas dire grand-chose en termes de réussite future.
39Sur la base des différentes simulations effectuées grâce aux données du projet « Passeports pour le Bac », il apparaît qu’un test de prérequis n’est pas toujours un gage de prédiction de la réussite en fin d’année. Néanmoins, les données analysées montrent que la proportion des étudiants « faux négatifs » reste, à chaque fois, relativement faible et constitue le plus petit groupe d’étudiants. Dans une perspective de filtre à l’entrée, ce groupe serait le plus injustement pénalisé. Il est dès lors rassurant de constater que l’erreur de prédiction éventuelle toucherait un groupe minoritaire. Les données ont également montré que le groupe 1 des « vrais négatifs » est le plus important pour les Passeports disciplinaires. Un test de prérequis bien calibré permettrait ainsi d’éviter de « perdre » du temps pour ce groupe d’étudiants (groupe 1), en décidant dès le début de l’année, d’éventuellement se réorienter vers une autre filière ou de s’investir à 100 % dans les renforcements des prérequis proposés. C’est par ailleurs une démarche observée au sein des Écoles supérieures d’Arts qui conseillent parfois aux candidats non admis de se réorienter ou de travailler certaines compétences, suite à une épreuve d’admission organisée avant même la rentrée académique.
5 – Discussion et conclusion
40La question des filtres à l’entrée de l’enseignement supérieur est donc un problème complexe et multidimensionnel dépendant directement du contexte, des raisons de la mise en place ou non d’une sélection ainsi que de la définition et du type de « filtre ». En outre, il existe de multiples manières d’introduire des filtres dans l’enseignement supérieur, mécanismes qui peuvent par ailleurs être facultatifs ou obligatoires, contraignants ou informatifs, centralisés ou non.
41Selon nous, si sélection il doit y avoir, elle devrait plutôt porter sur des prérequis cognitifs nécessaires à assurer une chance minimale de réussite aux étudiants. Les études internationales sur le sujet sont limpides : les meilleurs indicateurs pour réaliser cette tâche sont les scores acquis antérieurement dans l’enseignement secondaire, en tout cas lorsqu’ils sont standardisés à l’échelon national. Ils constituent également des prédicateurs fiables – bien que moins puissants – de la réussite des études en deuxième cycle. Et lorsque de tels indicateurs standardisés n’existent pas, comme c’est le cas en FWB, un test portant sur les matières des programmes du secondaire considérées comme étant des prérequis cruciaux peut se révéler utile, à condition sans doute qu’il ne soit pas trop sélectif.
42Néanmoins, est-il pertinent d’un point de vue éthique et politique d’amplifier les filtres à l’entrée sachant que la FWB est pointée comme ayant un des enseignements secondaires les plus inégalitaires au niveau des pays de l’OCDE ? Le choix d’une orientation, d’un cursus à la sortie du secondaire est souvent un saut dans le vide qui pourtant va baliser la suite de l’existence de l’étudiant. Il est évident qu’il n’y a pas qu’un seul « bon » choix, mais bien souvent au moment de l’inscription dans des études, les étudiants ont peu d’idées sur les attentes d’un programme et les prérequis supposés acquis préalablement. Un élément crucial pour réaliser un choix éclairé serait de renforcer les dispositifs permettant aux étudiants de déceler leurs points forts et leurs faiblesses, et ainsi de s’inscrire à un cursus qui correspond à leurs aspirations et à leurs aptitudes, maximisant ainsi les chances d’être diplômé de l’enseignement supérieur. Dans ce cas de figure, l’idée ne serait donc pas d’augmenter la sélection, mais plutôt de mieux gérer les voies d’entrée, en orientant de manière plus adéquate les étudiants en amont afin qu’ils puissent prendre des décisions plus réfléchies et rester dans un cursus dans lequel leur chance de réussite serait raisonnable. Ces dispositifs permettraient de mieux lutter contre les inégalités dans l’enseignement supérieur, compte tenu de la diversité effective des parcours dans l’enseignement secondaire et des acquisitions différenciées qui s’installent chez les étudiants, sans que ces différences soient connues par les principaux intéressés.
Remerciement
Rapport de base financé par le ministère de l’Enseignement supérieur de la FWB (2017).Bibliographie
- American Educational Research Association, American Psychological Association et National Council on Measurement in Education (1999) Standards for educational and psychological testing. Washington, DC : American Educational Research Association.
- Albanese, M. A., Snow, M. H., Skochelak, S. E., Huggett, K. N. et Farrell, P. M. (2003) « Assessing personal qualities in medical school admissions », Academic Medicine : Journal of the Association of American Medical Colleges, 78(3), pp. 313–21.
- Arias Ortiz, E. et Dehon, C. (2013) « Roads to Success in the Belgian French Community’s Higher Education System : Predictors of Dropout and Degree Completion at the Université libre de Bruxelles », Research in Higher Education, 54 (6), pp. 693-723.
- Cleland, J., Dowell, J., Mclachlan, J., Nicholson, S. et Patterson, F. (2012) « Identifying best practice in the selection of medical students (literature review and interview survey) », Retrieved from http://www.gmc-uk.org/Identifying_best_practice_in_the_selection_of_medical_students.pdf_51119804.pdf
- Cohen-Schotanus, J., Muijtjens, A. M. M., Reinders, J. J., Agsteribbe, J., van Rossum, H. J. M. et van der Vleuten, C. P. M. (2006) « The predictive validity of grade point average scores in a partial lottery medical school admission system », Medical Education, 40(10), pp. 1012–1019.
- Danhier, J. et Jacobs, D. (2017) « Aller au-delà de la ségrégation scolaire. Analyse des résultats de l’enquête PISA 2015 en Flandre et en Fédération Wallonie-Bruxelles », Étude réalisée à la demande de la Fondation Roi Baudouin par le Groupe de recherche sur les Relations Ethniques, les Migrations et l’Égalité (GERME), Institut de Sociologie, Université libre de Bruxelles
- Dehon, C. et Lebouteiller, L. (2021) « Comparaison des parcours universitaires entre deux systèmes d’enseignement : année d’étude versus accumulation de crédits », Dynamiques régionales, N° 11, pp 71 à 90.
- Detroz, P., et Loye, N. (2018) « Sélection des futurs médecins : sur quelles bases empiriques ? », Pédagogie médicale, 19(1), pp. 37-50.
- Detroz, P., Dehon, C., Romainville M, Auquière, A., Pools, E., Ben Omar Bridi, S. et Massart, X. (2017) « Les dispositifs de test et de filtre des étudiants dans l’enseignement supérieur », Recherche financée par le ministère de l’Enseignement supérieur de la Fédération Wallonie-Bruxelles.
- Esmail, A., Nelson, P., Primarolo, D. et Torna, T. (1995) « Acceptance into medical school and racial discrimination », BMJ (Clinical Research Ed.), 310(6978), pp. 501–502.
- Eva, K. W., Reiter, H. I., Trinh, K., Wasi, P., Rosenfeld, J. et Norman, G. R. (2009) « Predictive validity of the multiple mini-interview for selecting medical trainees », Medical Education, 43(8), pp. 767–775.
- Fayolle, A-V., Passirani, C., Letertre, E., Ramond, A., Perrotin, D., Saint-André, J-P. et Richard, I. (2016) « Sélection des étudiants en médecine : facteurs prédictifs de réussite ; une revue systématique de la littérature », La Presse Médicale, 45(5), pp. 483-494.
- Ferguson, E., James, D. et Madeley, L. (2002) « Factors associated with success in medical school : systematic review of the literature », BMJ (Clinical Research Ed.), 324(7343), pp. 952–957.
- Ferguson, E., James, D., O’Hehir, F., Sanders, A. et McManus, I. C. (2003) « Pilot study of the roles of personality, references, and personal statements in relation to performance over the five years of a medical degree », BMJ (Clinical Research Ed.), 326(7386), pp. 429–432.
- Girotti, J. A., Park, Y. S. et Tekian, A. (2015) « Ensuring a fair and equitable selection of students to serve society’s health care needs », Medical Education, 49(1), pp. 84–92.
- Griffin, B. et Wilson, I. G. (2012) « Faking good : self-enhancement in medical school applicants », Medical Education, 46(5), pp. 485–490.
- Hojat, M., Erdmann, J. B. et Gonnella, J. S. (2013) « Personality assessments and outcomes in medical education and the practice of medicine : AMEE Guide No. 79 », Medical Teacher, 35(7), pp. e1267–e1301.
- Houart, M., Bachy, S., Dony, S., Hauzeur, D., Lambert, I., Poncin, C. et Slosse, P. (2019) « La volition, entre motivation et cognition : quelle place dans la pratique des étudiants, quels liens avec la motivation et la cognition ? », Revue internationale de pédagogie de l’enseignement supérieur, 35, pp. 1-23.
- Kreiter, C. D., Yin, P., Solow, C. et Brennan, R. L. (2004) « Investigating the reliability of the medical school admissions interview », Advances in Health Sciences Education : Theory and Practice, 9(2), pp. 147–159.
- Lambert, J.P. (2020) « L’enseignement supérieur peut-il être à la fois excellent et démocratique ? Une analyse comparée des systèmes ». CEREC Working Paper n° 2020/5, octobre 2020.
- Lambert, J.P. (2021) « Ampleur et effets de la dégradation du financement de l’enseignement supérieur de la Fédération Wallonie-Bruxelles ». Dynamiques régionales, N° 11, pp. 11 à 29.
- Le, H., Oh, I.-S., Robbins, S. B., Ilies, R., Holland, E. et Westrick, P. (2011) « Too much of a good thing : curvilinear relationships between personality traits and job performance », The Journal of Applied Psychology, 96(1), pp. 113–133.
- Liao, S.-C., Hsiue, T.-R., Lin, C.-H. et Huang, A.-M. (2014) « Multiple mini-interviews combined with group interviews in medical student selection », Medical Éducation, 48(11), pp. 1104–1132.
- Lievens, F. (2013) « Adjusting medical school admission : assessing interpersonal skills using situational judgement tests », Medical Education, 47(2), pp. 182–189.
- Lievens, F., Coetsier, P., De Fruyt, F. et De Maeseneer, J. (2002) « Medical students’ personality characteristics and academic performance : a five-factor model perspective » Medical Education, 36(11), pp. 1050–1056.
- Lievens, F., Ones, D. S. et Dilchert, S. (2009) « Personality scale validities increase throughout medical school », Journal of Applied Psychology, 94(6), pp. 1514–1535.
- Lievens, F., Patterson, F., Corstjens, J., Martin, S. et Nicholson, S. (2016) « Widening access in selection using situational judgement tests : evidence from the UKCAT », Medical Education, 50(6), pp. 624–36.
- Lynch, B., MacKenzie, R., Dowell, J., Cleland, J. et Prescott, G. (2009) « Does the UKCAT predict Year 1 performance in medical school ? », Medical Education, 43(12), pp. 1203–1209.
- McManus, I., Woolf, K., Dacre, J., Paice, E. et Dewberry, C. (2013) « The Academic Backbone : longitudinal continuities in educational achievement from secondary school and medical school to MRCP(UK) and the specialist register in UK medical students and doctors », BMC Medicine, 11(1), 242.
- Motowidlo, S. J., Dunnette, M. D. et Carter, G. W. (1990) « An alternative selection procedure : The low-fidelity simulation », Journal of Applied Psychology, 75(6), pp. 640–647.
- Oluwasanjo, A., Wasser, T. et Alweis, R. (2015) « Correlation between MMI performance and OSCE performance - a pilot study », Journal of Community Hospital Internal Medicine Perspectives, 5(3), 27808.
- Patterson, F., Ashworth, V., Zibarras, L., Coan, P., Kerrin, M. et O’Neill, P. (2012) « Evaluations of situational judgement tests to assess non-academic attributes in selection », Medical Education, 46(9), pp. 850–868.
- Patterson, F., Ashworth, V., Kerrin, M. et O’Neill, P. (2013) « Situational judgement tests represent a measurement method and can be designed to minimise coaching effects », Medical Education, 47(2), pp. 220–221.
- Poole, P., Shulruf, B., Rudland, J. et Wilkinson, T. (2012) « Comparison of UMAT scores and GPA in prediction of performance in medical school : a national study », Medical Education, 46(2), pp. 163–171.
- Reiter, H. I., Eva, K. W., Rosenfeld, J. et Norman, G. R. (2007) « Multiple mini-interviews predict clerkship and licensing examination performance », Medical Éducation, 41(4), pp. 378–384.
- Romainville, M. et Michaut, C. (Eds.). (2012) Réussite, échec et abandon dans l’enseignement supérieur, Bruxelles : De Boeck. 295 p.
- Romainville, M., Monseur, C., Detroz, P., Crahay, V., Demeuse, M., Dehon C., Perrot, H. et Piazza, A. (2016) « Rapport de l’étude visant à évaluer le dispositif appliqué en sciences médicales pour l’Académie de Recherche et d’Enseignement supérieur », Bruxelles : Académie de Recherche et d’Enseignement supérieur.
- Schmitt, N., Keeney, J., Oswald, F. L., Pleskac, T. J., Billington, A. Q., Sinha, R., et al. (2009) « Prediction of 4-year college student performance using cognitive and noncognitive predictors and the impact on demographic status of admitted students », The Journal of Applied Psychology, 94(6), pp. 1479–1497.
- Schripsema, N. R., van Trigt, A. M., van der Wal, M. A. et Cohen-Schotanus, J. (2016) « How Different Medical School Selection Processes Call upon Different Personality Characteristics », PloS One, 11(3).
- Simmenroth-Nayda, A. et Görlich, Y. (2015) « Medical school admission test : advantages for students whose parents are medical doctors ? », BMC Medical Education, 15, 81.
- Siu, E. et Reiter, H. I. (2009) « Overview : what’s worked and what hasn’t as a guide towards predictive admissions tool development », Advances in Health Sciences Education : Theory and Practice, 14(5), pp. 759–775.
- Stegers-Jager, K. M., Steyerberg, E. W., Lucieer, S. M. et Themmen, A. P. N. (2015) « Ethnic and social disparities in performance on medical school selection criteria », Medical Education, 49(1), pp. 124–133.
- Wilkinson, D., Casey, M. G. et Eley, D. S. (2014) « Removing the interview for medical school selection is associated with gender bias among enrolled students », The Medical Journal of Australia, 200(2), pp. 96–99.
- Wright, S. R. et Bradley, P. M. (2010) « Has the UK Clinical Aptitude Test improved medical student selection ? », Medical Education, 44(11), pp. 1069–1076.
- Yates, J. et James, D. (2013) « The UK clinical aptitude test and clinical course performance at Nottingham : a prospective cohort study », BMC Medical Education, 13(1), 32.
Mots-clés éditeurs : enseignement supérieur, filtres à l’entrée, prérequis, réussite, sélection
Date de mise en ligne : 01/12/2021