Introduction

1 L’éducation prioritaire vise à compenser les inégalités de résultats scolaires apparaissant dans les zones géographiques socialement et économiquement défavorisées. La plupart des pays développés ont mis en place de tels dispositifs à partir des années 1960-1970 et de la démocratisation scolaire, à la suite du constat que l’égalité d’accès à l’éducation ne suffisait pas à garantir l’égalité de réussite scolaire. En France, le premier dispositif d’éducation prioritaire a été créé en 1981 avec les zones d’éducation prioritaire (zep). À la suite de la réforme de l’éducation prioritaire de 2006, les « réseaux ambition réussite » (rar) ont été mis en place entre 2006 et 2011 dans les collèges les plus socialement et scolairement défavorisés. Ces réseaux regroupaient des écoles autour de ces collèges dans le but de créer ou de renforcer les liens entre les équipes pédagogiques. Grâce à des moyens supplémentaires et à un projet pédagogique commun, ce dispositif devait permettre d’améliorer la réussite scolaire des élèves dans les établissements sélectionnés.

2 Les programmes d’éducation prioritaire sont une composante majeure des politiques scolaires et territoriales et représentent une partie conséquente des dépenses. En France, l’éducation prioritaire dans sa totalité représente un surcoût d’environ un milliard d’euros par an (Direction générale de l’Enseignement scolaire [2013], [2014a], [2014b]). Pourtant, ces dispositifs font l’objet de très peu d’études en regard des moyens importants qui y sont consacrés. Par ailleurs, la littérature existante recense des résultats souvent faibles, voire décevants, des programmes d’éducation prioritaire vis-à-vis de leur objectif de réduction des inégalités scolaires. En France, l’étude de Bénabou, Kramarz et Prost [2004], [2009] montre que le dispositif zep n’a aucun impact sur les résultats scolaires. Dans leur analyse des collèges rar, Beffy et Davezies [2013] trouvent que le dispositif a un impact négatif sur la moyenne des notes au brevet. Aux États-Unis, Van der Klaauw [2008] montre que Title I, le dispositif fédéral d’éducation prioritaire le plus important et le plus ancien, n’améliore pas les résultats scolaires des élèves et pourrait même avoir des effets négatifs. Au Royaume-Uni, Machin, McNally et Meghir [2004], [2010] trouvent que le programme Excellence in Cities augmente faiblement les résultats, uniquement en mathématiques, et réduit l’absentéisme. Pour une revue plus complète de cette littérature, voir par exemple Demeuse et al. [2009].

3 L’évaluation des programmes d’éducation prioritaire est difficile parce que deux effets sont susceptibles de biaiser l’analyse. D’abord, ce type de programmes cible, par définition, des populations désavantagées. Ainsi, le plus souvent, la sélection est faite au niveau des établissements sur la base de critères académiques et sociaux (établissements situés dans des zones géographiques défavorisées, regroupant des élèves en difficulté scolaire, des minorités ethniques ou des catégories sociales désavantagées, etc.). En conséquence, une comparaison naïve des individus traités (au sens où ils bénéficient du dispositif) et non traités est intrinsèquement faussée, puisque les premiers ont été sélectionnés parce qu’ils réussissaient moins bien que les seconds. En moyenne, les individus traités ont de moins bons résultats scolaires que les individus non traités, non pas à cause du programme en lui-même, mais parce que la population traitée est différente ex ante du reste de la population. On parle couramment de biais de sélection pour qualifier cet effet. Pour remédier à ce problème classique dans la littérature, une solution est de chercher à comparer la population traitée avec un groupe de contrôle, qui ne bénéficie pas du programme mais est comparable au groupe traité. C’est ce qui est fait avec l’utilisation de variables instrumentales (Bénabou, Kramarz et Prost [2009]), de méthodes de différences de différences (Machin, McNally et Meghir [2004], [2010] ; Bénabou, Kramarz et Prost [2004], [2009]) ou de méthodes de régression sur discontinuité (Beffy et Davezies [2013] ; Van der Klaauw [2008]). Une deuxième source de difficulté pour l’évaluation est spécifique aux dispositifs d’éducation prioritaire : ces dispositifs ciblent des établissements et non des élèves, or les élèves peuvent choisir (dans une certaine mesure) leur établissement de scolarisation. Dès lors, il est difficile d’évaluer des effets individuels, car cela nécessite de prendre en compte les choix de scolarisation ou de résidence des individus. Il est possible que les individus se sélectionnent dans ou en dehors du programme en choisissant (ou, au contraire, en évitant) un établissement bénéficiant du dispositif (Davezies et Garrouste [2014] ; Fack et Grenet [2013] ; Thaurel-Richard et Murat [2013]). Par la suite, on parlera d’effet de composition pour qualifier ce deuxième type de biais, parce que l’autosélection des élèves dans les établissements modifie la composition des établissements traités. Les méthodes utilisées jusqu’à maintenant dans la littérature ne permettent pas de contrôler ce biais de manière crédible.

4 Notre objectif est d’évaluer l’effet causal du dispositif rar sur les résultats scolaires. À notre connaissance, il n’existe qu’une seule étude ayant cherché à analyser cet effet, celle de Beffy et Davezies [2013], qui analyse l’impact causal moyen du programme rar au niveau des collèges. Dans la présente étude, nous proposons une stratégie permettant d’identifier l’effet causal individuel du programme rar sur les résultats scolaires. Pour pallier le premier type de biais (biais de sélection), nous utilisons une méthode de régression sur discontinuité. Pour cela, nous nous inspirons fortement de la méthode proposée par Beffy et Davezies [2013]. Mais là où la précédente analyse est faite au niveau de l’établissement, nous utilisons des données individuelles originales et un critère de proximité géographique pour construire une analyse au niveau de l’élève et prendre en compte également d’éventuels effets de composition. À notre connaissance, il s’agit de la première étude à utiliser la localisation géographique pour analyser l’effet causal d’un dispositif d’éducation prioritaire et à prendre ainsi en compte l’autosélection éventuelle des élèves dans les établissements.

5 Cette étude est ainsi organisée. Nous décrivons le programme rar, puis nous présentons les données utilisées dans l’analyse économétrique avant d’expliciter la méthodologie adoptée et le modèle utilisé. Nous décrivons ensuite les résultats de notre analyse et concluons enfin en discutant de l’interprétation à donner à ces résultats.

Les réseaux ambition réussite

6 La réforme de 2006 a modifié en profondeur l’organisation de l’éducation prioritaire. Depuis la rentrée scolaire 1999, celle-ci concernait 1 100 établissements secondaires (presque exclusivement des collèges), dont 876 étaient classés en zep et 224 associés à ces derniers dans le cadre d’un réseau d’éducation prioritaire (rep). L’organisation mise en place à la rentrée scolaire 2006 répartit ces établissements dans deux types de réseaux bien distincts. Les rar accueillent les 249 collèges les plus en difficultés, les autres collèges intégrant les réseaux de réussite scolaire (rrs) [1]. Ce nouveau dispositif vise à renforcer l’efficacité de l’éducation prioritaire en en améliorant le pilotage et en donnant plus de moyens aux équipes pédagogiques qui en ont le plus besoin.

7 Comme l’écrit la circulaire du 30 mars 2006 définissant les principes de la réforme, « le réseau structure la nouvelle organisation de l’éducation prioritaire ». Chaque rar est constitué d’un collège et des écoles primaires et maternelles d’où proviennent ses élèves. L’objectif du réseau est de créer et de renforcer les relations entre les équipes pédagogiques des différents établissements qui le constituent afin d’assurer une continuité dans la prise en charge des élèves tout au long de leur cursus à l’école et au collège. Il permet de mutualiser les objectifs et les pratiques pédagogiques. Il est piloté par un comité exécutif comprenant le principal du collège, son adjoint, les directeurs des écoles concernées ainsi que l’inspecteur de l’éducation nationale en charge de la circonscription. Les objectifs du réseau et les moyens mis en œuvre pour les atteindre sont formalisés dans un « contrat ambition réussite » qui engage les établissements pour une durée de quatre ou cinq ans. Au niveau de l’établissement, le pilotage de l’éducation prioritaire est renforcé par la mise en place d’une individualisation des parcours, à travers des actions de soutien scolaire spécifiques et la généralisation de l’aide aux devoirs. Une attention toute particulière est accordée au processus d’orientation. Pour ouvrir les perspectives des élèves, chaque collège rar est appelé à développer un partenariat avec une institution culturelle ou sportive d’excellence. Enfin, une coopération renforcée avec la famille est mise en œuvre à travers des actions telles que la remise des bulletins en mains propres aux parents, l’implantation de salles exclusivement dédiées aux relations parents-enseignants, le recours à des interprètes pour les parents non francophones.

8 Le renforcement des équipes est une composante essentielle de la réforme. Elle se concrétise par l’attribution aux rar de moyens supplémentaires devant permettre le recrutement de 1 000 enseignants supplémentaires et de 3 000 assistants pédagogiques. Recrutés sur profil, les professeurs supplémentaires consacrent une part importante de leur activité exclusivement aux rar. La circulaire du 30 mars 2006 prévoit en effet que leur service d’enseignement devant des classes constituées ne peut être supérieur à un mi-temps. Le bilan du fonctionnement des rar réalisé par la direction générale de l’Enseignement scolaire (dgesco) [2010] montre qu’au cours de l’année scolaire un quart d’entre eux consacraient la totalité de leur temps d’enseignement à leurs missions spécifiques et que 38 % d’entre eux étaient en charge d’une classe attitrée pour moins de la moitié de leur temps. La classe qui leur est confiée est le plus souvent une classe de sixième. Appelés selon les académies « professeur référent » ou « professeur d’appui », ces enseignants supplémentaires exercent leur activité dans quatre directions. Ils ont un rôle déterminant dans l’individualisation des parcours : prise en charge de groupes d’élèves dans le cadre des programmes personnalisés de réussite éducative (ppre) ou de l’aide aux devoirs, ou d’actions spécifiques d’approfondissement, de remédiation ou de lutte contre le décrochage scolaire. Par ailleurs, ils sont fortement impliqués dans le fonctionnement du réseau : animation pédagogique, à destination tant des professeurs du collège que de ceux des écoles rattachées, aide à la conception et à la réalisation des contrats ambition réussite. Ils prennent aussi en charge les relations avec les partenaires extérieurs, familles et lycées d’accueil en fin de collège. Enfin, ils coordonnent les activités des assistants pédagogiques. La mission principale de ces derniers est d’apporter un soutien scolaire aux élèves dans le cadre d’actions de remise à niveau spécifiques individuelles ou en groupe et d’aide aux devoirs. Au cours de l’année scolaire 2009-2010, 54 % des assistants pédagogiques assurent l’aide aux devoirs, 48 % travaillent de manière individualisée et 43 % dans le cadre de petits groupes.

9 Parallèlement à l’attribution de ces moyens spécifiques, les collèges rar se distinguent des autres collèges par un nombre moyen d’élèves par division sensiblement plus faible : il y a, en moyenne, vingt élèves par classe, ce qui représente quatre élèves en moins par rapport à la situation des collèges n’appartenant pas à l’éducation prioritaire. Si le renforcement des équipes mobilise des moyens supplémentaires, la manière dont ces moyens ont été mis en place dans les établissements est peu visible statistiquement. Aucun fichier statistique ne permet de caractériser les collèges selon le nombre d’enseignants supplémentaires ou d’assistants pédagogiques dont ils bénéficient ou encore selon les pratiques pédagogiques mises en œuvre dans le cadre des contrats ambition réussite.

10 La sélection des collèges en rar s’est faite sur la base de critères académiques et sociaux, mesurés au niveau national durant l’année scolaire 2004-2005. Les critères retenus étaient la proportion d’élèves issus de catégories sociales défavorisées [2] dans l’établissement et le degré de réussite scolaire des élèves à l’entrée en sixième, appréhendé principalement [3] par le retard scolaire. Pour être éligible au dispositif rar, un collège devait avoir au moins 67 % de ses élèves issus de catégories socioprofessionnelles défavorisées et au moins 10 % d’élèves ayant redoublé au moins deux fois à la rentrée de sixième. Ces deux critères ont été définis de façon à ce que les établissements sélectionnés représentent environ 5 % des élèves ; il s’agissait de cibler les 5 % d’élèves les plus désavantagés socialement et scolairement. Ces critères n’ont pas déterminé à eux seuls la sélection dans le dispositif, d’autres ajustements ont fait que certains établissements au-dessus des seuils ne sont finalement pas entrés dans le dispositif et vice versa.

11 Le coût additionnel spécifique des rar a été estimé à environ 325 millions d’euros pour l’année budgétaire 2008. Cela représente environ 811 euros supplémentaires par élèves et par an, soit approximativement 10 % des dépenses moyennes annuelles par collégien. Quatre-vingt-dix pour cent du coût additionnel correspondent au financement des postes d’enseignants et d’assistants pédagogiques.

Des données exhaustives…

12 Pour mener notre analyse, nous utilisons des données exhaustives fournies par la direction de l’Évaluation, de la Prospective et de la Performance (depp), au niveau des élèves d’une part et au niveau des établissements d’autre part.

13 Les données concernant les élèves sont issues des fichiers anonymisés d’élèves pour la recherche et les études (faere). Ces fichiers regroupent des informations sur l’ensemble des élèves scolarisés chaque année depuis 2003. Dans cette étude, nous considérons les élèves entrants en sixième en 2006 ou en 2007, soit les deux premières cohortes d’élèves concernés par la mise en place des rar. Les élèves entrés en sixième plus tard ne sont pas pris en compte, d’une part parce qu’à la date de la réalisation de l’étude il n’était pas possible d’observer leurs résultats au brevet des collèges et leur devenir quatre à cinq ans plus tard, d’autre part parce que le dispositif a pu avoir, à long terme, des effets sur les stratégies résidentielles et de scolarisation en primaire, ce qui biaiserait notre analyse (cf. infra et annexe I). Les données permettent d’observer certaines caractéristiques individuelles et sociodémographiques de ces élèves telles que le sexe, la catégorie socioprofessionnelle des parents et le statut éventuel de boursier. Le croisement de ces données avec celles du fichier exhaustif du diplôme national du brevet permet de connaître les résultats au brevet de chacun des élèves [4]. La formation suivie par les élèves au sortir du collège est aussi connue. Les données renseignent également l’établissement fréquenté chaque année par ces élèves ainsi que la localisation exacte de cet établissement obtenue par géolocalisation.

14 En particulier, nous savons si cet établissement fait partie d’un rar ou non, et donc quels sont les élèves bénéficiant du programme rar chaque année. Dans cette étude, nous considérerons comme « variable de traitement » le fait d’être scolarisé dans un collège rar en sixième. Puisque nous suivons les élèves chaque année, il est également possible de considérer le fait d’être scolarisé en rar pendant toute la durée du collège. Cependant, la grande majorité des élèves (plus de 80 %) ne changent pas de collège au cours du premier cycle. Par ailleurs, si l’on retient cette variable alternative, les résultats sont sensiblement les mêmes que ceux présentés dans les parties suivantes. Enfin, nous savons quelle est l’école primaire fréquentée par l’élève l’année précédant son entrée en sixième et la localisation géographique exacte de cette école.

15 Par ailleurs, nous utilisons une base de données exhaustive des établissements scolaires. Dans notre analyse, nous considérons l’ensemble des collèges publics [5] situés en France métropolitaine. Cette base nous permet d’établir, pour chacun de ces collèges, la proportion d’élèves issus de catégories sociales défavorisées et la proportion d’élèves en retard à l’entrée en sixième en 2004-2005. Nous savons donc, pour chaque collège, s’il était éligible au programme rar ou non.

…Utilisées pour une évaluation quasi expérimentale

16 Pour évaluer l’effet du dispositif rar en tenant compte à la fois de l’effet de sélection et de l’effet de composition mentionnés plus haut, il conviendrait idéalement de pouvoir procéder à une expérience aléatoire : pour cela, il faudrait sélectionner un groupe d’élèves, puis affecter aléatoirement une partie de ces élèves dans des collèges rar (groupe de traitement) et une autre partie dans des collèges non-rar (groupe de contrôle). L’affectation étant aléatoire, les groupes de traitement et de contrôle seraient parfaitement comparables. Une différence de résultats scolaires entre ces deux groupes à l’issue du collège pourrait donc s’interpréter comme un effet causal de la politique rar. En pratique, les comparaisons que l’on peut faire habituellement entre les élèves scolarisés en rar et les élèves scolarisés hors rar ne relèvent pas de ce cadre, pour les raisons évoquées précédemment. Tout indique donc que les élèves scolarisés en rar et hors rar ne sont pas comparables, même en contrôlant cette comparaison par certaines caractéristiques observables (diplôme des parents, pcs, etc.). Il faut alors recourir à une méthode d’évaluation quasi expérimentale, c’est-à-dire se placer dans des conditions proches de celles d’une expérience aléatoire. C’est ce que permet la régression sur discontinuité, en exploitant une idée simple : si des individus sont plus souvent affectés au traitement lorsqu’une caractéristique continue (une note à un examen, une distance, un niveau de ressources, etc.) est au-dessus d’un certain seuil, alors les individus juste au-dessus et les individus juste au-dessous du seuil sont comparables, mais exposés de manière différente au traitement. Cette discontinuité permet d’estimer l’effet du traitement pour les individus proches des seuils utilisés.

17 La combinaison des deux bases de données présentées plus haut permet de définir, pour chaque élève, le collège public le plus proche, en utilisant la plus petite distance (distance euclidienne) à l’école primaire fréquentée avant l’entrée en sixième. Ce collège a été classé en rar ou non en tenant compte du fait que, premièrement, le pourcentage d’élèves entrant avec plus de deux années de retard en sixième était ou non supérieur à 10 % et, deuxièmement, que le pourcentage d’élèves entrant en sixième issus de pcs défavorisées était supérieur ou non à 67 %. Les élèves vivant à proximité d’un collège public juste au-dessus de ces seuils statistiques et les élèves vivant à proximité d’un collège public juste au-dessous de ces seuils statistiques sont similaires, alors que les premiers sont beaucoup plus souvent scolarisés en rar en sixième que les seconds. En comparant les résultats scolaires de ces deux groupes d’élèves, nous estimons l’effet de la politique rar sur les élèves vivants près d’un collège proche des seuils statistiques utilisés comme conditions d’éligibilité au dispositif des rar. Il s’agit donc d’une estimation ayant les mêmes qualités qu’une expérience aléatoire sur les élèves vivant près d’un collège proche des seuils. En revanche, cette estimation ne permet pas (sans hypothèses supplémentaires) d’estimer l’effet de la politique rar pour les élèves vivant près d’un collège accueillant une population très défavorisée ou au contraire très favorisée (dans ces deux cas, le collège est loin des seuils statistiques). Nous reviendrons par la suite sur cette stratégie d’estimation afin d’en présenter une formalisation aussi rigoureuse et précise que possible et d’en comprendre les avantages et les limites.

18 L’analyse est restreinte aux élèves résidant en France métropolitaine [6]. Au total, 1 098 636 élèves sont observés (531 729 sont entrés en sixième en 2006 et 566 907 en 2007). Parmi eux, 28 517 sont scolarisés en rar en sixième, soit 3 % de la population étudiée.

19 Une première analyse des données montre que les élèves scolarisés dans des collèges rar ont un profil scolaire et social sensiblement différent de celui des autres élèves. Soixante-neuf pour cent d’entre eux sont admis au brevet des collèges quatre ou cinq ans après l’entrée en sixième, contre 87 % des élèves non-rar. En moyenne, les élèves de rar obtiennent 8 sur 20 à l’examen terminal du brevet, contre 11 sur 20 pour les élèves non-rar. À l’issue du collège, 43 % des élèves entrés en rar en sixième poursuivent leurs études dans le second cycle général et technologique, contre 62 % des élèves non-rar. Dans la mesure où le dispositif rar cherche à cibler des élèves socialement et scolairement désavantagés, ces différences ne sont pas surprenantes et peuvent en partie provenir du fait que les élèves fréquentant un collège classé en rar en sixième constituent une population qui n’est pas directement comparable aux élèves non scolarisés en rar. En effet, les élèves scolarisés en rar en sixième sont en moyenne plus âgés à l’entrée en sixième que les élèves non-rar (de 0,21 an, soit environ deux mois et demi). En moyenne, ils sont plus souvent issus de catégories socio- professionnelles défavorisées. Ils bénéficient également plus fréquemment d’une bourse que les autres collégiens. Sur ces deux critères, les différences sont très prononcées puisque les élèves rar et non-rar sont séparés respectivement par 39 et 47 points d’écart (cf. tableau 1). Ces statistiques descriptives montrent que les élèves qui sont scolarisés dans des collèges rar ont des caractéristiques observables différentes ex ante du reste de la population. Il est donc prévisible que leurs résultats scolaires soient différents de ceux des élèves non-rar, y compris en l’absence du dispositif.

Une stratégie d’identification fondée sur le modèle de Rubin

20 Pour estimer l’effet de la scolarisation en rar sur les résultats scolaires, nous utilisons la modélisation proposée par Rubin [1974]. Soit T _i la variable de traitement, dans notre cas, T _i vaut 1 si l’élève i est scolarisé dans un collège rar en sixième et 0 sinon. La variable Y _i est une mesure de la réussite scolaire de l’élève i (admission au brevet, note en français, mathématiques, etc.). Y _i (0) et Y _i (1) sont les variables potentielles associées à la participation au programme rar. Autrement dit, Y _i (1) est la valeur de la variable d’intérêt si l’élève i est scolarisé en rar en sixième et Y _i (0) est la valeur de la variable sinon. Pour un même individu i, une seule de ces deux situations est observée. La valeur observée de Y _i pour l’individu i est donc :

21

22 ou encore :

23

24 Le coefficient d’intérêt est β _i , qui représente l’effet d’être scolarisé dans un collège rar sur les résultats scolaires de l’élève i. Bien sûr, pour identifier cet effet, il faudrait observer, pour le même individu i, la variable d’intérêt dans deux états du monde, ce qui n’est pas possible. Il est en revanche possible, sous certaines hypothèses, d’estimer E(β _i |i ∈ P), l’effet moyen du traitement sur une sous-population P. Par exemple, sous l’hypothèse d’affectation aléatoire au traitement (on a alors : T _i ⊥ Y _i (0), Y _i (1)), une comparaison de moyennes ou une régression par les moindres carrés ordinaires (mco) fournit un estimateur convergent de l’effet moyen du traitement sur toute la population.

25 Cependant, dans le cas où l’affectation au traitement n’est pas aléatoire, l’estimation de ce coefficient par une régression mco classique est faussée par deux types de biais. D’une part, comme mentionné dans la partie précédente, les résultats scolaires potentiels des élèves scolarisés en rar seraient différents des résultats potentiels des autres élèves, même en l’absence de traitement, parce que les établissements rar ont été sélectionnés sur la base d’un désavantage scolaire et social (biais de sélection). Autrement dit, le coefficient estimé par les mco capterait en partie le fait que les élèves scolarisés en rar réussiraient en moyenne moins bien que les autres, même s’ils n’avaient pas été scolarisés en rar. D’autre part, les élèves scolarisés en rar (ou non) ont pu s’autosélectionner dans ou en dehors du traitement en choisissant (ou en évitant) un établissement rar (biais de composition). Le coefficient estimé par les mco capterait aussi en partie le fait qu’en raison du traitement, la composition des établissements rar va différer de la composition des autres établissements (Beffy et Davezies [2013]).

Des comparaisons au voisinage des seuils d’éligibilité

26 Notre stratégie repose sur la comparaison d’élèves dont le collège le plus proche de leur école primaire précédente est juste au-dessus des seuils d’éligibilité au programme avec des élèves dont le collège le plus proche est juste au-dessous des seuils. Cette comparaison est informative car les critères d’éligibilité au programme rar créent une discontinuité dans la probabilité pour un établissement d’être sélectionné en rar. Ainsi, les collèges qui ont plus de 67 % d’élèves issus de csp défavorisées et plus de 10 % d’élèves redoublants ont une probabilité plus élevée de faire partie d’un rar. On parle de discontinuité fuzzy (floue) parce que le fait d’être au-dessus des seuils ne signifie toutefois pas nécessairement faire partie d’un rar. Certains collèges sont au-dessus des seuils et ne font pas partie du dispositif et certains collèges au-dessous des seuils en font partie.

27 Ces discontinuités dans l’affectation des établissements ont été mises en évidence pour la première fois par Beffy et Davezies [2013]. En utilisant ces discontinuités, ils montrent que l’encadrement des élèves est amélioré dans les collèges rar, mais que cette augmentation des moyens est bien plus faible que ce que le dispositif rar prévoyait. Ils trouvent également que la population a été modifiée dans les établissements rar, la proportion d’enfants d’ouvriers augmentant et la proportion d’enfants d’employés diminuant. Enfin, ils montrent que le programme a un impact négatif sur les résultats moyens au brevet dans les établissements rar. Cependant, puisque cette précédente analyse est faite au niveau des collèges, il n’est pas possible d’y distinguer l’effet du programme rar sur les élèves d’éventuels effets de composition. Une analyse au niveau établissement n’est donc pas suffisante pour évaluer l’effet des rar.

28 Dans cette étude, nous menons une analyse au niveau de l’élève. Il s’agit de prendre en compte un éventuel effet de composition en déplaçant l’analyse à un niveau plus fin. Le principe de notre stratégie est le suivant : la probabilité individuelle d’être scolarisé en rar augmente de façon discontinue lorsque le collège le plus proche est au-dessus des seuils d’éligibilité. Aussi, certains élèves sont affectés au dispositif uniquement parce que le collège le plus proche est au-dessus de ces seuils. On peut donc considérer que leur affectation au traitement est purement exogène. Sous l’hypothèse que les élèves vivant près de collèges qui se trouvent juste au-dessous et juste au-dessus des seuils sont similaires, toute discontinuité dans les variables d’intérêt pourra donc être interprétée comme un effet causal du programme.

29 Deux nettes discontinuités apparaissent dans la probabilité individuelle d’être scolarisé en rar en sixième (cf. fig. 1). La probabilité pour un élève d’être scolarisé en rar en sixième augmente fortement lorsque son collège le plus proche est au-dessus du seuil de 67 % d’élèves issus de csp défavorisées. Cette probabilité augmente également de façon discontinue lorsque le collège le plus proche est au-dessus du seuil de 10 % d’élèves redoublants [7].

Figure 1

Probabilité individuelle d’être scolarisé en rar en sixième

Probabilité individuelle d’être scolarisé en rar en sixième

Lecture : Ce graphique présente en ordonnée la probabilité estimée d’être scolarisé en rar en sixième, en abscisse la proportion d’élèves issus de csp défavorisées dans le collège le plus proche, et en profondeur la proportion d’élèves ayant redoublé au moins deux fois dans le collège le plus proche.

30 Nous considérons les deux discontinuités séparément, c’est-à-dire que nous estimons, d’une part, l’effet du programme autour du seuil de 10 % d’élèves ayant redoublé dans le collège le plus proche (discontinuité, cf. fig. 2-a), et, d’autre part, l’effet du programme autour du seuil de 67 % d’élèves issus de csp défavorisées dans le collège le plus proche (discontinuité d ₆₇, cf. fig. 2-b).

Figure 2

Les deux discontinuités

(a)

Discontinuité d ₁₀

Discontinuité d ₁₀

(b)

Discontinuité d ₆₇

Discontinuité d ₆₇

Les deux discontinuités

31 Pour chaque individu i, on définit Z^L _i la proportion d’élèves ayant redoublé au moins deux fois dans le collège le plus proche de l’élève i et Z^F _i la proportion d’élèves issus de csp défavorisées dans le collège le plus proche de l’élève i (mesurées durant l’année scolaire 2004-2005). La probabilité individuelle d’être scolarisé dans un collège rar en sixième est discontinue en (Z^L, Z^F) aux seuils z ^L = 10 % et z ^F = 67 %. C’est-à-dire que, ∀z ^F ∈ I_F = [67 %, 80 %] :

32

33 Et de manière similaire ∀z ^L ∈ I_L = [10 %, 100 %] :

34

35 L’assignation au traitement n’est pas déterministe, autrement dit tous les collèges situés au-dessus du seuil ne sont pas rar et certains collèges situés au-dessous du seuil sont rar, mais la probabilité augmente de façon discontinue au niveau du seuil (discontinuité fuzzy).

36 Ces discontinuités révèlent l’existence d’élèves qui sont scolarisés en rar (ou respectivement hors rar) uniquement parce que le collège proche de leur école primaire était juste au-dessus (ou respectivement au-dessous) des seuils : il s’agit de compliers (Imbens et Angrist [1994] ; Hahn, Todd et Van der Klaauw [2001] ; Imbens et Lemieux [2008]). Il s’agit des élèves pour lesquels la scolarisation (ou non) en rar est exogène.

37 Pour la population des compliers, l’effet moyen local du traitement (LATE) au niveau du seuil est :

38

39 C’est donc l’effet moyen local pour les individus qui sont scolarisés en rar (ils sont « traités ») parce que l’établissement le plus proche de chez eux est juste au-dessus du seuil et qui ne l’auraient pas été sinon.

40 Sous l’hypothèse que (z ^F, z ^L) → E(Y _i (j)|Z^F _i = z ^F, Z^L _i = z ^L) est continue pour, ces paramètres sont identifiés par le ratio suivant :

41

42 avec (J, K) ∈ {(L, F), (F, L)} et z ^L = 10 %, z ^F = 67 %.

43 L’hypothèse de continuité de (z ^F, z ^L) → E(Y _i (j)|Z^F _i = z ^F, Z^L _i = z ^L) n’est pas directement testable [8], mais elle signifie que les élèves proches de collèges situés juste au-dessous et juste au-dessus des seuils sont très similaires. Il est donc possible, a minima, de comparer les quantités :

44

45 et

46

47 pour différentes valeurs h ₁₀ proches de zéro. Autrement dit, il est possible de comparer les valeurs moyennes de certaines caractéristiques observables X entre les élèves dont le collège le plus proche est situé juste au-dessous et les élèves dont le collège le plus proche est situé juste au-dessus du seuil. Pour des variables X peu corrélées à Z^L, on s’attend à ce que ces quantités soient proches si les élèves sont vraiment similaires au-dessus et au-dessous du seuil. De la même manière, il est possible de comparer les moyennes de part et d’autre du seuil de 67 %, pour différentes valeurs de h ₆₇ autour du seuil. Ces comparaisons de moyennes sont reportées dans les trois dernières colonnes des tableaux 1 et 2 : les élèves de part et d’autre du seuil de 10 % sont effectivement comparables du point de vue des caractéristiques sociodémographiques observables dans les données, sauf pour les élèves issus de catégories socioprofessionnelles défavorisées pour h ₁₀ = 1,5 % (cf. tableau 1). Ces résultats sont donc encourageants quant à la validité de notre stratégie. À l’inverse, la comparaison des moyennes des élèves traités et des élèves non traités fait apparaître, dans les quatre premières colonnes du tableau 1, que, même au voisinage du seuil, les élèves effectivement scolarisés en rar et hors rar sont significativement différents. Le fait que des différences significatives existent, y compris au voisinage du seuil, laisse penser que, même pour des établissements similaires du point de vue des critères d’éligibilité, les établissements sélectionnés en rar diffèrent des établissements non sélectionnés. Ces différences peuvent également s’expliquer par l’influence de la labellisation rar ou non-rar des collèges sur les stratégies de scolarisation des élèves. Les mêmes comparaisons sur la discontinuité d ₆₇ conduisent à des résultats similaires (cf. tableau 2).

Tableau 1

Comparaison des caractéristiques observables – Discontinuité d ₁₀

Comparaisons de moyennes entre élèves… …rar et non-rar …de part et d’autre de d10 Total h10 = 1 h10 = 1,5 h10 = 2 h10 = 1 h10 = 1,5 h10 = 2 Garçon – 0,01*** – 0,02 – 0,02 – 0,02 0,03 0,01 – 0,05 (0,00) (0,02) (0,02) (0,01) (0,03) (0,05) (0,05) Issu de pcs défavorisées 0,39*** 0,25*** 0,31*** 0,30*** – 0,06 – 0,24*** 0,08 (0,01) (0,05) (0,04) (0,03) (0,11) (0,07) (0,09) Boursier en sixième 0,47*** 0,34*** 0,37*** 0,39*** 0,18 – 0,11 – 0,09 (0,01) (0,04) (0,03) (0,03) (0,10) (0,21) (0,12) N 1 098 636 2 846 4 418 6 557 2 846 4 418 6 557 N cluster 9 931 32 46 66 32 46 66

Comparaison des caractéristiques observables – Discontinuité d ₁₀

Lecture : En moyenne, les élèves scolarisés en rar en sixième sont plus souvent boursiers (entre 34 et 47 points de pourcentage de plus) que les élèves non-rar. Cette différence est significative au seuil de 1 %, quelle que soit la taille de la fenêtre. Significativité : * : p < 0,1, ** : p < 0,05, *** : p < 0,01. Les écarts types entre parenthèses sont corrigés pour la corrélation des résidus à l’intérieur du collège le plus proche. Les comparaisons sont estimées sur différents sous-échantillons d’élèves inclus dans des fenêtres de taille h ₁₀ autour du seuil.
Champ : Entrants en sixième en 2006 et en 2007 dans un collège public ou privé de France métropolitaine.

Tableau 2

Comparaison des caractéristiques observables – Discontinuité d ₆₇

Comparaisons de moyennes entre élèves… …rar et non-rar …de part et d’autre de d67 Total h67 = 1 h67 = 2 h67 = 3 h67 = 1 h67 = 2 h67 = 3 Garçon – 0,01*** – 0,05 – 0,03 – 0,03 – 0,06 – 0,02 – 0,04 (0,00) (0,04) (0,03) (0,02) (0,06) (0,05) (0,04) Âge d’entrée en sixième 0,21*** 0,14*** 0,17*** 0,20*** 0,06 0,02 – 0,06 (0,00) (0,04) (0,03) (0,02) (0,09) (0,08) (0,07) Boursier en sixième 0,47*** 0,33*** 0,40*** 0,40*** 0,18 – 0,04 – 0,13 (0,01) (0,08) (0,06) (0,04) (0,10) (0,11) (0,09) N 1 098 636 1 481 2 548 3 895 1 481 2 548 3 895 N cluster 9 931 18 30 38 18 30 38

Comparaison des caractéristiques observables – Discontinuité d ₆₇

Lecture : En moyenne, les élèves scolarisés en rar en sixième sont âgés de 1 mois et demi à 2 mois et demi (de 0,14 à 0,21 an) de plus à l’entrée en sixième que les élèves non-rar. Cette différence est significative au seuil de 1 %, quelle que soit la taille de la fenêtre. Significativité : * : p < 0,1, ** : p < 0,05, *** : p < 0,01. Les écarts types entre parenthèses sont corrigés pour la corrélation des résidus à l’intérieur du collège le plus proche. Les comparaisons sont estimées sur différents sous-échantillons d’élèves inclus dans des fenêtres de taille h ₆₇ autour du seuil.
Champ : Entrants en sixième en 2006 et en 2007 dans un collège public ou privé de France métropolitaine.

L’estimateur retenu

48 Nous estimons donc le modèle en deux étapes suivant, avec h ₁₀ et h ₆₇ des fenêtres autour des seuils.

49 Pour les observations telles que Z^L _i ∈ [10 % – h ₁₀, 10 % + h ₁₀] et 67 % ≤ Z^F _i ≤ 80 % [9] :

50

51 où T _i = 1{RAR_i = 1} est endogène et instrumenté par l’indicatrice 1{Z^L _i ≥ 10 %} :

52

53 De la même manière, pour les observations telles que Z^F _i ∈ [67 % – h ₆₇, 67 % + h ₆₇] et Z^L _i ≥ 10 % :

54

55 où T _i est instrumenté par 1{Z^F _i ≥ 67 %} :

56

57 La variable :

58

59 est ajoutée en première et en deuxième étape simplement afin que la pente de la régression linéaire sur Z soit différente de part et d’autre du seuil. Cela permet de limiter le biais asymptotique des estimateurs non paramétriques (Imbens et Lemieux [2007]) et d’assurer la validité des tests usuels.

60 Notre stratégie d’estimation revient à instrumenter la probabilité individuelle d’être scolarisé dans un collège rar en sixième par le fait que le collège le plus proche soit au-dessus du seuil d’éligibilité au programme rar. L’estimation peut être séparée en deux étapes. Dans une première étape, nous régressons la variable dichotomique de scolarisation en rar sur la variable dichotomique indiquant si le collège le plus proche est au-dessous ou au-dessus du seuil. Puis nous reportons la probabilité ainsi estimée dans l’équation d’intérêt. Pour une fenêtre suffisamment petite autour du seuil, les élèves juste au-dessous et juste au-dessus du seuil sont comparables et l’instrumentation permet de prendre en compte l’endogénéité du traitement. Nous estimons de cette manière l’effet causal de la scolarisation en rar sur la réussite scolaire (pour la population des compliers, c’est-à-dire les élèves traités de façon exogène).

61 L’effet du programme ainsi estimé est un effet (local) moyen puisqu’il ne vaut que pour les élèves scolarisés dans des collèges situés de part et d’autre du seuil, dans la taille de fenêtre retenue. Dans un deuxième temps, nous considérons que l’effet du traitement pourrait être différent pour différentes sous-populations de l’échantillon. Pour cela, nous considérons un modèle où la variable de traitement est croisée avec certaines caractéristiques des élèves. Soit X _i la variable dichotomique qui vaut 1 si l’élève i est entré en sixième en 2007 et 0 sinon (on considérera alternativement le sexe de l’élève, son statut boursier et son origine sociale). L’équation de deuxième étape devient :

62

63 où T _i .(1 – X _i ) et T _i .X _i sont instrumentés en première étape par 1{Z^J _i ≥ s ^J}.(1 – X _i ) et 1{Z^J _i ≥ s ^J}.X _i . Les paramètres d’intérêt sont β₁ et β₂, qui représentent respectivement l’effet d’être scolarisé dans un collège rar pour les compliers tels que X _i = 0 et pour les compliers tels que X _i = 1. Par ailleurs, le test d’égalité H₀ : β₁ = β₂ indique si l’effet de la scolarisation en rar diffère ou non pour ces deux sous-populations.

Résultats des estimations

64 Pour analyser l’effet du programme rar sur les résultats scolaires individuels, nous utilisons les résultats des élèves observés à la fin du collège. Dans un premier temps, nous estimons l’effet de la scolarisation en rar sur la probabilité d’être admis ou non au brevet des collèges. Cette analyse est complétée par des estimations portant sur les notes : la note globale aux épreuves de l’examen final, les notes en français et en mathématiques à l’examen final, la moyenne au contrôle continu et la moyenne générale obtenue par combinaison de ces différentes notes. Dans un deuxième temps, nous nous intéressons à l’effet de la scolarisation en rar sur les parcours scolaires à travers la situation des élèves cinq ans après l’entrée en sixième. Nous distinguons alors trois situations : la scolarisation en seconde générale et technologique, la scolarisation en second cycle professionnel et le maintien en premier cycle (ce qui signifie que l’élève a connu un redoublement au collège).

65 Les estimations de première étape, systématiquement reportées dans les tableaux de présentation des estimations, confirment la validité de notre stratégie d’identification. Pour chaque taille de fenêtre h ₁₀ autour du seuil, le fait d’être scolarisé à la fin du primaire dans une école proche d’un collège situé au-dessus du seuil de 10 % d’élèves en retard augmente significativement la probabilité individuelle d’être scolarisé en rar en sixième de 35 à 68 points de pourcentage selon la taille de fenêtre retenue. Ce résultat se retrouve pour chaque taille de fenêtre h ₆₇ autour du seuil de 67 % d’élèves issus de csp défavorisées : la probabilité individuelle d’être scolarisé en rar en sixième augmente alors significativement de 41 à 65 points de pourcentage selon la taille de la fenêtre. Ces chiffres représentent la proportion d’élèves affectés de manière exogène au traitement dans nos échantillons. C’est sur ces élèves que nous évaluons l’effet du traitement. Les statistiques de Fisher associées à ces régressions de première étape sont toujours largement supérieures à 10, valeur habituellement retenue pour justifier l’usage de variables instrumentales par rapport à une régression par moindres carrés ordinaires.

66 À titre de comparaison, nous présentons également les résultats des estimations par les mco sur les mêmes échantillons que ceux mobilisés pour nos estimations par régression sur discontinuité. Cette comparaison permet de mieux quantifier le biais lié au ciblage des établissements et aux stratégies de scolarisation des élèves.

Effet de la scolarisation en rar sur les chances de réussite au brevet des collèges

67 Les taux d’obtention du brevet des collèges sont plus faibles en rar que dans les autres collèges. Cette différence de résultat persiste lorsque l’on se concentre sur les élèves qui fréquentaient une école proche d’un collège à la limite des seuils. La probabilité d’obtenir le diplôme du brevet est plus faible de 10 à 16 points de pourcentage pour ces élèves (estimations mco des tableaux 3 et 4). Mais cette différence peut résulter de biais de sélection : les établissements classés en rar (même parmi les collèges proches des seuils) ne sont pas directement comparables aux établissements non-rar, tout comme les élèves fréquentant les deux types de collèges. C’est pourquoi il importe d’estimer ces écarts de réussite uniquement pour les élèves de nos échantillons scolarisés en rar de manière exogène (estimations rdd des tableaux 3 et 4).

Tableau 3

Estimation de l’effet de la scolarisation en rar en sixième sur l’admission au brevet – Discontinuité d ₁₀

mco rdd (2mc) h10 = 1 h10 = 1,5 h10 = 2 h10 = 1 h10 = 1,5 h10 = 2 Deuxième étape Y = Admis T = rar en sixième – 0,12*** – 0,15*** – 0,15*** 0,01 0,05 0,23 (0,03) (0,03) (0,02) (0,07) (0,28) (0,34) Y = Admis avec mention T = rar en sixième – 0,21*** – 0,21*** – 0,21*** – 0,07 – 0,48 0,08 (0,04) (0,03) (0,02) (0,08) (0,62) (0,29) N 2 691 4 197 6 247 2 691 4 197 6 247 N cluster 295 460 660 295 460 660 Première étape 1{ZL ≥ 10 %} 0,68*** 0,38*** 0,36*** (0,02) (0,05) (0,04) F-stat 835 57 74

Estimation de l’effet de la scolarisation en rar en sixième sur l’admission au brevet – Discontinuité d ₁₀

Lecture : En moyenne, les élèves scolarisés en rar en sixième (et qui sont à proximité d’un collège proche du seuil de 10 %) ont une probabilité 12 à 15 points de pourcentage plus faible que les élèves non-rar d’être admis au brevet des collèges. Ces différences sont significatives au seuil de 1 %. Les élèves scolarisés en rar de façon exogène du fait que leur collège le plus proche est juste au-dessus du seuil ont une probabilité entre 1 et 23 points de pourcentage plus élevée d’être admis au brevet des collèges que les élèves non scolarisés en rar de façon exogène. Ces différences ne sont pas significatives. Significativité : * : p < 0,1, ** : p < 0,05, *** : p < 0,01. Les écarts types entre parenthèses sont corrigés pour la corrélation des résidus à l’intérieur du collège fréquenté. Les coefficients sont estimés pour différents sous-échantillons d’élèves inclus dans des fenêtres de taille h ₁₀ autour du seuil.
Champ : Entrants en sixième en 2006 et en 2007 dans un collège public ou privé de France métropolitaine.

Tableau 4

Estimation de l’effet de la scolarisation en rar en sixième sur l’admission au brevet – Discontinuité d ₆₇

mco rdd (2mc) h67 = 1 h67 = 2 h67 = 3 h67 = 1 h67 = 2 h67 = 3 Deuxième étape Y = Admis T = rar en sixième – 0,10*** – 0,16*** – 0,15*** – 0,07 0,01 0,21 (0,03) (0,03) (0,02) (0,13) (0,15) (0,18) Y = Admis avec mention T = rar en sixième – 0,18*** – 0,25*** – 0,22*** – 0,13 0,03 0,21 (0,04) (0,04) (0,03) (0,18) (0,23) (0,24) N 1 402 2 441 3 679 1 402 2 441 3 679 N cluster 207 324 436 207 324 436 Première étape 1{ZF ≥ 67 %} 0,65*** 0,43*** 0,45*** (0,04) (0,03) (0,03) F-stat 267 194 229

Estimation de l’effet de la scolarisation en rar en sixième sur l’admission au brevet – Discontinuité d ₆₇

Lecture : En moyenne, les élèves scolarisés en rar en sixième (et qui sont à proximité d’un collège proche du seuil de 67 %) ont une probabilité 10 à 16 points de pourcentage plus faible que les élèves non-rar d’être admis au brevet des collèges. Ces différences sont significatives au seuil de 1 %. Les élèves scolarisés en rar de façon exogène du fait que leur collège le plus proche est juste au-dessus du seuil ont une probabilité entre 7 points de pourcentage plus faible et 21 points de pourcentage plus élevée d’être admis au brevet des collèges que les élèves non scolarisés en rar de façon exogène. Ces différences ne sont pas significatives. Significativité : * : p < 0,1, ** : p < 0,05, *** : p < 0,01. Les écarts types entre parenthèses sont corrigés pour la corrélation des résidus à l’intérieur du collège fréquenté. Les coefficients sont estimés pour différents sous-échantillons d’élèves inclus dans des fenêtres de taille h ₆₇ autour du seuil.
Champ : Entrants en sixième en 2006 et en 2007 dans un collège public ou privé de France métropolitaine.

68 Ces estimations par régression sur discontinuité indiquent que les effets moyens du traitement sur cette population sont nettement plus faibles que les estimations par mco. Lorsque le signe des estimateurs est négatif, la valeur absolue de l’estimation est bien plus proche de zéro que la valeur de l’estimateur naïf obtenu par mco sur l’échantillon correspondant. Dans certains cas, le signe de l’estimation s’inverse même et est positif. Surtout, dans tous les cas, les estimations ne diffèrent pas significativement de zéro, ce qui montre qu’aucun effet significatif du traitement n’est détecté sur la sous-population des élèves scolarisés de manière exogène en rar. La différence avec les estimations obtenues par mco provient de la sélection endogène d’une partie de l’échantillon et peut être liée au fait que les élèves qui n’ont jamais été scolarisés en rar ont en moyenne de meilleurs résultats scolaires que les élèves affectés de manière exogène au traitement.

69 Les résultats sont les mêmes pour l’obtention du brevet avec mention. Les élèves scolarisés en rar obtiennent significativement moins fréquemment le brevet avec mention que les autres, y compris lorsque l’on se restreint aux élèves dont la dernière école primaire était située à proximité d’un collège proche des seuils. Mais cet écart se réduit, voire s’inverse et devient toujours non significatif lorsque seuls les élèves affectés de manière exogène sont pris en compte.

70 Cette analyse peut être complétée par la prise en compte des notes obtenues à l’examen final. En effet, l’obtention du brevet des collèges résulte de deux types d’épreuves bien différentes. D’une part, les notes obtenues au contrôle continu tout au long de l’année en classe de troisième comptent pour 60 % de la note finale ; les 40 % restants proviennent d’un examen écrit qui porte sur trois matières : le français, les mathématiques et l’histoire-géographie (y compris l’éducation civique). Les notes de contrôle continu dépendent de la pratique de notation dans l’établissement. Elles sont donc susceptibles d’être influencées par le fait que le collège soit ou non classé en rar, et ce d’autant plus que les études sur la notation montrent que la manière de noter n’est pas indépendante du niveau moyen de la classe : plus celui-ci est faible, plus les élèves sont surnotés (Murat [1998]). Si l’on cherche à analyser l’effet du dispositif sur les compétences acquises (et non seulement sur l’obtention du brevet), il apparaît donc pertinent d’étudier les résultats des élèves à partir des notes aux épreuves terminales qui ont l’avantage de ne pas être affectées par les pratiques de notation internes à l’établissement. L’analyse des notes obtenues en français et en mathématiques conduit à des conclusions similaires (cf. annexe II, tableau A1). On n’observe pas, de part et d’autre des seuils retenus pour chaque discontinuité, de différence significative entre élèves scolarisés en rar et hors rar de façon exogène, alors qu’au contraire une estimation par mco fait toujours apparaître une moindre réussite au détriment des élèves de rar.

Effet de la scolarisation en rar sur les trajectoires scolaires

71 Le développement de l’ambition scolaire et professionnelle des élèves constitue un objectif explicitement affiché du dispositif rar. Il s’agit d’éviter les choix d’orientation contraints par un manque d’information des élèves et des familles. Dans cette perspective, il apparaît opportun de ne pas seulement analyser les effets du traitement sur les performances scolaires, telles qu’elles peuvent être appréhendées à travers les résultats au brevet des collèges, mais aussi sur l’orientation en fin de troisième. À l’issue de cette classe, les élèves scolarisés en rar bénéficient-ils d’une orientation identique ou meilleure par rapport à celle que connaissent les autres collégiens ?

72 En moyenne, les élèves scolarisés en rar en sixième sont plus souvent orientés vers le second cycle professionnel et moins souvent en second cycle général et technologique que les autres collégiens. Cependant, ces différences s’expliquent essentiellement par un effet de sélection des élèves fréquentant les établissements rar et non-rar, puisque les estimations par régression sur discontinuité ne mettent pas en évidence un effet significatif du traitement sur les élèves alloués de manière exogène au traitement (cf. tableaux 5 et 6).

Tableau 5

Estimation de l’effet de la scolarisation en rar en sixième sur la situation scolaire cinq ans plus tard – Discontinuité d ₁₀

mco rdd (2mc) h10 = 1 h10 = 1,5 h10 = 2 h10 = 1 h10 = 1,5 h10 = 2 Deuxième étape Y = Second cycle général T = rar en sixième – 0,17*** – 0,19*** – 0,18*** – 0,01 0,42 – 0,08 (0,03) (0,02) (0,02) (0,09) (0,53) (0,21) Y = Second cycle pro T = rar en sixième 0,13*** 0,16*** 0,16*** – 0,19 – 0,69 – 0,49 (0,03) (0,02) (0,02) (0,10) (0,63) (0,50) Y = Retard (premier cycle) T = rar en sixième 0,04 0,03 0,01 0,18*** 0,46 0,46 (0,03) (0,02) (0,02) (0,06) (0,37) (0,37) N 2 713 4 193 6 159 2 713 4 193 6 159 N cluster 301 461 656 301 461 656 Première étape 1{ZL ≥ 10 %} 0,68*** 0,35*** 0,37*** (0,02) (0,05) (0,04) F-stat 849 45 76

Estimation de l’effet de la scolarisation en rar en sixième sur la situation scolaire cinq ans plus tard – Discontinuité d ₁₀

Lecture : En moyenne, les élèves scolarisés en rar en sixième (et qui sont à proximité d’un collège proche du seuil de 10 %) ont une probabilité 17 à 19 points de pourcentage plus faible que les élèves non-rar d’être scolarisés en seconde générale et technologique cinq ans après leur entrée en sixième. Ces différences sont significatives au seuil de 1 %. Les élèves scolarisés en rar de façon exogène du fait que leur collège le plus proche est juste au-dessus du seuil ont une probabilité entre 1 point de pourcentage plus faible et 42 points de pourcentage plus élevée que les élèves non scolarisés en rar de façon exogène d’être scolarisés en seconde générale et technologique cinq ans après leur entrée en sixième. Ces différences ne sont pas significatives. Significativité : * : p < 0,1, ** : p < 0,05, *** : p < 0,01. Les écarts types entre parenthèses sont corrigés pour la corrélation des résidus à l’intérieur du collège fréquenté. Les coefficients sont estimés pour différents sous-échantillons d’élèves inclus dans des fenêtres de taille h ₁₀ autour du seuil.
Champ : Entrants en sixième en 2006 et en 2007 dans un collège public ou privé de France métropolitaine.

Tableau 6

Estimation de l’effet de la scolarisation en rar en sixième sur la situation scolaire cinq ans plus tard – Discontinuité d ₆₇

mco rdd (2mc) h67 = 1 h67 = 2 h67 = 3 h67 = 1 h67 = 2 h67 = 3 Deuxième étape Y = Second cycle général T = rar en sixième – 0,12*** – 0,18*** – 0,18*** 0,03 0,16 0,24 (0,06) (0,05) (0,03) (0,16) (0,23) (0,22) Y = Second cycle pro T = rar en sixième 0,15*** 0,17*** 0,18*** 0,11 0,05 – 0,01 (0,03) (0,03) (0,03) (0,09) (0,14) (0,13) Y = Retard (premier cycle) T = rar en sixième – 0,01 0,01 0,00 – 0,11 – 0,26 – 0,21 (0,05) (0,05) (0,03) (0,11) (0,18) (0,13) N 1 386 2 381 3 653 1 386 2 381 3 653 N cluster 206 320 431 206 320 431 Première étape 1{ZF ≥ 67 %} 0,63*** 0,41*** 0,46*** (0,04) (0,03) (0,03) F-stat 228 162 224

Estimation de l’effet de la scolarisation en rar en sixième sur la situation scolaire cinq ans plus tard – Discontinuité d ₆₇

Lecture : En moyenne, les élèves scolarisés en rar en sixième (et qui sont à proximité d’un collège proche du seuil de 67 %) ont une probabilité 12 à 18 points de pourcentage plus faible que les élèves non-rar d’être scolarisés en seconde générale et technologique cinq ans après leur entrée en sixième. Ces différences sont significatives au seuil de 1 %. Les élèves scolarisés en rar de façon exogène du fait que leur collège le plus proche est juste au-dessus du seuil ont une probabilité entre 3 et 24 points de pourcentage plus élevée que les élèves non scolarisés en rar de façon exogène d’être scolarisés en seconde générale et technologique cinq ans après leur entrée en sixième. Ces différences ne sont pas significatives. Significativité : * : p < 0,1, ** : p < 0,05, *** : p < 0,01. Les écarts types entre parenthèses sont corrigés pour la corrélation des résidus à l’intérieur du collège fréquenté. Les coefficients sont estimés pour différents sous-échantillons d’élèves inclus dans des fenêtres de taille h ₆₇ autour du seuil.
Champ : Entrants en sixième en 2006 et en 2007 dans un collège public ou privé de France métropolitaine.

73 La probabilité de redoubler une classe au cours du collège et d’être donc encore en premier cycle cinq ans après l’entrée en sixième est sensiblement la même dans les établissements rar et non-rar. En revanche, les élèves affectés de manière exogène au traitement rar, du fait que leur collège le plus proche est juste au-dessus du seuil de 10 % d’élèves en retard, redoublent significativement plus que les autres quand on retient le plus petit échantillon (cf. tableau 5). Ce résultat n’est pas robuste à une définition un peu plus large de l’échantillon. Néanmoins, lorsque l’on augmente la taille de la fenêtre, le biais de l’estimateur augmente. Aussi, lorsque les résultats mis en évidence ne sont pas robustes à l’augmentation de la taille de la fenêtre, on préférera privilégier ceux mis en évidence sur la plus petite fenêtre. Ce résultat ne peut pas être mis en évidence sur la population des élèves à proximité de collèges proches du seuil de 67 % d’élèves issus de pcs défavorisées.

Des effets hétérogènes du traitement ?

74 Que l’on prenne en compte les performances scolaires ou l’orientation en fin de troisième, la fréquentation d’un collège rar ne semble donc pas associée à des différences de réussite significatives, dès lors que les estimations portent sur des élèves alloués de manière exogène au traitement. Si des effets moyens significatifs du traitement ne peuvent être mis en évidence sur la population des compliers, il peut néanmoins exister des effets hétérogènes selon les caractéristiques de ceux-ci. Par exemple, le dispositif pourrait très bien avoir une certaine efficacité pour une catégorie d’élèves et avoir des effets plutôt négatifs pour d’autres élèves, conduisant à une estimation de l’effet moyen sur la population des compliers proche de zéro.

75 Dans cette perspective, il apparaît intéressant de ne plus prendre en compte l’ensemble des compliers mais de distinguer parmi eux les élèves selon leurs caractéristiques observables dans les données : leur année d’entrée en sixième, leur sexe, le fait qu’ils soient ou non boursiers en sixième ou le fait que leurs parents appartiennent ou non à une catégorie socioprofessionnelle défavorisée.

76 Pour la population des élèves affectés de manière exogène au traitement à cause de la discontinuité autour du seuil de 67 % de catégories socioprofessionnelles défavorisées, aucun effet significatif n’est détecté sur les sous-populations considérées.

77 Lorsque les élèves sont affectés de manière exogène au traitement à cause de la discontinuité autour du seuil de 10 % d’élèves en retard, l’effet du traitement varie, en revanche, selon les sous-populations traitées. Ainsi, si nous ne détectons pas d’effets significatifs du traitement parmi les élèves les moins favorisés socialement, il semble exister des effets négatifs du traitement pour les élèves les plus favorisés : les collégiens originaires de ces milieux sociaux obtiennent moins souvent le brevet (cf. tableau 7, col. A), et, en particulier, réussissent moins bien aux épreuves terminales de français (cf. tableau 7, col. B). Ils sont également moins souvent scolarisés en second cycle général et technologique après le collège (cf. tableau 7, col. C). Les filles et les garçons sont également affectés différemment par le traitement puisque les filles voient leur probabilité d’obtenir le diplôme du brevet augmenter alors que les garçons la voient diminuer du fait du traitement (cf. tableau 7, col. A). En revanche, l’effet moyen détecté sur l’augmentation du risque de retard scolaire dans le tableau 5 se retrouve quelle que soit la sous-population observée (cf. tableau 7, col. D). Ces résultats ne peuvent pas être mis en évidence lorsque la taille de la fenêtre augmente (cf. annexe II, tableau A2). Mais, comme nous l’avons expliqué précédemment, nous privilégions les résultats mis en évidence sur la plus petite fenêtre.

Tableau 7

Estimation pour différentes sous-populations de l’effet de la scolarisation en rar en sixième sur…

A : …l’admission au brevet B : …la note en français à l’examen terminal du brevet C : …la scolarisation en second cycle général D : …le redoublement au collège mco rdd d10 rdd d67 mco rdd d10 rdd d67 mco rdd d10 rdd d67 mco rdd d10 rdd d67 X = Sexe (Réf. : fille) X = 0 – 0,16*** 0,18** – 0,03 – 1,35*** 0,70 – 1,45 – 0,20*** 0,06 0,06 0,02*** 0,11 – 0,06 (0,01) (0,08) (0,13) (0,05) (0,58) (1,14) (0,01) (0,11) (0,17) (0,00) (0,06) (0,12) X = 1 – 0,21*** – 0,18** – 0,14 – 1,41*** – 2,35*** – 0,98 – 0,19*** – 0,09 – 0,01 0,01 0,25*** – 0,16 (0,01) (0,08) (0,16) (0,05) (0,74) (1,28) (0,01) (0,11) (0,22) (0,01) (0,08) (0,15) Test égalité (p-value) 0,000 0,000 0,436 0,198 0,002 0,702 0,782 0,337 0,743 0,139 0,103 0,485 N 1 060 069 2 691 1 402 1 051 974 2 657 1 380 1 027 815 2 713 1 386 1 027 815 2 713 1 386 N cluster 13 387 295 207 13 382 293 205 13 396 301 206 13 396 301 206 X = Boursier en sixième (Réf. : non) X = 0 – 0,14*** – 0,07 – 0,18 – 1,10*** – 3,09*** – 1,58 – 0,16*** – 0,19 – 0,10 0,01** 0,26*** – 0,08 (0,01) (0,12) (0,15) (0,06) (1,05) (1,37) (0,01) (0,21) (0,21) (0,01) (0,10) (0,16) X = 1 – 0,09*** 0,07 0,13 – 0,36*** 0,68 0,57 – 0,02*** 0,10 0,34 – 0,04*** 0,14** – 0,19 (0,01) (0,06) (0,12) (0,05) (0,41) (1,10) (0,01) (0,09) (0,22) (0,00) (0,07) (0,14) Test égalité (p-value) 0,000 0,295 0,067 0,000 0,003 0,132 0,000 0,301 0,197 0,000 0,283 0,566 N 1 060 069 2 691 1 402 1 051 974 2 657 1 380 1 027 815 2 713 1 386 1 027 815 2 713 1 386 N cluster 13 387 295 207 13 382 293 205 13 396 301 206 13 396 301 206 X = csp défavorisée (Réf. : non) X = 0 – 0,15*** – 0,24** – 0,10 – 1,16*** – 3,19*** – 1,36 – 0,18*** – 0,26** – 0,07 0,02*** 0,24*** 0,02 (0,01) (0,10) (0,16) (0,07) (0,85) (1,42) (0,01) (0,10) (0,28) (0,01) (0,09) (0,22) X = 1 – 0,13*** 0,08 0,02 – 0,62*** 0,10 0,24 – 0,05*** 0,01 0,25 – 0,02*** 0,17*** – 0,23 (0,01) (0,06) (0,10) (0,05) (0,37) (0,79) (0,01) (0,07) (0,18) (0,00) (0,06) (0,14) Test égalité (p-value) 0,003 0,003 0,503 0,000 0,000 0,291 0,000 0,009 0,357 0,000 0,414 0,345 N 1 035 063 2 604 1 360 1 027 371 2 572 1 338 1 002 986 2 620 1 344 1 002 986 2 620 1 344 N cluster 13 376 289 206 13 372 287 204 13 385 293 205 13 385 293 205

Estimation pour différentes sous-populations de l’effet de la scolarisation en rar en sixième sur…

Lecture : Les filles scolarisées en rar en sixième de façon exogène du fait que leur collège le plus proche est juste au-dessus du seuil de 10 % ont une probabilité de 18 points de pourcentage plus élevée d’être admises au brevet que les filles non scolarisées en rar de façon exogène. Cette différence est significative au seuil de 5 %. Les garçons scolarisés en rar en sixième de façon exogène du fait que leur collège le plus proche est juste au-dessus du seuil de 10 % ont une probabilité 18 points de pourcentage plus faible d’être admis au brevet que les garçons non scolarisés en rar de façon exogène. Cette différence est significative au seuil de 5 %. Ces deux coefficients sont significativement différents entre eux. Significativité : * : p < 0,1, ** : p < 0,05, *** : p < 0,01. Les écarts types entre parenthèses sont corrigés pour la corrélation des résidus à l’intérieur du collège fréquenté. Les doubles moindres carrés sont estimés pour des tailles h ₁₀ = 1 et h ₆₇ = 1 de fenêtre autour des seuils.
Champ : Entrants en sixième en 2006 et en 2007 dans un collège public ou privé de France métropolitaine.

78 À partir de la rentrée 2007, les règles de la sectorisation ont été modifiées par l’assouplissement de la carte scolaire. L’objectif était de donner plus de libertés aux familles dans le choix de l’école ou du collège et de favoriser la mixité sociale et géographique dans les établissements. Les demandes de dérogation à l’entrée en sixième devaient alors être facilitées. Les élèves entrant en sixième à la rentrée 2006 ont donc été soumis aux règles prévalant avant l’assouplissement de la carte scolaire alors que les entrants en sixième en 2007 ont connu un régime plus souple concernant la sectorisation. Cette modification du contexte institutionnel pose deux questions distinctes.

79 D’abord, est-ce que l’assouplissement de la carte scolaire peut constituer un facteur confondant ? En d’autres termes, est-ce que nous prêtons au dispositif rar des effets qui seraient dus en réalité à la modification du contexte institutionnel ? Plusieurs études ont en effet montré que l’augmentation du nombre de demandes de dérogation a conduit à une diminution des effectifs dans les collèges rar (Fack et Grenet [2013] ; Thaurel-Richard et Murat [2013]). La réponse est non ; tant qu’il n’y a pas plus de demandes de dérogation au-dessus ou au-dessous des seuils en l’absence du dispositif rar (cf. annexe I), l’assouplissement de la carte scolaire ne constitue pas un facteur confondant pour notre analyse.

80 En revanche, puisque les élèves n’ont pas été soumis aux mêmes règles en 2006 et en 2007, le dispositif rar a pu avoir un impact différent sur ces deux cohortes. Il est donc pertinent de tester l’existence d’effets différenciés de la scolarisation en rar sur ces deux sous-populations d’élèves. Les résultats (cf. annexe II, tableau A2) montrent que les effets moyens estimés sur chacune des cohortes ne sont pas significativement différents. Cela signifie que les effets moyens de la scolarisation en rar sur la population des élèves affectés de manière exogène au traitement à cause des discontinuités n’ont pas été modifiés par l’assouplissement de la carte scolaire.

Discussion et conclusion

81 L’objectif de cette étude était d’identifier l’effet causal de la scolarisation en rar sur la réussite scolaire individuelle. Nous avons utilisé des données originales géolocalisées et un critère de proximité géographique pour mettre en place une stratégie d’estimation permettant de tenir compte à la fois de la sélection des établissements traités et de l’autosélection des élèves dans les établissements. Le fait d’habiter à proximité d’un collège situé au-dessus des seuils d’éligibilité au programme rar augmente de 35 à 68 points de pourcentage la probabilité individuelle d’être effectivement scolarisé en rar en sixième. En revanche, nous ne trouvons globalement pas d’effet de la scolarisation en rar sur les résultats et les trajectoires scolaires des élèves traités de façon exogène. Dans certains cas, cette absence d’effet moyen masque des effets différents sur certaines sous-populations : par exemple en ce qui concerne l’obtention du brevet, les filles, dans certains établissements, semblent bénéficier du programme à l’inverse des garçons et des élèves les plus favorisés socialement. Comme pour toutes les approches par régression sur discontinuité ou par variables instrumentales, ces résultats ne sont pas généralisables à l’ensemble des élèves sans hypothèses supplémentaires, dans la mesure où ils sont estimés sur les élèves qui sont scolarisés en rar en sixième de façon exogène.

82 Ces résultats viennent compléter la littérature existante sur l’évaluation des dispositifs d’éducation prioritaire en France. En effet, si la sélection endogène des établissements est parfois prise en compte dans la littérature, ce n’est pas le cas de l’autosélection des élèves dans ces établissements, alors même que certaines études mettent en évidence une modification de la population des élèves recrutés dans les établissements traités (Beffy et Davezies [2013] ; Fack et Grenet [2013]). Par ailleurs, l’étude menée par Davezies et Garrouste [2014] montre que le fait de résider à proximité d’un collège rar diminue la probabilité d’être scolarisé en sixième dans ce collège, au profit d’une scolarisation dans le privé, et ce d’autant plus que l’élève est socialement plus favorisé. Dès lors, les effets souvent décevants des politiques d’éducation prioritaire sur les acquis scolaires des élèves mesurés au niveau des établissements (Bénabou, Kramarz et Prost [2004], [2009] ; Beffy et Davezies [2013]) restent difficiles à interpréter : la politique éducative sur les élèves effectivement scolarisés en éducation prioritaire pourrait être efficace sur les acquis scolaires des élèves traités, mais une comparaison au niveau des collèges en fournirait une estimation défavorablement biaisée car reposant sur une comparaison d’élèves ayant fait des choix de scolarisation différents. La présente étude relativise fortement cette éventualité : même en tenant compte de l’autosélection des élèves dans les établissements, l’efficacité du programme ne peut pas être mise en évidence, sauf sur certaines sous-populations d’élèves.

83 Cette étude ne peut clore le débat. En effet, il est possible que la mise en place des projets pédagogiques, le recrutement et la prise de poste des nouveaux enseignants aient pris du temps et qu’en conséquence le dispositif n’ait pas montré ses effets sur les deux premières cohortes d’élèves considérés ici. Nous ne trouvons pas d’effet différencié entre la première et la deuxième cohorte d’élèves traités, mais nous n’excluons pas la possibilité que le programme ait pu avoir des effets significatifs sur les cohortes suivantes. Cependant, d’une part, il est pour l’instant trop tôt pour pouvoir estimer ces effets sur des cohortes plus récentes, d’autre part, plus les cohortes sont récentes, plus la part de familles ayant connu une mobilité résidentielle depuis la mise en place de la politique est importante. Or la mobilité résidentielle des familles est influencée par les caractéristiques observables des établissements scolaires (Fack et Grenet [2010]). Dans ce cas, les élèves scolarisés en cm2 dans une école à proximité d’un collège rar deviennent de plus en plus différents des élèves scolarisés dans des écoles à proximité d’un collège non-rar, ce qui remet en cause l’hypothèse identifiante sur laquelle repose notre stratégie d’estimation.