1Le Revenu de solidarité active (RSA), expérimenté dans 34 départements, fait l’objet d’un processus d’évaluation complexe, qui concerne une pluralité d’acteurs : conseils généraux, ministères, Haut Commissariat aux solidarités actives, organismes de Sécurité sociale et universitaires. Après une description du protocole mis en place, quatre membres du Comité national d’évaluation exposent leur point de vue sur les atouts et les limites de l’opération. Leurs propos contrastés témoignent de la diversité des regards portés sur une même évaluation en fonction de la position institutionnelle de celui qui s’exprime.

Présentation du dispositif et du protocole

2Le Revenu de solidarité active (RSA) est une allocation qui vise à la fois à remplacer des minima sociaux existants (comme le Revenu minimum d’insertion – RMI – et l’Allocation de parent isolé – Api) et à se substituer à des dispositifs d’incitation financière au retour à l’emploi (tels que les logiques d’intéressement liées à ces minima et la Prime pour l’emploi – PPE). Il est conçu comme un complément de revenu venant se combiner avec les ressources d’une personne titulaire d’une prestation de minima social, exerçant ou reprenant un emploi. Il poursuit plus précisément trois objectifs : améliorer les revenus des travailleurs pauvres ; inciter les bénéficiaires de minima sociaux à reprendre une activité professionnelle [1] ; parvenir, pour les bénéficiaires et leurs familles, à « rendre les revenus plus prévisibles, et le système de prestations plus lisible [2] ».

3Il est à préciser que le mécanisme de l’incitation financière existait avant la mise en place du RSA. En fait, dès 1988, l’article 10 de la loi relative au RMI instaure la possibilité pour un allocataire de cumuler les revenus du travail et ceux de la prestation : c’est ce que le législateur nomme le « système d’intéressement » [3]. Ce mécanisme a fait l’objet de nombreuses réformes. La loi de « retour à l’emploi » du 23 mars 2006 change notamment la donne. Auparavant, l’intéressement fonctionnait selon un mécanisme d’abattement sur les revenus déclarés (après une période de cumul de trois mois). Aujourd’hui, il obéit à la règle suivante : période de cumul de trois mois de l’allocation et des (faibles) revenus tirés de l’emploi, à laquelle est ajoutée une prime forfaitaire mensuelle [4], ne bénéficiant, toutefois, qu’aux seuls individus travaillant plus de 78 heures par mois. Parallèlement, une prime de 1 000 euros est attribuée au quatrième mois de la reprise d’emploi pour les bénéficiaires de minima ou pour les chômeurs de longue durée [5]. Ce système se révèle toutefois complexe à l’épreuve des faits et n’améliorerait pas significativement la situation des personnes les plus en difficulté, notamment celles qui reprennent un emploi à temps très partiel. Il procure par ailleurs un gain limité pour les autres, en raison des effets de seuil selon la durée travaillée, et ne prend pas en compte la perte des aides légales (couverture maladie universelle, exonération de la taxe d’habitation, etc.). Au final, ce système d’intéressement se révélerait peu lisible et faiblement incitatif. Le RSA, quant à lui, s’étale sur une durée continue et son montant financier est en adéquation avec l’objectif de lutte contre la pauvreté. D’une certaine manière, il constitue une forme de « méta-intéressement » visant à optimiser le système existant.

Entretiens avec des membres du Comité national d’évaluation du RSA

23- François Bourguignon, président du Comité national d’évaluation, directeur de l’École d’économie de Paris ;

24- Françoise Drouin, responsable du service « Insertion et logement social » de la direction de la solidarité départementale du conseil général de la Marne ;

25- Marie-Odile Simon, conseillère technique au cabinet du Haut Commissariat aux solidarités actives et contre la pauvreté, responsable de l’évaluation du RSA ;

26- Hélène Paris, directrice des statistiques, des études et de la recherche, Caisse nationale des allocations familiales.

27Les mêmes questions leur ont été successivement posées : qu’attendez-vous de l’évaluation du RSA ? Que pensez-vous apporter à cette évaluation ? En quoi est-elle innovante ? Enfin, quelles en sont les limites ?

28François Bourguignon – président du Comité national d’évaluation, directeur de l’École d’économie de Paris

29Informations sociales – Qu’attendez-vous de l’évaluation du RSA ?

30F. B. – Je m’interroge doublement à ce sujet : le RSA augmente-t-il, par rapport aux dispositifs actuellement en place, la probabilité d’une reprise d’emploi pour les publics concernés ? Quel est l’impact de cette prestation sur la pauvreté ? La démonstration devra être rigoureuse sur le plan statistique. En cela, la méthode qui permet de comparer les zones expérimentales à des zones témoins qui leur sont proches en termes de caractéristiques sociales, démographiques et économiques est indispensable.

31I. S. – Que pensez-vous apporter à cette évaluation ?

32F. B. – J’y apporte mon passé d’économiste. Ayant travaillé dans le domaine des transferts sociaux et des incitations à la reprise d’emploi, j’y apporte également mon expertise de ces programmes, ainsi que des méthodes d’expérimentation et d’évaluation. Par exemple, la question de la significativité statistique des résultats est un problème technique majeur. Les territoires expérimentaux sont très variables, ainsi que les expérimentations conduites par les départements (variabilité des barèmes, des conditions d’accès, de l’accompagnement). De nombreuses précautions méthodologiques doivent être prises pour déterminer si les différences observées entre zones expérimentales et zones témoins sont bien dues au programme testé et non pas à cette variabilité même.

33I. S. – En quoi cette évaluation est-elle innovante ?

34F. B. – Pour la première fois, en France, on cherche véritablement à déterminer rigoureusement les effets d’une politique publique par une méthode expérimentale. Trop souvent, la période dite d’expérimentation d’une nouvelle intervention est simplement une période pilote destinée à tester la gestion du programme, avant de le généraliser, plutôt que le résultat du programme. On ne s’intéresse alors qu’à la mise en œuvre du dispositif, sans chercher à comparer son efficacité par rapport à un autre (ou par rapport au statu quo). Les Nord-Américains sont plus coutumiers de ce type de méthode et sont susceptibles de modifier substantiellement un programme, ou même de l’abandonner, à l’issue d’une expérimentation.

35D’une certaine façon, c’est le problème que posent les dernières annonces politiques à propos de la généralisation du RSA dès 2009 : je crois qu’il aurait fallu se laisser plus de temps et la possibilité de modifier le dispositif s’il ne fait pas ses preuves, par exemple en jouant sur les barèmes. Cela étant, il y a clairement deux volets dans le RSA tel qu’il est projeté, qui ne requièrent pas la même méthode d’évaluation :

36– un volet de redistribution financière en direction des travailleurs pauvres, visant à les faire passer au-delà du seuil de pauvreté. Cette dimension ne demande pas d’expérimentation à proprement parler, mais la vérification que la population ciblée bénéficie bien du programme et un simple calcul de la redistribution ainsi produite ;

37– un volet d’incitation à la reprise d’emploi : celui-ci nécessite une évaluation car il postule un changement de comportement des individus.

38Quoi qu’il en soit, je pense que le principe de l’expérimentation des effets du RSA sur la reprise d’emploi est excellent et qu’il va contribuer à la diffusion de la culture de l’évaluation en France. Sous les conditions de prendre le temps et de ne pas se lier les mains en prévoyant trop rapidement une extension du programme, cette nouvelle façon de penser l’action publique est susceptible d’inspirer des réformes très fécondes. Ainsi, un appel d’offres lancé par le Haut Commissariat aux solidarités actives a permis de financer plusieurs dizaines de projets expérimentaux dans le secteur de l’insertion. Ces projets, qui seront moins sous les feux de l’actualité que le RSA, inciteront, je l’espère, à développer de nouvelles idées de réforme.

39I. S. – Quelles en sont les limites ?

40F. B. – Les limites sont de deux ordres. En premier lieu, l’idéal d’un dispositif expérimental dans le champ social est de tirer des individus au sort et de constituer ainsi deux groupes que l’on compare : un groupe d’expérimentation et un groupe de contrôle. Ici, ce sont des territoires, et non pas des individus, qui sont comparés. Le tirage des individus soumis à l’expérimentation ou servant de témoin ne sont donc pas indépendants les uns des autres, ce qui diminue énormément la puissance statistique de la comparaison. D’un autre côté, cette interdépendance des individus permet de diffuser plus rapidement l’information sur le dispositif, ce qui peut finalement se révéler un atout. Un autre problème tient au fait que ces territoires n’ont pas été choisis au hasard mais pour une série de raisons, dont certaines sont politiques et d’autres sont liées à un fonctionnement particulier du partenariat local. Nous parvenons toutefois à limiter l’effet de ce choix non aléatoire en sélectionnant, par zones témoins, des territoires équivalents. La difficulté résiduelle forte est le nombre limité de communes concernées, qui peut diminuer la puissance de la méthode et augmenter la marge d’incertitude.

41La seconde limite que nous rencontrons est le temps, insuffisant, dont nous disposons pour conduire l’expérimentation. Un horizon temporel plus long aurait permis de mieux tester les différentes options, notamment de voir si leurs effets étaient durables ou temporaires, et ainsi de maximiser l’impact du RSA.

42Dans les faits, il faut reconnaître que le cadre expérimental idéal est rare et que cette opération reste une belle occasion de modifier nos façons d’évaluer les politiques.

43Françoise Drouin – responsable du service Insertion et logement social de la direction de la solidarité départementale du conseil général de la Marne

44I. S. – Qu’attendez-vous de l’évaluation du RSA ?

45F. D. – Le conseil général, que je représente, attend des résultats simples et fiables sur le dispositif. Nous sommes très intéressés par l’analyse comparative, qui permettra de mesurer les effets des choix des départements. In fine, cette évaluation doit nous permettre de faire évoluer le système. Car c’était pour nous un objectif central : nous sommes particulièrement sensibles à la mesure de la simplification des dispositifs. Nous sommes également très vigilants sur les sorties. Le but est rendre les bénéficiaires autonomes : il est donc nécessaire qu’ils sortent des dispositifs !

46I. S. – Que pensez-vous apporter à cette évaluation ?

47F. D. – Le conseil général participe à toutes les phases de l’évaluation, de l’élaboration des outils à l’analyse. Je pense que nous y apportons notre expérience du terrain, car nous gérons depuis longtemps le RMI et voyons les cas concrets que pose l’insertion en général et le RSA en particulier.

48I. S. – En quoi cette évaluation est-elle innovante ?

49F. D. – L’apport essentiel de cette démarche est sa dimension très participative. Les rencontres avec l’ensemble des partenaires de l’insertion, ministères, Caf… et avec les autres conseils généraux sont très enrichissantes. L’association précoce des départements à la mise en œuvre me semble une garantie de réussite : nous aurions dû faire cela pour d’autres projets, comme le RMI ou la réforme des tutelles. Pour l’évaluation en particulier, ce format permet une saine alternance entre la théorie et la pratique.

50I. S. – Quelles en sont les limites ?

51F. D. – Je formulerai un bémol et un risque possible. Le bémol est le peu de temps dont nous disposons avant la généralisation, qui est susceptible de nous empêcher de bien mesurer certains effets pervers que nous voyons déjà apparaître, comme :

• le fait de « devoir » passer par le RSA pour avoir un emploi : certaines personnes n’ont pas besoin de soutien pour s’insérer ;
• le risque de soutenir artificiellement les revenus : le RSA ne doit pas se substituer au salaire ;
• les questions liées au statut du RSA : va-t-il être aussi stigmatisant que le RMI ? Qu’allons-nous faire des droits connexes ?

52Marie-Odile Simon – conseillère technique au cabinet du Haut Commissariat aux solidarités, responsable de l’évaluation du RSA

53I. S. – Qu’attendez-vous de l’évaluation du RSA ?

54M.-O. S. – Le fait que la loi généralisant le RSA soit étudiée par le Parlement à la lumière d’un rapport du Comité national d’évaluation certifie que les enseignements de l’expérimentation seront pris en compte dans la réforme à venir. À cet égard, la mise en place de ce comité d’évaluation indépendant, présidé par un économiste de renom, François Bourguignon, garantit l’objectivité et la rigueur de l’évaluation des expérimentations. La publication régulière des travaux du comité, comme la possibilité pour des équipes de recherche externes à celui-ci de faire des analyses complémentaires des données collectées, en assurent la transparence. Les débats au sein du comité, particulièrement sur la question de la sélection des zones témoins, illustrent les compromis à trouver entre les économistes, qui aspirent à appliquer à la lettre les règles de l’expérimentation contrôlée pour en mesurer scientifiquement les effets, et les collectivités locales, qui défendent une approche pragmatique pour mettre en œuvre les dispositifs expérimentaux.

55Le projet de loi sera étudié au Parlement un an après le démarrage des expérimentations. Le calendrier de la réforme est tel que l’évaluation est menée en temps réel, dans des conditions difficiles pour les organismes impliqués dans la production des données. Néanmoins, ce processus fournit des informations d’une qualité et d’une fiabilité appréciables, qui sont précieuses pour connaître la nature des emplois occupés, caractériser les bénéficiaires, apprécier les montants versés et l’impact sur la pauvreté. Il apporte également des informations utiles sur la faisabilité technique et les conditions opérationnelles de réussite. Le taux de retour à l’emploi en zone expérimentale par rapport au taux de retour en zone témoin n’est donc qu’un des nombreux points étudiés grâce à ces programmes expérimentaux. En plus de fournir des éléments utiles à la généralisation, les expérimentations du RSA vont également nourrir la réflexion maintenant bien engagée sur l’expérimentation sociale et faciliter la réalisation de nouveaux programmes expérimentaux.

56L’appel à projets lancé par le haut commissaire, en novembre 2007, a déjà permis de sélectionner 37 projets qui répondaient à la définition de l’expérimentation sociale retenue : une innovation de politique sociale, initiée dans un premier temps à petite échelle (suffisante toutefois pour que les résultats de l’évaluation soient interprétables), et mise en œuvre dans des conditions qui permettent d’en évaluer les effets dans l’optique d’une généralisation. Parmi les projets sélectionnés, plusieurs reposent sur une sélection aléatoire des bénéficiaires et du groupe témoin.

57I. S. – En quoi cette évaluation est-elle innovante ?

58M.-O. S. – Il est nécessaire d’opérer un changement culturel et que l’expérimentation devienne ainsi un processus naturel de réforme dans notre pays. En ce sens, l’expérimentation du RSA a valeur de symbole. En effet, même si l’expérimentation est inscrite dans la Constitution depuis la loi constitutionnelle du 28 mars 2003 relative à l’organisation décentralisée de la République, elle est encore trop peu mise en œuvre, faisant de la France un pays en retard, surtout par rapport aux pays anglo-saxons. Le RSA a innové par l’existence d’une phase d’expérimentation dont les enseignements viennent nourrir le projet de loi sur la généralisation, comme, en son temps, le RMI avait innové en inscrivant dans le texte de loi la nécessité d’évaluer le nouveau dispositif en place.

59I. S. – Quelles en sont les limites ?

60M.-O. S. – Il ne faut pas attendre de l’expérimentation qu’elle réponde à toutes les questions que soulève la réforme. Le contour du RSA expérimenté est plus restrictif que celui qui sera généralisé car les dérogations autorisées par la loi sont restées limitées. La différence porte essentiellement sur deux aspects : l’expérimentation n’intègre pas les travailleurs pauvres et le RSA expérimental ne se substitue pas aux minima sociaux existants, il s’y ajoute. Dans ces conditions, certains effets attendus, comme l’amélioration de la lisibilité du dispositif, sont difficiles à mesurer. Par ailleurs, l’autonomie laissée aux départements sur la mise en œuvre des expérimentations est une source de richesse dans la mesure où elle permet de tester un grand nombre de variantes (sur le barème de l’aide financière mais aussi sur le champ de la population concernée, sur la nature de l’accompagnement proposé, etc.). Mais cette diversité rend particulièrement difficile la production d’une analyse globale. Elle nécessite d’avoir recours à des techniques économétriques complexes pour isoler chacun des facteurs.

61Hélène Paris – directrice des statistiques, des études et de la recherche, Cnaf

62I. S. – Qu’attendez-vous de l’évaluation du RSA ?

63H. P. – Elle devrait permettre de recueillir un grand nombre d’informations utiles pour la généralisation. D’ores et déjà, nous disposons, à l’été 2008, d’un matériau collecté très riche, via le suivi statistique des expérimentations en cours et une enquête auprès des acteurs et des enquêtes auprès des bénéficiaires. Il n’est pas certain que nous aboutissions à une conclusion univoque concernant l’impact du RSA sur le taux de retour à l’emploi, car le temps de cette évaluation est bien court. Cela étant, il sera intéressant de valoriser des bonnes pratiques au vu des premiers résultats capitalisés.

64I. S. – Que pensez-vous apporter à cette évaluation ?

65H. P. – La Cnaf participe activement au Comité national d’évaluation, pour la définition des méthodes utilisées et pour tous les travaux préparatoires comme la conception des enquêtes. Elle apporte également des contributions tout à fait spécifiques, notamment par la livraison de tableaux de bord mensuels et trimestriels sur le suivi du RSA. Les données administratives des Caf sont de fait essentielles pour dénombrer les personnes inscrites dans le dispositif, évaluer des taux de retour à l’emploi dans les zones expérimentales comme dans les zones témoins, effectuer des comparaisons, par exemple entre les revenus des personnes dans le RSA ou hors RSA, etc. La production de ces données à courte échéance, dans un cadre dérogatoire et variable suivant les départements, est une tâche redoutable pour les statisticiens de la Cnaf. Mais il est bien apparu que nous allions produire la matière première fondamentale en statistiques pour permettre les expertises quantitatives poussées auxquelles se livrent les chercheurs. La Cnaf développe, par ailleurs, deux points d’évaluation spécifiques : sur l’accompagnement social des bénéficiaires Api éligibles au RSA, d’une part, sur l’estimation du coût de gestion du RSA, d’autre part.

66I. S. – En quoi cette évaluation est-elle innovante ?

67H. P. – C’est le caractère expérimental de l’opération qui me semble le plus innovant. Le fait d’expérimenter d’abord, de tirer des résultats ensuite, avant de généraliser, est très nouveau en France. L’enjeu de l’évaluation est alors spécialement important car ses conclusions devraient directement guider la décision de généraliser ou non le dispositif, ou, de manière moins radicale, d’en ajuster les contours au vu des résultats. Il est vrai que le calendrier déjà annoncé sur la date de la généralisation limite la portée de l’exercice. Celui-ci conserve toutefois une valeur pédagogique et devrait contribuer à promouvoir la culture de l’expérimentation. Soulignons, en outre, que cette innovation pour la France se produit dans un cadre décentralisé : en dehors de l’Api, ce sont en effet les conseils généraux qui sont à l’origine de l’expérimentation pour le RSA-RMI. C’est dire qu’il n’y a pas une expérimentation du RSA mais trente-quatre expérimentations différentes ! Cela enrichit naturellement l’opération, même s’il est plus difficile de tirer ensuite des conclusions générales.

68I. S. – Quelles en sont les limites ?

69H. P. – Les limites sont, je crois, bien connues : le temps, le caractère « hybride » de l’expérimentation et la sélection non aléatoire des zones d’expérimentation, que je n’évoquerai pas ici.

70En premier lieu, c’est le temps qui peut manquer. Dans un monde idéal, on aurait préféré attendre la fin de la durée de l’expérimentation (prévue à trois ans) pour tirer des conclusions plus complètes. D’abord, il est toujours utile de prévoir une période raisonnable pour la mise en place de nouveaux dispositifs : par exemple, les dispositifs d’accompagnement peuvent mettre un certain temps pour être pleinement opérationnels et efficaces. Ensuite, une période d’évaluation limitée à un an environ est dommageable car sur cette période, les gains financiers apportés par le RSA au bénéficiaire par rapport à l’intéressement sont relativement faibles. En effet, l’atout de l’incitation financière du RSA réside avant tout dans son caractère pérenne : il procure un intéressement permanent et non pas sur une durée limitée d’un an, comme avec les dispositifs actuels. Enfin, disposer d’un peu de recul pour mieux apprécier le maintien, dans la durée, dans l’emploi, compte tenu des situations souvent précaires des populations concernées, aurait naturellement été très appréciable.

71La deuxième difficulté tient à la nature composite de l’expérimentation, pour deux raisons. D’une part, certains départements ont opté pour l’application d’une « clause de sauvegarde » : si le dispositif du RSA-RMI s’avère moins favorable que le droit commun de l’intéressement, la différence devra être restituée aux allocataires, soit à la fin de l’expérimentation (chèque de sortie), soit par anticipation (clause de sauvegarde anticipée), ce qui limite la mesure d’un effet « pur » du nouveau dispositif. D’autre part, chaque département a choisi des modalités spécifiques pour la mise en place du RSA : on note ainsi des différences sur le barème, mais plus encore sur le champ d’application (allocataires en emploi ou seulement en situation de reprise d’emploi, définition pour certains départements d’un seuil minimum d’heures travaillées, etc.) et sur les modalités d’accompagnement. Cela requiert alors une grande prudence si l’on souhaite tirer des enseignements généraux pour l’ensemble des expérimentations.

72Propos recueillis par Delphine Chauffaut