Notes
-
[1]
Carlson L. & Sullivan, J. (1999). Hands-on Engineering: Learning by Doing in the Integrated Teaching and Learning Program, International Journal of Engineering Education, 15 (1), 20-31.
-
[2]
Dym, C., Agogino, A., Eris, O., Frey, D., Leifer, L. (2005). Engineering Design Thinking, Teaching, and Learning Journal of Engineering Education, 103-120.
-
[3]
Veltz, P. (2007). Faut-il sauver les Grandes Ecoles ? De la culture de la sélection à la culture de l’innovation, Paris, Presses de Sciences Po, collection Nouveaux débats.
-
[4]
Stouffer, W., Russell, J. & Oliva, M. (2004). Making The Strange Familiar: Creativity and the Future of Engineering Education Proceedings of the 2004 American Society, Engineering Education Annual Conference and Exposition
-
[5]
De Tienne, D.R., Chandler, G.N. (2004). Opportunity identification and its role in the entrepreneurial classroom: a pedagogical approach and empirical test. Academy of Management Learning and Education, 3(3), 242-57.
-
[6]
Sarasvathy, S. D. 2001. Causation and Effectuation: Toward a theoretical shift from economic inevitability to entrepreneurial contingency, Academy of Management Review, 26(2): 243-288.
-
[7]
Gundry L.K. Kickul J.R. (1996) Flights of imagination : fostering creativity through experiential leaning, Simulation & Gaming, 27:3, p 334-349
-
[8]
Biggs, J.B. (2003). Teaching for quality learning at University. Buckingham: Open University Press/Society for Research into Higher Education. (Second edition)
-
[9]
Leach, E. (2007). Instruction-Based Action Guidelines Built on Bloom’s Revised Framework: Setting Objectives for Entrepreneurship Teaching, Journal of Small Business and Entrepreneurship, 20(4), 351–368.L’analyse détaillée de ces objectifs et sous-objectifs a été réalisée à partir de la taxonomie de Bloom révisée par Anderson (2001) et appliquée à l’entrepreneuriat par Leach (2007). Cette taxonomie permet de spécifier les niveaux de processus cognitifs (se rappeler, comprendre, appliquer, analyser, évaluer, créer) et de les croiser avec les niveaux de connaissances mises en œuvre (factuel, conceptuel, procédural et métacognitif). Cette analyse permet ensuite de déduire les activités pédagogiques adaptées. Elle peut être consultée dans l’article de 2009.
-
[10]
Perez Alonso-Geta P.M. Researching, measuring and teaching creativity and innovation : a strategy for the future, in European Commission Education and Training, “Measuring creativity” p 305-314
-
[11]
Csikzentmihalyi M. (2009) A system perspective on creativity and its implications for measurement, in European Commission Education and Training, “Measuring creativity” p407-414
-
[12]
Amabile, T. M. (1996). Creativity in Context. Boulder, CO: Westview Press. Cette combinaison est notamment recommandée pour mesurer la créativité des ingénieurs en entreprise.
-
[13]
Le questinnaire utilisé a été validé auprès de 1000 étudiants en business à Taïwan par Cheng K.W. et Chen, Y.F. (2010) Developing and Verifying a Business-Creativity Assessment Tool: A Nationwide Study in Taiwan, Journal of Education for Business, 85: 78–84. Il mesure 5 construits interreliés à travers 21 questions : la personnalité créative, l’environnement scolaire perçu comme favorable ou non, le soutien parental, la méthode d’enseignement et la confiance dans le regard positif de l’entourage. Seuls les 3 premiers apparaissent vérifiés dans notre étude.
-
[14]
Grille d’objectifs de la formation, de la taxonomie de Bloom révisée par Anderson (2001), Anderson, L. W., & Krathwohl, D. R. (2001). A taxonomy for learning, teaching and assessing: A revision of Bloom’s Taxonomy of educational objectives: Complete edition, New York : Longman. et du cadre d’analyse générique d’évaluation des apprentissages de Kirkpatrick D.L. (1979) Techniques for evaluating training programs, in Training and development Journal, june, p 78-92
-
[15]
L’analyse détaillée des résultats peut être consultée dans Verzat, C., Gaujard, C. (2011) Les eleves ingénieurs sont-ils vraiment moins créatifs que les étudiants en entrepreneuriat ?, Bilan d’un dispositif de formation à la créativité et l’innovation chez les étudiants en ingénierie et en entrepreneuriat, communication au congrès de l’academie de l’entrepreneuriat, Paris, 13-14 octobre
-
[16]
Le niveau de créativité personnelle est évalué par la moyenne de réponse à 5 questions portant sur la personnalité créative : 1) J’aime chercher activement des nouvelles choses à apprendre, 2) J’aime essayer des nouvelles choses par moi-même, 3) J’aime résoudre les problèmes de manière nouvelle, 4) J’aime observer des tas de choses dans la vie, 5) J’étudie à fond les choses qui m’intéressent.
-
[17]
Voir notes de bas de page 13 et 16
Les points forts
- Contrairement aux idées reçues, devenir créatif, cela peut s’apprendre ! Reste à savoir quelle est la meilleur manière d’enseigner la créativité...
- L’analyse d’un module de créativité mis en œuvre à la fois à l’intention d’apprentis ingénieurs et d’apprentis entrepreneurs fournit quelques pistes.
- Si les résultats apparaissent en demi-teinte, les apprenants ont du moins évolué par rapports à leurs croyances initiales.
1Un jour, la femme d’un collègue, professeur d’Arts Plastiques, interpelle l’une des auteures lors d’un repas du personnel : « Mon mari m’a dit que tu enseignes la créativité ? Mais c’est n’importe quoi ! Ça ne s’apprend pas la créativité ! ». Cette réaction impulsive nous laisse perplexe. Aurions-nous empiété sur un domaine d’enseignement à part ? Réservé au monde des artistes ?
2Pourtant la demande sociale est immense : savoir innover, inventer de nouveaux produits et services tend à devenir une compétence incontournable pour les jeunes arrivant sur le marché de l’emploi, qu’ils veuillent embrasser des carrières salariale ou entrepreneuriale. Tant les futurs ingénieurs que les futurs entrepreneurs ont besoin de faire preuve de créativité pour pouvoir innover. Les écoles et les formations peuvent-elles y contribuer en proposant des enseignements ? Cela suppose de savoir définir précisément la compétence créative et de démontrer que la créativité peut s’apprendre au-delà des dons reçus à la naissance…
3Force est de constater que de nombreux défis pédagogiques sont à relever. Quels peuvent-être les objectifs d’apprentissage d’une telle formation ? Quelles activités peut-on mettre en place ? Quels effets peut-on espérer ? Comment peut-on les mesurer ? Qu’est-ce que ça change d’avoir suivi une formation à la créativité ?
4Depuis 2009, en tant qu’enseignants-chercheurs, nous nous frottons à ce challenge. Nous avons construit un module de formation à la créativité et l’innovation à partir d’un premier bilan d’expériences pédagogiques et de recommandations issues de la littérature. Basé sur un entraînement aux méthodes de créativité en phase d’identification d’une idée de business innovant, il a été mis en place en 2010-2011 dans un format comparable dans une école d’ingénieurs et dans une école d’entrepreneuriat au niveau M1. Nous souhaitions comparer les effets de ce module sur les deux populations, a priori très différentes, à partir de deux types de mesures. La première est un questionnaire cherchant à évaluer l’évolution des capacités créatives perçues par les étudiants (avant/après formation) en faisant la part des facteurs supposés l’affecter. La seconde mesure analyse les retours d’expérience individuels des étudiants.
Ingénieurs, entrepreneurs : un même défi pédagogique
5La formation des ingénieurs est aujourd’hui chahutée : les entreprises et les institutions de certification des facultés et écoles d’ingénieurs demandent de former des ingénieurs « bilingues » aussi forts sur le plan technique que sur le plan interpersonnel et managérial, voire entrepreneurial. Les ingénieurs doivent être capables de s’adapter à des situations complexes, de dynamiser et d’animer les équipes, d’être créatifs et de développer des nouveaux produits et services dans une économie tirée par l’innovation [1]. Or les chercheurs constatent un fossé croissant entre cette demande et les compétences effectives des ingénieurs à l’issue du système de formation [2]. L’apprentissage de l’innovation est l’un des défis importants de la formation des ingénieurs. Plutôt que d’apprendre aux étudiants à trouver la bonne réponse face à un problème compliqué mais connu d’avance, il faut leur apprendre à prendre des risques et des initiatives en situation d’incertitude [3], à développer leur imagination [4], à expérimenter, faire des erreurs et rebondir pour trouver des bonnes idées, à identifier et évaluer les opportunités [5].
6D’un autre côté, la formation à l’entrepreneuriat majoritairement présente dans les business schools est aussi très questionnée sur sa capacité à enseigner l’innovation et la créativité. Au delà des cours SUR l’entrepreneuriat qui restent dominants (cours de stratégie d’entreprise, gestion…), les dispositifs actifs visant à apprendre l’entrepreneuriat PAR l’entrepreneuriat (attitude proactive, entreprenante) sont essentiellement basés sur l’élaboration du business plan. Or de nombreux auteurs s’interrogent sur la valeur pédagogique du business plan. Cependant, cette logique apparaît contradictoire avec la démarche terrain, pragmatique et réelle de l’entrepreneur [6] qui a plutôt recours à des raisonnements intuitifs et émotifs lorsqu’il tente d’identifier des opportunités d’affaires.
7Des chercheurs ont démontré qu’il était possible d’enseigner cette compétence en classe [7], notamment en entraînant les étudiants aux méthodes de créativité (mind-mapping, pensée divergente, brainstorming, pensée latérale, techniques métaphoriques,…) et en utilisant des méthodes comportementales comme les jeux, les dessins…) sollicitant davantage leur cerveau droit. Mais ces méthodes sont encore rarement développées et leur efficacité est peu évaluée dans ces deux univers.
30 – heures pour s’essayer à la créativité
8Le module analysé ici a été construit à partir d’un inventaire d’objectifs et de méthodes pédagogiques issu de l’expérience de plusieurs enseignants et d’une analyse large de la littérature sur la formation à l’innovation et la créativité des ingénieurs. Sa conception a suivi les principes de l’alignement constructif [8], qui consiste à aligner les objectifs d’apprentissage, le système d’évaluation et l’activité pédagogique proposée, et s’appuie sur la taxonomie révisée de Bloom appliquée à l’entrepreneuriat [9] pour définir les objectifs d’apprentissage. Deux objectifs décomposés en une hiérarchie de sous-objectifs pédagogiques ont été retenus : savoir générer des idées créatives et savoir sélectionner des idées innovantes.
9Pour atteindre ces objectifs, nous avons opté pour un module actif sous forme d’exercices de créativité à appliquer ensuite pour formuler un projet innovant à défendre vis-à-vis d’un jury professionnel. Le fait d’engager les étudiants dans une activité authentique qu’ils peuvent ensuite analyser et évaluer permet d’atteindre les niveaux d’apprentissage supérieurs ainsi que les connaissances procédurales et métacognitives engagées dans l’innovation et la créativité. Il s’agit en effet de produire chez les étudiants des nouveaux comportements et attitudes et pas seulement une connaissance intellectuelle de ce que veut dire innover.
10Les activités proposées se répartissent dans le module de 30 heures selon le schéma suivant. Les temps indiqués correspondent aux activités en classe, auxquels s’ajoutent des travaux autonomes de recherches au cours du projet, et de rédaction a posteriori.
11Ce module de créativité et d’innovation a été mis en place à Advancia-Negocia, dans le mastère en entrepreneuriat à l’automne 2010 (12 étudiants niveau M1) à HEI, grande école d’ingénieurs début 2011 (15 étudiants, niveau M1) et à l’ITEEM, grande école offrant un double cursus d’ingénierie et de management (48 étudiants, niveau B3).
La mesure de la créativité, une question complexe
12Historiquement les premiers tests utilisés pour mesurer la créativité ont porté sur le classement des individus en fonction de leur personnalité jugée plus ou moins créative. Cependant, il est admis que les critères d’évaluation sont nombreux et ne font plus consensus aujourd’hui. Certains chercheurs tentent alors d’évaluer le processus créatif. Celui-ci comporte la pensée divergente (générer des idées créatives), les capacités d’analyse et la pensée critique (trier les idées) [10]. Mais il faut faire attention car la mesure du processus n’est pas sans incidence sur le processus lui-même. En effet, la fixation d’objectifs de créativité peut inhiber le processus créatif. De plus, les experts s’accordent à penser que la mesure ne peut se limiter à une approche individuelle car la créativité est fondamentalement liée à des variables groupales et sociétales. En effet, l’accessibilité à des informations, l’encouragement à l’innovation, le climat du groupe [11], mais aussi des caractéristiques d’environnement, des méthodes pédagogiques, de personnalité, de soutien par les parents et de sentiment de compétence peuvent influencer la mesure des effets de la formation. Une autre piste enfin est d’évaluer la créativité à partir des résultats produits (originalité et adéquation du travail réalisé avec les besoins initiaux) par les pairs ou des professionnels [12].
13Pour le module expérimenté, nous avons utilisé deux outils. D’une part, un questionnaire [13] qui a été diffusé avant et après le module afin de mesurer la progression dans le niveau de créativité personnelle perçu en relation avec les facteurs qui peuvent l’influencer. Et d’autre part, une analyse des retours d’expérience des étudiants s’exprimant dans deux dossiers remis en fin de parcours. Le dossier collectif décrit la démarche, les résultats atteints, et le retour d’expérience du groupe. Dans le dossier individuel chaque étudiant évalue l’évolution de ses capacités créatives, sous la forme d’un récit (description des faits marquants positifs ou négatifs, de ce qui a changé dans sa perception, ce qu’il a le sentiment d’avoir appris…). Le contenu des dossiers et des textes a été analysé à partir de la grille ci-dessous [14].
14Elle permet de découper le texte rédigé à la fois sur le domaine du discours (thèmes d’apprentissage évoqués) et sur le niveau du discours (profondeur, intensité de l’apprentissage).
Un impact limité… à première vue
15Les résultats issus du questionnaire [15] montrent qu’il est très difficile de mesurer un impact du module de formation sur le niveau de créativité personnelle perçu tel qu’il est formulé dans le modèle utilisé [16], qu’il s’agisse de la population d’entrepreneurs ou d’ingénieurs. Lorsque l’on explore individuellement les résultats, les variations sont très fortes : certains estiment avoir progressé, d’autres ont régressé. Cependant, l’analyse plus fine des résultats montre que le niveau de créativité personnelle perçu évolue positivement si l’étudiant ne se considérait pas comme créatif au départ et négativement dans le cas contraire. Les facteurs d’exposition apparaissent peu significatifs. Ni le fait d’avoir suivi une formation antérieure à la créativité, ni le soutien parental, ni l’appartenance à une école spécifique ne jouent un rôle significatif. Seule la perception (subjective) de l’environnement scolaire a une légère influence : plus les étudiants jugent qu’on leur donne peu l’occasion de s’exprimer, de découvrir ou tester de nouvelles choses dans leur école, plus la formation semble avoir un impact. Mais cet effet ne joue que pour le premier quartile des étudiants de l’échantillon.
16Comment comprendre ces résultats quelque peu décourageants ? L’analyse du contenu des débriefings des étudiants ingénieurs (de HEI) et entrepreneurs (d’Advancia) réalisée grâce au logiciel Nvivo permet d’apporter quelques éclairages intéressants.
17Les étudiants ingénieurs et entrepreneurs évoquent majoritairement des apprentissages liés aux niveaux de compréhension, d’analyse et d’évaluation (de situations, de règles et concepts, des productions personnelles et collectives, niveaux 3 à 6). Par ailleurs, trois domaines d’apprentissage se détachent fortement des autres : les facteurs personnels, les facteurs d’environnement et le processus de production d’idées, comme le montrent les deux graphiques ci-dessous.
18Les étudiants ont pris conscience de leurs prénotions antérieures et formulé de nouvelles croyances sur la créativité en analysant a posteriori l’évolution de leurs capacités. L’analyse des facteurs d’environnement (le rôle de l’équipe en particulier) et le processus de production d’idées ont pris la forme d’enseignements concrets tirés des situations débouchant sur des règles et principes généraux ainsi que des remises en question de croyances initiales (métacognition).
19La très grande majorité des étudiants, quel que soit leur profil (ingénieur ou entrepreneur), fait part d’un changement de perception sur la nature du travail créatif. Contrairement à leurs croyances initiales, les étudiants entrepreneurs et ingénieurs finissent par être convaincus que la créativité est accessible à tous même sans être doté d’une grande imagination, à condition de ne pas avoir peur du jugement d’autrui (facteurs personnels). A la fin du module, ils ont compris que l’on pouvait la stimuler grâce à un environnement propice (climat détendu, reporter son jugement, travail en équipe) et la piloter en utilisant des outils appropriés (processus et méthodes de production d’idées). Le verbatim suivant résume cette idée présente dans presque tous les dossiers : « Je finirai donc mon analyse en concluant qu’il n’existe pas selon moi, d’individus avec ou sans créativité, mais que cela se travaille, car chacun de nous possède en lui cette créativité, qu’il suffit de développer où de susciter au travers de ces méthodes d’approche. J’en ai maintenant moi-même fait l’expérience »
20Les contenus qualitatifs semblent aussi indiquer que les équipes avec une meilleure ambiance et mieux organisées ont plus progressé que les autres en termes de production (plus d’idées et plus d’originalité) et de perception de leur propre créativité. Mais nous ne pouvons pas prouver statistiquement ces interprétations à partir des indicateurs quantitatifs récoltés. Il faudrait un travail statistique beaucoup plus fin pour réussir à les démontrer. Ce qui nous renvoie à la complexité du travail de mesure dans le domaine de l’apprentissage de la créativité.
21Il est à noter que certains domaines d’apprentissage sont peu représentés dans les retours d’expérience, ce qui questionne la pertinence et le poids des activités liés à ces domaines. Il pourrait être pertinent de mieux adapter les activités selon le public : plus axé sur l’opportunité de marché ou de business pour les entrepreneurs et plus orienté vers la résolution de problèmes ou les opportunités technologiques pour les ingénieurs.
Une mesure délicate à réaliser
22Tout d’abord, la mesure statistique que nous avons utilisée dans cette expérience (le niveau de créativité personnelle perçu mesuré à partir des cinq questions de Cheng, 2010 [17]) n’est pas idéale car elle décrit en réalité plus une personnalité créative qu’une compétence. Or justement, l’enseignement majeur dont font part les étudiants dans leur retour qualitatif est de l’ordre d’un changement de perception sur ce qu’est la créativité : moins un don personnel que des capacités qui peuvent s’entraîner par des méthodes et un environnement approprié (un groupe coopératif). D’autre part, notre échantillon est trop faible pour pouvoir générer des conclusions totalement fiables sur les progrès générés en créativité grâce à cette formation. De plus, la collecte des données a été réalisée juste à la fin du module, ce qui limite la portée des résultats. Il serait donc pertinent de mesurer l’évolution des capacités, par une mesure plus adaptée et sur une échelle de temps plus grande grâce à une étude longitudinale. Si cette capacité s’entraîne, on peut faire l’hypothèse que c’est la répétition des expériences de formation et de mise en œuvre dans des environnements variés qui permet de générer des progrès significatifs.
23En conclusion et d’après cette première expérimentation, il apparaît que :
- La créativité peut s’apprendre et qu’il est possible de faire progresser les capacités qui s’y rattachent grâce à un module de formation adapté dans un contexte de formation à l’entrepreneuriat ou à l’ingénierie ;
- Il est envisageable de mutualiser certains objectifs et activités d’apprentissage pour des populations aux cursus différents ;
- La mesure des apprentissages de type comportemental comme la créativité reste délicate. Comme dans beaucoup de formations en entrepreneuriat, elle demande de bien réfléchir au dispositif de mesure d’impact des formations. Idéalement celui-ci devrait comporter des mesures à différentes dates, sur différents objets (perceptions sur le résultat, la démarche et les enseignements réalisés) et auprès de différents acteurs (les étudiants qui s’auto-évaluent mais peut être aussi des observateurs extérieurs).
Notes
-
[1]
Carlson L. & Sullivan, J. (1999). Hands-on Engineering: Learning by Doing in the Integrated Teaching and Learning Program, International Journal of Engineering Education, 15 (1), 20-31.
-
[2]
Dym, C., Agogino, A., Eris, O., Frey, D., Leifer, L. (2005). Engineering Design Thinking, Teaching, and Learning Journal of Engineering Education, 103-120.
-
[3]
Veltz, P. (2007). Faut-il sauver les Grandes Ecoles ? De la culture de la sélection à la culture de l’innovation, Paris, Presses de Sciences Po, collection Nouveaux débats.
-
[4]
Stouffer, W., Russell, J. & Oliva, M. (2004). Making The Strange Familiar: Creativity and the Future of Engineering Education Proceedings of the 2004 American Society, Engineering Education Annual Conference and Exposition
-
[5]
De Tienne, D.R., Chandler, G.N. (2004). Opportunity identification and its role in the entrepreneurial classroom: a pedagogical approach and empirical test. Academy of Management Learning and Education, 3(3), 242-57.
-
[6]
Sarasvathy, S. D. 2001. Causation and Effectuation: Toward a theoretical shift from economic inevitability to entrepreneurial contingency, Academy of Management Review, 26(2): 243-288.
-
[7]
Gundry L.K. Kickul J.R. (1996) Flights of imagination : fostering creativity through experiential leaning, Simulation & Gaming, 27:3, p 334-349
-
[8]
Biggs, J.B. (2003). Teaching for quality learning at University. Buckingham: Open University Press/Society for Research into Higher Education. (Second edition)
-
[9]
Leach, E. (2007). Instruction-Based Action Guidelines Built on Bloom’s Revised Framework: Setting Objectives for Entrepreneurship Teaching, Journal of Small Business and Entrepreneurship, 20(4), 351–368.L’analyse détaillée de ces objectifs et sous-objectifs a été réalisée à partir de la taxonomie de Bloom révisée par Anderson (2001) et appliquée à l’entrepreneuriat par Leach (2007). Cette taxonomie permet de spécifier les niveaux de processus cognitifs (se rappeler, comprendre, appliquer, analyser, évaluer, créer) et de les croiser avec les niveaux de connaissances mises en œuvre (factuel, conceptuel, procédural et métacognitif). Cette analyse permet ensuite de déduire les activités pédagogiques adaptées. Elle peut être consultée dans l’article de 2009.
-
[10]
Perez Alonso-Geta P.M. Researching, measuring and teaching creativity and innovation : a strategy for the future, in European Commission Education and Training, “Measuring creativity” p 305-314
-
[11]
Csikzentmihalyi M. (2009) A system perspective on creativity and its implications for measurement, in European Commission Education and Training, “Measuring creativity” p407-414
-
[12]
Amabile, T. M. (1996). Creativity in Context. Boulder, CO: Westview Press. Cette combinaison est notamment recommandée pour mesurer la créativité des ingénieurs en entreprise.
-
[13]
Le questinnaire utilisé a été validé auprès de 1000 étudiants en business à Taïwan par Cheng K.W. et Chen, Y.F. (2010) Developing and Verifying a Business-Creativity Assessment Tool: A Nationwide Study in Taiwan, Journal of Education for Business, 85: 78–84. Il mesure 5 construits interreliés à travers 21 questions : la personnalité créative, l’environnement scolaire perçu comme favorable ou non, le soutien parental, la méthode d’enseignement et la confiance dans le regard positif de l’entourage. Seuls les 3 premiers apparaissent vérifiés dans notre étude.
-
[14]
Grille d’objectifs de la formation, de la taxonomie de Bloom révisée par Anderson (2001), Anderson, L. W., & Krathwohl, D. R. (2001). A taxonomy for learning, teaching and assessing: A revision of Bloom’s Taxonomy of educational objectives: Complete edition, New York : Longman. et du cadre d’analyse générique d’évaluation des apprentissages de Kirkpatrick D.L. (1979) Techniques for evaluating training programs, in Training and development Journal, june, p 78-92
-
[15]
L’analyse détaillée des résultats peut être consultée dans Verzat, C., Gaujard, C. (2011) Les eleves ingénieurs sont-ils vraiment moins créatifs que les étudiants en entrepreneuriat ?, Bilan d’un dispositif de formation à la créativité et l’innovation chez les étudiants en ingénierie et en entrepreneuriat, communication au congrès de l’academie de l’entrepreneuriat, Paris, 13-14 octobre
-
[16]
Le niveau de créativité personnelle est évalué par la moyenne de réponse à 5 questions portant sur la personnalité créative : 1) J’aime chercher activement des nouvelles choses à apprendre, 2) J’aime essayer des nouvelles choses par moi-même, 3) J’aime résoudre les problèmes de manière nouvelle, 4) J’aime observer des tas de choses dans la vie, 5) J’étudie à fond les choses qui m’intéressent.
-
[17]
Voir notes de bas de page 13 et 16