2.1 – L’utilisation traditionnelle du test Student pour deux échantillons indépendants

8 Dans un tel cas, pour comparer deux groupes, il est classique d’employer le test de Student pour deux échantillons indépendants en version bilatérale, ce qui donne dans la situation présente : t = 1.88 ; df = 23 et p = 0.07. Par rapport au seuil usuel de décision de 5 %, le résultat est donc statistiquement non significatif. Afin de bien saisir en quoi les notions de taille d’effet et de puissance permettent de mieux comprendre cette conclusion voire de la moduler, il peut sembler utile de revenir sur le mode de construction de la décision, lorsqu’elle est basée sur un test de significativité.

2.2 – Les variations d’échantillonnage

9 À la base de la décision du test de significativité, il y a la statistique t. Cette statistique mesure l’écart relatif entre les moyennes des deux échantillons. Il convient de décider que les deux groupes sont comparables si cet écart est faible et, en revanche, « à partir d’une certaine limite », que les deux groupes sont différents.

10 La procédure du test de significativité vise à définir précisément cette limite. Pour la déterminer, l’expérience va être artificiellement reproduite afin d’observer quel est le comportement, sur une série d’expériences similaires, de la statistique t suivant les positions respectives des deux groupes. On va supposer que les valeurs de chacun des échantillons sont générées par une loi de probabilités, dite loi normale, caractérisée par une moyenne théorique propre à chaque groupe, ce qui permet de les différencier, et un écart-type théorique commun aux deux groupes. Lorsqu’on génère, en théorie ou informatiquement, des échantillons successifs de ces deux lois normales (à moyennes et écart-type théoriques fixés) de tailles n₁ =11 et n₂ =14, comme c’est le cas dans le problème considéré, la statistique t prend des valeurs différentes d’une simulation à l’autre, ce qui est communément appelé variations d’échantillonnage. Ces variations observées à partir d’une même situation théorique font comprendre que les conclusions, qui sont prises à la vue d’une seule expérience – celle qui s’est effectivement déroulée – peuvent varier et que l’on peut donc commettre des erreurs.

2.3 – Le risque ? et la région de rejet

11 Une hypothèse supplémentaire, dite hypothèse nulle, va être faite, stipulant que les moyennes théoriques des deux lois normales générant les échantillons sont identiques. Dans ce cas, la statistique t suivra la courbe en trait continu présentée dans la figure 1, appelée fonction de densité et décrivant la concentration de ses valeurs. Il est visiblement peu probable dans cette hypothèse que la statistique t s’écarte fortement de la valeur zéro (ce qui paraît logique, puisque dans le cas où les lois générant les échantillons sont identiques, les moyennes qui en sont issues diffèrent généralement peu).

12 Un seuil de significativité (noté ?) va être fixé, le plus souvent égal à 5 %, qui va définir les valeurs supérieures les moins vraisemblables pour la statistique t (attention il s’agit, dans la figure 1, de la version unilatérale du test). Dans cette figure 1, la surface en noir, placée sous la fonction de densité, représente ces 5 %. L’abscisse correspondante pour la statistique t est ici de 1.71 (pour trouver cette valeur, se référer à une table dite de Student). Cette limite définit une région dite critique, qui signifie que si la valeur réellement observée sur nos deux échantillons dépasse cette limite, on rejettera alors l’hypothèse nulle. Le cas échéant, cette hypothèse nulle ne pourra pas être rejetée (ce qui ne signifie pas pour autant qu’elle sera acceptée).

13 Cette procédure de décision comporte un risque : on voit que dans 5 % des cas, bien qu’on soit effectivement dans le cadre de l’hypothèse nulle, il se produit des valeurs exceptionnelles de la statistique t et donc on commet une erreur, dite de première espèce ou de type I, en rejetant cette hypothèse. La règle de décision, basée sur la région critique, nous prémunit toutefois contre ce risque ? au sens où l’on choisit de le limiter à une faible valeur.

Distribution de la statistique t pour le test de Student de comparaison de moyennes dans deux échantillons indépendants (de tailles n ₁ = 14 et n ₂ = 11). En trait continu, la distribution de la statistique sous l’hypothèse nulle (H0 : loi de Student, df = 23) et en trait pointillé, la distribution de la statistique sous l’hypothèse alternative (Ha : même loi de Student mais décentrée) lorsque l’effet observé est de taille moyenne (ES = 0.5). Avec un seuil de significativité à 5 % pour le test unilatéral, la région critique est W = {t > 1.71}, le risque de première espèce (?) correspond à la probabilité de cette région de rejet sous l’hypothèse nulle et donc à la surface noire sur le graphique. Le risque de deuxième espèce (?) correspond à la probabilité de ne pas être dans la région critique (d’être ainsi dans la région de non-rejet) sous l’hypothèse alternative et donc à la surface hachurée sur le graphique. La puissance 1-? est la partie complémentaire de cette surface hachurée sous la courbe en trait pointillé.

2.4 – Le risque ? (la puissance) et la taille d’effet

14 La règle de décision est donc établie comme le fait de rejeter l’hypothèse nulle lorsque la statistique t se situe dans la région critique. Il est à présent possible de considérer une autre hypothèse dite alternative où les deux lois normales sont différentes : elles n’ont pas la même moyenne théorique. Avec cette hypothèse (alternative), on peut commettre une autre erreur, dite de deuxième espèce ou de type II, en ne rejetant pas l’hypothèse nulle alors qu’on le devrait. Quelle est alors la probabilité, le risque, communément noté ?, de commettre cette erreur ?

15 Ce calcul ne peut être effectué sans décrire précisément l’importance de la différence entre les deux lois de probabilités d’où sont issus les échantillons, ce qui est justement le rôle de la taille d’effet dite prospective. Elle est propre à chaque test statistique. Pour le test de Student qui nous intéresse ici, si ? ₁ est la moyenne théorique de la première loi de probabilités, ? ₂ celle de la seconde et ? l’écart-type théorique commun, la taille d’effet (effect size) prospective est donc :

16

17 Plus la taille d’effet sera forte, plus l’écart à l’hypothèse nulle sera grand et inversement, l’hypothèse nulle correspondant à la nullité de la taille d’effet (ES = 0). La division de la différence entre les deux moyennes par l’écart-type vise à neutraliser l’effet d’un changement d’unités. On parle de taille d’effet relative, cela permet ainsi la comparaison d’études réalisées à des échelles différentes ou avec des échantillonnages différents. La quantification approximative de la taille d’effet prospective peut se faire par recherche bibliographique, connaissance d’expert ou par l’emploi d’études pilotes. Il est également possible d’explorer différents scénarios. Cohen (1988) propose, faute de mieux, d’utiliser comme point de départ des tailles d’effet conventionnelles qui sont pour le test de Student : petite (ES = 0.2), moyenne (ES = 0.5) et forte (ES = 0.8). Nous nous baserons sur ces valeurs conventionnelles de Cohen pour expliciter notre exemple par la suite.

18 La figure 1 indique, en traits pointillés, comment la fonction de densité de la statistique t est décentrée pour un effet moyen (ES = 0.5). En effet, il est logiquement beaucoup plus courant de rencontrer des valeurs élevées de la statistique t puisque les lois de probabilités générant les échantillons sont différentes (on considère dans ce test unilatéral que la première loi de probabilités a une moyenne théorique plus élevée). Cependant, on constate que des valeurs faibles de la statistique t ne sont pas rares et qu’en tout cas, il est tout à fait possible, pour ne pas dire probable, qu’elles se trouvent précisément dans la région où l’on ne rejette pas l’hypothèse nulle (alors qu’on le devrait), dans la région donc où l’on commet l’erreur de deuxième espèce. Le risque correspondant ? est ainsi représenté par la partie hachurée sur la figure 1.

19 À partir de la taille d’effet (ES), de la taille des échantillons (n ₁ et n ₂) et du risque ?, la probabilité ? de l’erreur de deuxième espèce peut être calculée (Cohen, 1988). Dans les conditions de l’expérience (n ₁ = 14, n ₂ = 11), en choisissant un risque ? = 0.05 pour un test bilatéral, nous obtenons les erreurs de deuxième espèce suivantes : ? = 0.92 pour ES = 0.2 ; ? = 0.78 pour ES = 0.5 et ? = 0.52 pour ES = 0.8. Ceci signifie que pour une différence qualifiée de forte (ES = 0.8), la probabilité de se tromper, en affirmant qu’elle n’existe pas, est supérieure à 50 % ! Il en résulte ici un déséquilibre très fort entre les deux risques (? = 5 % contre ? = 52 %). La règle de décision n’est donc pas « bonne ». La probabilité d’opter pour l’hypothèse alternative lorsqu’elle est vraie se révèle par conséquent trop faible. Cette probabilité (1 - ?) s’appelle la puissance. Il est d’usage de raisonner plutôt en termes d’analyse de puissance (power analysis) que de risque de deuxième espèce (?).

2.5 – Les déterminants de la puissance

20 Comment remédier à ce problème de faiblesse de la puissance (dans notre exemple, seulement 1 - ? = 0.48 pour un effet fort) ? La formule mathématique à employer pour calculer la puissance du test montre que (1) 1 - ? est fonction croissante de la taille d’effet (plus les effets seront forts, plus il sera facile de les détecter) ; (2) 1 - ? est fonction croissante des tailles d’échantillon (plus il y aura de mesures et plus il sera facile de détecter des effets, même faibles) et (3) 1 - ? est fonction croissante du risque ? (diminuer le risque d’erreur dans l’une des deux hypothèses entraîne forcément une augmentation du risque dans l’autre, il est en effet impossible de gagner sur les deux tableaux).

1. Une première solution serait d’être moins exigeant quant au risque de première espèce en prenant par exemple ? = 0.10 (ainsi 1 - ? = 0.61 pour un effet fort) mais, comme cela fait rarement des miracles et conduit finalement à ne maîtriser correctement aucun des deux risques, il convient de ne pas aller plus loin voire de garder la convention ? = 0.05.
2. Une autre solution serait de pratiquer des tests unilatéraux. Dans ce cas, l’hypothèse alternative postule dès le départ qu’une des moyennes théoriques (précisée au préalable) est plus grande que l’autre et donc que ces deux moyennes ne sont pas seulement différentes comme dans le cas bilatéral (dans l’exemple proposé, cela donnerait aussi 1 - ? = 0.61 pour un effet fort). Cependant, cette solution semble dangereuse puisqu’il est ainsi possible de passer à côté d’un effet surprise (en fait dans l’exemple traité, on s’attendait plutôt à ce que les sportifs soient initialement moins stressés, modifier le test unilatéral dans l’autre sens à la vue des données revient à tricher… et dans l’exemple traité le test unilatéral ainsi biaisé est significatif !).
3. Une troisième solution réside dans le fait d’ajuster la taille de l’expérience en fonction des effets espérés, en jouant sur la taille des échantillons, en vue d’obtenir une puissance satisfaisante (conventionnellement fixée à 1 - ? = 0.80). Dans le cas présent, pour un effet moyen (ES = 0.5), le calcul montre qu’il faudrait n = 64 individus dans chaque groupe.
4. S’il est impossible d’augmenter la taille des échantillons jusqu’à la limite ci-dessus, il faut alors organiser l’expérience différemment : limiter la variabilité de la variable dépendante (en travaillant sur une population plus homogène ou en changeant d’instrumentation), apparier les individus, faire des blocs, utiliser des covariables, employer un dispositif multifactoriel ou mesurer simultanément plusieurs réponses. À taille d’échantillon fixée, l’emploi d’un dispositif expérimental judicieux permet d’augmenter la puissance de façon considérable, ce qui étend les chances de pouvoir montrer le type d’effet escompté.
5. Enfin, si les conditions d’expérience ne peuvent pas être modifiées (dans le cadre de protocoles très stricts soumis à des contraintes organisationnelles et méthodologiques précises comme cela peut être le cas en milieu carcéral), l’accent peut-être mis sur la taille d’effet rétrospective ou observée  [1] :

3.1 – L’approche traditionnelle du test de corrélation linéaire

21 Le deuxième exemple est extrait d’une enquête en cours de publication (A. Ferrand & auteur A, Université Lyon 1) qui vise à étudier la fidélité des supporteurs de l’ASVEL, équipe professionnelle de basket-ball de Lyon-Villeurbanne (France). Un sondage aléatoire simple a été conduit auprès de spectateurs des matchs mettant en jeu cette équipe dont on ne conserve ici que les supporteurs de l’ASVEL (n = 586). Deux questions vont retenir notre attention. La première était destinée à savoir s’il était difficile pour eux de choisir les matchs auxquels ils allaient assister. Les réponses sont quantifiées sous la forme de scores, échelonnés de 1 (très facile) à 9 (très difficile). La seconde question portait sur la distance séparant le domicile de l’individu du stade de l’ASVEL. Il s’agit donc de mettre en lumière l’existence d’une éventuelle relation, pour les supporteurs, entre la distance séparant leur domicile du stade et la difficulté quant au choix des matchs auxquels ils vont assister. Cette relation est supposée être positive, imaginant que le coût supplémentaire de transport rende la déception plus cuisante, ce qui conduit à l’emploi d’un test de significativité unilatéral.

22 Quoique discrète, la distribution du score de difficulté s’avère relativement symétrique et, après transformation, la (log) distance est proche de la normalité. Le coefficient de corrélation de Bravais-Pearson permet donc de répondre à la question de l’existence d’un lien entre ces deux variables. Il est ici de r = 0.12 (t = 2.84, df = 584, p < 0.01). La relation est statistiquement significative. Les deux variables « difficulté de choix » et « distance séparant le domicile du stade » sont donc corrélées positivement, ce qui signifie que plus les supporteurs habitent loin du stade, plus le choix du match auquel ils souhaitent assister devient difficile.

3.2 – L’apport de la taille d’effet rétrospective

23 En ce qui concerne ce test, la taille d’effet prospective s’identifie au coefficient de corrélation linéaire théorique entre les deux variables :

24

25 Ainsi, dans le cadre de l’hypothèse nulle (de non corrélation) du test, la taille d’effet est nulle également, puisqu’elle correspond justement au coefficient de corrélation linéaire. Cette taille d’effet est indépendante des unités de mesure, il s’agit là encore d’une taille d’effet relative. Concernant ce test de corrélation linéaire, les tailles d’effet conventionnelles proposées par Cohen (1988) sont petite (ES = 0.1), moyenne (ES = 0.3) et forte (ES = 0.5). Pour un test unilatéral avec un risque de première espèce de ? = 0.05 et n = 586, les puissances obtenues pour les tailles d’effet conventionnelles sont les suivantes : 1 - ? = 0.78, 1 et 1. Ces fortes puissances témoignent donc d’une très faible probabilité de se tromper si la corrélation existe. Si c’est un effet moyen qui est attendu, il s’avère même que la taille de l’étude peut être de fait, largement diminuée puisque si ES = 0.3, on montre qu’il suffit de prendre n = 68 unités statistiques pour atteindre une puissance de 1 - ? = 0.80. Même un effet faible peut être détecté de façon satisfaisante (car si ES = 0.1 alors 1 - ? = 0.78).

26 Or l’effet observé est ici concrètement de r = 0.12 ce qui signifie, si nous nous plaçons dans une perspective de régression entre Y et X plutôt que de corrélation entre Y et X, que l’on explique moins de 1,4 % (r ²) de la variabilité de Y à partir de X ! La significativité statistique, basée sur la probabilité critique (ici p < 0.01), provient en l’espèce bien plus du nombre élevé d’individus (n = 586) que de l’intensité réelle de la liaison. Le pouvoir explicatif semble donc faible dans l’absolu, mais il reste à savoir quel type d’effet est considéré comme pertinent d’un point de vue scientifique. Sur cet exemple, la connaissance apportée n’est sans doute pas substantielle, mais pour certains problèmes, un effet bien que conventionnellement étiqueté comme faible pourra malgré tout être perçu comme scientifiquement intéressant (Prentice & Miller, 1992 ; Rosenthal & Rubin, 1983 ; Yeaton & Sechrest, 1981).