Constituer un corpus de données à partir d’un site de rencontres

21La première étape de l’étude, c’est-à-dire le choix de la source, le nettoyage et la préparation des données, mérite une attention particulière. Dans la continuité des travaux de Kosinski sur la prédiction des « traits intimes » à partir de traces numériques (par ex., Kosinski, Stillwell et Graepel, 2013), les auteurs ont recours aux photos publiées sur un site de rencontres basé aux États-Unis. Suivant l’approche adoptée dans une série d’études sur le « gaydar » humain (par ex., Rule et Ambady, 2008), Kosinski et Wang se positionnent en porte-à-faux vis-à-vis des évaluations antérieures qui ont recours à des photographies prises en laboratoire, notamment pour des raisons de standardisation des expressions et des postures (par ex., Skorska et al., 2015). Par rapport aux photographies prises en laboratoire, celles qui sont déposées spontanément sur des sites web présentent l’avantage de constituer une base de données massive, à faible coût, tout en évitant les biais inhérents à la prise d’images en laboratoire. De surcroît, le site de rencontre fournit des informations autodéclarées, dont l’âge, la localisation et la préférence sexuelle. L’utilisation d’images autopostées participerait ainsi à la validité écologique de l’étude.

22Sans donner de précision quant au nom du site ou à la méthode d’obtention des images, ils vont ainsi constituer un premier ensemble de 301 101 images issues de 75 223 profils publics de femmes et d’hommes ayant déclaré être basés aux États-Unis et avoir entre 18 et 40 ans, en veillant à ce qu’il y ait autant de profils homosexuels qu’hétérosexuels dans leur dataset, en considérant l’information relative au sexe des partenaires souhaités, telle que déclarée sur les profils.

23Le recours à une telle source d’images n’est cependant pas sans inconvénient. Par exemple, les images faciales autopostées en ligne présentent des variations importantes en qualité, ainsi que sur le plan des expressions faciales, de l’orientation de la tête ou encore de l’arrière-plan. Afin de composer un ensemble d’images conformes aux exigences de leur expérience, Kosinski et Wang vont dès lors chercher à resserrer leur corpus autour de photographies décrivant exclusivement des visages comparables entre eux, en se limitant à des images faciales d’individus caucasiens qui respectent des critères précis de composition. Faisant appel aux services de la plateforme de crowdsourcing Amazon Mechanical Turk, ils demandent à des « microtravailleurs » (dits Turkers) de vérifier que les visages retenus représentent bien des adultes caucasiens dont les visages sont entièrement visibles et d’un sexe correspondant à celui indiqué sur le profil de l’utilisateur.

24En complément de cette sélection humaine, les auteurs utilisent Face++ [14], un service de cloud computing pour l’analyse faciale, afin d’extraire des informations sur la position du visage, les traits du visage, l’inclinaison, la rotation et le basculement de la tête, puis pour évincer toute photographie contenant plusieurs visages, contenant des visages partiels, trop petits ou trop inclinés ou dont le basculement ou la rotation sont trop élevés (10 et 15° respectivement). Kosinski et Wang cherchent ainsi à s’assurer que les différences apparentes de physionomie ne s’expliquent pas par la position de l’appareil photographique vis-à-vis du visage, mais bien par le visage lui-même.

25Après une égalisation finale par genre et orientation sexuelle, le corpus utilisé dans l’étude contiendra 35 326 images (avec une proportion de 50/50 pour l’orientation sexuelle et de 53/47 pour le genre) et 14 776 profils uniques (avec des variations d’une à cinq images par profil). Suivant une procédure classique de validation croisée, le corpus sera aléatoirement divisé en 20 sous-corpus de tailles égales, dont 19 d’entraînement et 1 de test. Les données à partir desquelles les résultats seront présentés, le corpus de test, n’auront ainsi pas servi à entraîner le modèle.

Extraire les données faciales des images avec l’algorithme VGG-Face

26Kosinski et Wang vont ainsi procéder à l’extraction de données descriptives qui serviront par la suite à la construction du modèle prédictif. Ils utilisent pour cela VGG-Face, un réseau neuronal profond de reconnaissance faciale. Mis au point par un groupe de l’Oxford Vision Lab de l’Université d’Oxford et librement disponible [15], il s’agit d’un algorithme appartenant à la famille des descripteurs à base de réseau de neurones convolutif (CNN) et qui sont à l’origine des progrès récents dans le domaine de la vision par ordinateur. VGG-Face se positionne dans un espace dominé par Google et Facebook, face aux algorithmes desquels VGG-Face témoigne de performances compétitives, obtenues à partir de bases de données pourtant moins volumineuses (Parkhi, Vedaldi et Zisserman, 2015). Kosinski et Wang soulignent que ce CNN est particulièrement adapté à leur recherche morphopsychologique, puisqu’il est entraîné afin de maximiser les traits stables d’un visage et minimiser les traits les plus variables (le maquillage par exemple, mais aussi les effets de posture ou de position du visage vis-à-vis de l’objectif), son objectif initial étant de reconnaître des personnes dans des configurations différentes.

Entraîner un algorithme de classification binaire de l’orientation sexuelle

27Une fois l’extraction des caractéristiques faciales terminée (4 096 scores par image), Wang et Kosinski s’attellent à associer, pour chaque individu, la caractérisation des images avec l’état binaire de leurs préférences sexuelles : homosexuelles ou hétérosexuelles. Les chercheurs utilisent alors une régression logistique. Modèle éprouvé en machine learning, la régression logistique pondère chaque variable quantitative en entrée (ou features) en fonction de l’importance qu’elle possède dans la détermination de la sortie binaire, telle qu’être élu ou ne pas être élu, tomber malade ou ne pas tomber malade, etc. Kosinski et Wang génèrent ainsi un classificateur binaire de l’orientation sexuelle à partir des 19 sous-corpus d’entraînement.

Tester et évaluer la performance du modèle prédictif de l’orientation sexuelle

28Kosinski et Wang vont alors tester leur modèle prédictif de l’orientation sexuelle en l’appliquant à des images qui n’ont pas été utilisées lors de la phase d’entraînement. Chaque image de cet échantillon se voit attribuer une probabilité de décrire un individu homosexuel. Pour évaluer la robustesse du modèle, les auteurs choisissent d’utiliser l’une des méthodes d’évaluation des classificateurs binaires les plus courantes : l’AUC (area under curve). Il s’agit de la mesure de la surface en dessous de la courbe sensibilité/spécificité, appelée courbe ROC (receiver operating characteristic). Cette méthode d’évaluation consiste à classer les individus selon leur probabilité d’être homosexuel, puis à représenter la relation entre le taux de vrais positifs et de faux positifs, à mesure que l’on considère un nombre de plus en plus important d’individus [16]. L’AUC est interprétée dans le contexte de cette étude comme la probabilité que le classificateur discrimine correctement, lorsqu’il est soumis à une image d’une personne homosexuelle et une image d’une personne hétérosexuelle, sélectionnées aléatoirement parmi l’ensemble des images. Une AUC de 0,5 signifie en cela que le classificateur a une chance sur deux de se tromper, ce qui correspond à une performance équivalente au hasard. Un classificateur parfait disposerait ainsi d’une AUC de 1. Le modèle proposé par Kosinski et Wang obtient une AUC variant de 0,81 à 0,91 dans la détermination de l’homosexualité chez les hommes, et de 0,71 à 0,83 chez les femmes (selon le nombre d’images disponibles, de 1 à plus de 5). Cette performance est très élevée dans le cas des hommes disposant de 5 images (0,91), mais il est important de la circonscrire à l’interprétation spécifique de cet indicateur : il ne s’agit aucunement de la probabilité de classifier correctement une image, mais de classifier correctement une image parmi deux images, dont l’une représente une personne homosexuelle et l’autre une personne hétérosexuelle. Cette nuance est subtile, mais très importante, puisqu’elle est au cœur de la fragilité de l’alerte que les auteurs poseront en conclusion de leur recherche.

Identifier les zones de l’image les plus déterminantes pour le prédicteur

30Les auteurs vont chercher à vérifier si le modèle de régression logistique a bien considéré les traits stables des visages et non leur environnement (étude 1b). Afin de déterminer les portions de l’image qui ont compté dans la détermination du modèle prédictif, les auteurs vont tester de nouveau le modèle sur deux sets d’images (chacun de 100 images, l’un d’hommes, l’autre de femmes) auxquelles seront masqués itérativement des bouts de 7 par 7 pixels, et évaluer la chute de performance du modèle afin d’identifier les zones les plus exploitées. Les résultats indiquent que la régression logistique s’appuie effectivement sur des éléments du visage (le nez, les yeux, les sourcils, les joues, la racine des cheveux et le menton chez les hommes, et le nez, les coins de la bouche, les cheveux et le tour de cou chez les femmes) et non sur le fond des photographies.

Examiner les traits faciaux servant à la prédiction de l’orientation sexuelle

31Kosinski et Wang vont alors considérer les images faciales avec les plus hautes et les plus basses probabilités d’être homosexuel pour produire quatre images composites reflétant ce que seraient des visages typiques de femmes et d’hommes homosexuels et hétérosexuels (étude 1c). L’interprétation « à l’œil nu » des images ainsi générées laisse suggérer aux auteurs des résultats conformes à la PHT. Il semblerait que les hommes hétérosexuels et les femmes lesbiennes aient des mâchoires plus larges que les hommes gays et les femmes hétérosexuelles. À ces différences morphologiques s’ajouteraient des différences au niveau de la capillarité, du teint et du style, y compris le port apparent de casquettes de base-ball chez les hommes hétérosexuels et les femmes lesbiennes. Les auteurs laissent ainsi entendre que les homosexuels seraient globalement atypiques du point de vue du genre (gender atypical), suggérant des femmes plus masculines et des hommes plus féminins que la moyenne.

Tester l’hypothèse de l’atypicité de genre des visages homosexuels

32Afin de tester cette hypothèse, ils entreprennent de mesurer la féminité faciale des images utilisées (étude 2). Ils utilisent pour cela un modèle prédictif du genre basé sur un autre réseau neuronal issu de myPersonality, (Kosinski et al., 2015). Si les scores de féminité décrivent le genre des individus avec un AUC de 0,98, le croisement entre les scores de féminité et l’orientation sexuelle déclarée produit en revanche une AUC de seulement 0,58 pour les femmes et de 0,57 pour les hommes, ce qui ne dispense pas les auteurs de suggérer que la féminité faciale permet de discriminer les visages gays et hétérosexuels avec « une certaine précision » (some accuracy). Considérant par ailleurs que la mesure de la féminité des visages d’hommes montre une corrélation positive avec la probabilité d’être gay et que l’inverse est observé pour les femmes, Kosinski et Wang en concluent que les personnes homosexuelles ont un visage atypique selon le genre.

Déterminer le rôle prédictif de la morphologie faciale

33Kosinski et Wang tentent alors d’évaluer le rôle spécifique de la morphologie dans la prédiction de l’orientation sexuelle (étude 3). VGG-Face extrait en effet des informations relatives à la morphologie du visage. Wang et Kosinski utilisent dès lors 83 repères extraits par Face++ décrivant la forme des sourcils, des yeux, du nez, de la bouche et de la mâchoire. Pour chaque élément, la distance entre les repères est calculée. Ces distances viennent alors se substituer aux scores produits par VGG-Face. Une nouvelle régression logistique génère alors un modèle dont la performance est à peine inférieure (AUC de 0,85 pour les hommes et de 0,75 pour les femmes). La forme de la mâchoire semble de surcroît être l’indicateur le plus prédictif, tant pour les hommes que pour les femmes, alors même que la mâchoire ne serait pas affectée par le maquillage. La morphologie, seule, semble ainsi prédictive de l’orientation sexuelle. La forte diminution de l’information utilisée n’entraîne en effet qu’une légère diminution des AUC (passage des 4 096 scores de VGG-Face à de simples distances euclidiennes calculées à partir de quelques repères de Face++).

Démontrer que les images utilisées ne sont pas spécialement révélatrices de l’orientation sexuelle pour des humains

35Dans l’étude 4, Kosinski et Wang reviennent alors sur des risques qui ne relèvent pas de l’overfitting (surajustement du modèle aux données), mais plutôt du biais de confirmation (surajustement des données à l’hypothèse). Il se peut en effet que les images postées sur un site de rencontres soient trop explicites, et qu’elles surexpriment les traits susceptibles de jouer dans l’orientation sexuelle – étant donné la visée de séduction inhérente aux images utilisées dans ces circonstances. L’expérience fait alors appel au classificateur de référence : l’humain. Les auteurs se réfèrent à des expériences précédentes où des humains avaient eu à prédire l’homosexualité sur des photographies prises en laboratoire ou dans des sites de rencontres (Ambady, Hallahan et Conner, 1999 ; Rule, Macrae et Ambady, 2009). L’AUC se situait alors entre 0,55 et 0,65. Pour tester un éventuel biais de surexpression de leur dataset, Wang et Kosinski font de nouveau appel à des Turkers. L’AUC des humains – dans un contexte artificiel de discrimination entre une personne hétérosexuelle et une personne homosexuelle – est de 0,61 pour les hommes et 0,54 pour les femmes. Les auteurs en concluent que leur dataset ne surexprime pas l’orientation sexuelle, ou, du moins, telle qu’elle est susceptible d’être perçue par des humains.

Tester le classificateur sur des images issues de Facebook

36La cinquième et dernière étude évalue la portée du modèle proposé au-delà des images des sites de rencontre. Il s’agit de tester le classificateur sur des photographies qui proviennent d’un environnement différent : Facebook. Les auteurs exploitent alors la base de myPersonality dont ils extraient 14 338 images de 6 075 hommes explicitement homosexuels. Afin d’accroître la certitude sur l’orientation sexuelle effective des hommes (sur lesquels ils ont choisi de se focaliser pour des raisons d’accessibilité à l’information comparativement aux femmes homosexuelles), Kosinski et Wang utilisent le Facebook Audience Insight pour identifier les 50 pages Facebook les plus populaires parmi les hommes gays. Sont ensuite identifiés les profils d’hommes qui ont déclaré leur intérêt pour au moins deux de ces pages (sous la forme du like) et être explicitement intéressés par d’autres hommes. Seuls les profils qui respectent ces deux conditions sont retenus.

37Afin de tester la relative neutralité de la base constituée à partir du site de rencontre, un échantillon de cette base est confronté à celui constitué à partir de Facebook. Dans ce cas, une régression logistique ne parvient pas à prédire à quelle source appartient le profil (AUC de 0,53). Le classificateur réussit toutefois à distinguer les hommes gays issus de Facebook des hommes hétérosexuels issus du site de rencontre (AUC de 0,74). En dépit de la chute de performance du classificateur (de 0,81 à 0,74), les auteurs en concluent que la performance du classificateur ne dépend donc pas de la source des photographies utilisées et que, par conséquent, le modèle testé dans l’article est généralisable à toutes sortes de situations.

La critique face à l’opacité de la machine : la question de l’insensibilité de la sortie de VGG-Face aux caractéristiques faciales éphémères

50Avant que l’apprentissage profond n’atteigne le niveau actuel, les chercheurs en machine learning devaient passer par une étape coûteuse et difficile de feature engineering. Celle-ci consiste à indiquer aux algorithmes quels patterns trouver, telle que la distance entre le sourcil et le nez, les lèvres et le menton, etc. Cette tâche est désormais automatisée et des progrès considérables afin d’être insensible à des éléments tels que les accessoires, le maquillage et la pose. Or la procédure automatique, impliquant l’extraction, puis la réduction des caractéristiques de l’image, limite l’identification des éléments dont l’algorithme se sert effectivement pour déterminer l’orientation sexuelle. C’est pourquoi les critiques axées sur la méthodologie et la validité scientifiques des énoncés portent essentiellement sur l’identification des éléments dont dépend la capacité de l’algorithme à détecter l’orientation sexuelle.

51Kosinski et Wang plaçaient le choix de VGG-Face au fondement du lien entre la PHT, la performance de leur algorithme et l’alerte. Afin de reconnaître une personne malgré des variations au niveau de l’aspect, l’expression et la pose, VGG-Face maximise les caractéristiques permanentes et structurelles des visages. Ce sont donc bien ces traits que VGG-Face aurait maximisés pour parvenir à la discrimination entre les deux orientations sexuelles (études 1b et 1c). Or la critique va insister sur le fait que VGG-Face n’en reste pas moins dépendant de la manière dont il est implémenté et du dataset sur lequel la version spécifique du logiciel a été entraînée.

52L’argument de la critique se résume alors au constat suivant : dès lors que le logiciel n’est pas utilisé pour identifier les gens, mais pour trouver des modèles complexes entre différentes personnes comme le font Kosinski et Wang, VGG-Face ne serait plus insensible à l’expression et à la pose. C’est ce que Tom White, professeur de conception informatique à l’École de design de l’Université Victoria, Nouvelle-Zélande, a fait valoir en premier, se fondant sur une série d’expériences simples qu’il avait menées avec VGG-Face. Les résultats, partagés sur Twitter, montrent qu’un classificateur formé pour distinguer entre des visages heureux et des visages neutres pouvait atteindre une AUC de 0,92. Lorsque le classificateur était formé pour discriminer entre des visages tristes et des visages heureux, l’AUC augmentait à 0,96. Et lorsqu’il était demandé au classificateur de discriminer des images faciales selon la pose de la tête, il atteignait une précision de 100 %, classant correctement la totalité des images où la tête est tournée vers la droite sur un jeu de 576 images [19]. Ainsi, si les différences dans l’émotion et dans la pose pouvaient être prédites par ces modèles basés sur la sortie de VGG-Face, d’autres différences liées aux modes de présentation distinctifs des personnes homosexuelles et des personnes hétérosexuelles pouvaient être tout aussi décisives dans le modèle proposé par Kosinski et Wang. L’hypothèse serait plus raisonnable que celle axée sur les effets de la PHT. Les conclusions de White ont été par la suite reconduites maintes fois par la presse spécialisée (Gershgorn, 2017 ; Vincent, 2017), mais aussi dans les publications d’autres critiques, notamment celles de spécialistes en machine learning (Agüera y Arcas, Todorov et Mitchell, 2018 ; Howard, 2017).

Des performances prédictives et l’hypothèse du poids des différences d’autoprésentation

53La contribution la plus significative visant à contrecarrer les explications « naturalisantes » de Kosinski et Wang est celle faite dans un billet de Blaise Agüera y Arcas et Margaret Mitchell, tous deux chercheurs spécialisés dans la reconnaissance faciale chez Google Photos à Seattle, avec Alex Todorov, professeur au département de psychologie de Princeton et directeur du laboratoire de perception sociale (Agüera y Arcas, Todorov et Mitchell, 2018).

54Selon Agüera y Arcas et ses collègues (2018), les quatre visages composites d’hommes et de femmes homosexuels et hétérosexuels (étude 1b) révéleraient à l’œil nu beaucoup d’informations sur les éléments qui étaient disponibles à l’algorithme pour réaliser la classification et qui ne relèvent pas de la structure faciale : le sourire plus prononcé sur le visage composite caractérisant une femme hétérosexuelle comparativement à l’absence de sourire sur le visage caractérisant une femme lesbienne ; le fard à paupières moins perceptible dans l’image composite d’une femme lesbienne ; ou encore la marque autour des yeux suggérant un port de lunettes plus fréquent chez les homosexuels que chez les hétérosexuels. Ces observations suggéreraient qu’il est bien plus raisonnable d’estimer que les différences exploitées pour la prédiction soient liées au maquillage, au style et aux angles de prise de vue, c’est-à-dire à des traces de comportements sociaux présentes dans les photographies autopostées, et non pas à des différences morphologiques attribuables à la PHT. Pour tester cette hypothèse sans pourtant avoir recours aux données ou au même descripteur VGG-Face, Agüera y Arcas et ses collègues vont d’abord chercher à confirmer les caractéristiques observées via un questionnaire. En se servant des réponses, ils vont produire un simple classificateur de l’orientation sexuelle.

55Agüera y Arcas et ses collègues ont mobilisé pour cela 8 000 Turkers américains auxquels ils ont proposé un questionnaire comportant 77 questions fermées portant tantôt sur le genre, l’identité et l’orientation sexuelle (« avez-vous une attraction sexuelle pour le même sexe ? », « avez-vous une attraction romantique pour le même sexe ? » ou « êtes-vous gay ou lesbienne ? », etc.), tantôt sur la présentation et le style de vie (« portez-vous des lunettes ? », « aimez-vous comment vous vous voyez avec des lunettes ? », « avez-vous une barbe ? », etc.). La ventilation des réponses en fonction de l’âge du répondant et en considérant plusieurs catégories distinctes, tantôt axées sur l’attraction, tantôt sur l’identité, suggère que les personnes les plus jeunes sont beaucoup plus susceptibles de s’identifier de façon non hétéronormative. Les réponses aux questions sur le style de vie confirment par ailleurs les tendances observées sur l’image composite quant à l’ombre à paupières et le port de lunettes, ainsi que le port de la barbe chez les jeunes hommes attirés par le même sexe. Cela suggère, comme l’avait fait valoir Gregor Mattson (Mattson, 2017), l’un des spécialistes en étude de genre les plus actifs dans la contestation, que les tendances de la mode et les normes culturelles jouent un rôle dominant – des choix de style qui ne pourraient donc pas être attribués, selon Mattson, à la différence d’exposition prénatale aux hormones.

56Se servant des réponses aux questionnaires, Agüera y Arcas et ses collègues ont ensuite produit un simple classificateur. Ils affirment obtenir des résultats comparables à ceux de Kosinski et Wang. Par exemple, pour deux femmes, dont l’une est lesbienne, l’autre hétérosexuelle, leur algorithme est précis à 63 % juste en considérant le port d’ombre à paupières. En ajoutant six autres questions fermées relatives à la présentation, la performance du modèle atteint 70 % (rien n’est précisé quant à la performance de cette démarche pour les hommes). La performance du prédicteur de Kosinski et Wang, concluent les trois chercheurs, serait ainsi probablement très influencée par la présence d’indices culturels distinctifs des personnes homosexuelles et hétérosexuelles.

L’ambiguïté entre l’inclinaison du visage et la dimension des traits mesurés

57Afin d’infirmer l’hypothèse de l’importance des paramètres relatifs à l’autoprésentation, Kosinski et Wang ont montré que la mesure de repères morphologiques se révélait suffisante à la prédiction de l’orientation sexuelle. Ces repères pourraient néanmoins être eux aussi influencés par l’autoprésentation. La posture pourrait non seulement constituer une source de différenciation supplémentaire dans le cadre de l’étude 1 (deep learning), mais elle pourrait aussi expliquer les différences de contours faciaux identifiées dans les études 2 (genre atypique) et 3 (repères morphologiques).

58Agüera y Arca et ses collègues suggèrent que, malgré les précautions prises par Kosinski et Wang pour standardiser les photographies autopostées, l’image faciale composite permet aisément d’observer des effets de prise de vue, c’est-à-dire des effets sur les proportions du visage de la position de l’appareil photo relativement au sujet photographié. Les hommes hétérosexuels prendraient plus souvent la photo en contre-plongée, les femmes hétérosexuelles tendraient à les prendre d’en haut, et les hommes gays, comme les femmes lesbiennes, tendraient à privilégier les prises de face. Une prise de vue en contre-plongée tend en effet à produire un élargissement du menton, une atténuation du sourire, un raccourcissement du nez, et un rétrécissement du front. Les hommes hétérosexuels, en exploitant la contre-plongée, essaieraient ainsi de produire des « effets de dominance ». Inversement, les femmes hétérosexuelles valoriseraient une prise de vue plus plongeante, qui agrandirait les yeux (effet qui pourrait être recherché afin d’apparaître plus « attrayantes »).

59Ces critiques vont ainsi conclure qu’il serait plus vraisemblable que ce que Kosinski et Wang attribuent à la PHT soit dû à de simples effets résultant des choix de point de vue dans la prise du selfie.

La comparaison des performances des algorithmes et des humains dans la détection de l’orientation sexuelle

60Les critiques se sont aussi portées sur l’étude 4, lors de laquelle Kosinski et Wang comparent la performance de leur modèle prédictif à celle des Turkers et en tirent trois conclusions : leur algorithme est plus à même de prédire l’orientation sexuelle que les humains ; il détecte des caractéristiques invisibles aux humains ; et l’échantillon d’images autopostées sur le site de rencontre n’est par conséquent pas particulièrement révélateur de l’orientation sexuelle.

61À cela, Casilli (2017) a objecté que la composante humaine de la comparaison ne peut pas servir de référence pour faire valoir des revendications à portée universelle quant aux capacités des humains par rapport à celles d’un algorithme. Insistant sur le digital labor de la démarche, il questionne le recours à des « microtâcherons » payés quelques centimes de dollar, provenant uniquement des États-Unis, auxquels on demande de classer des images semi-standardisées de visages d’Américains, que d’autres Turkers américains ont estimé être caucasiens.

62D’autre part, comme le notent d’abord Bergstrom et West (2017), puis Howard (2017), le problème de la comparaison entre ces Turkers et la machine est qu’elle confond leur capacité respective à accomplir deux tâches différentes : détecter des indices dans les photographies et prendre de bonnes décisions sur la base de ces indices. En premier lieu, les machines semblent mieux équipées pour corriger leurs a priori face à la distribution réelle des faits et événements, alors que les humains seraient freinés par l’inertie de leurs a priori (Bergstrom et West 2017). Aussi, considérant les différences fondamentales entre l’humain et l’algorithme, Howard rappelle que lorsqu’on décide d’engager de telles comparaisons, la pratique recommandée exige de chercher à réduire les asymétries en donnant à l’humain la possibilité d’étudier les données d’apprentissage que l’ordinateur a reçues (Howard, 2017).

63C’est pourquoi, en second lieu, Kosinski et Wang auraient dû donner à chaque Turker un grand nombre d’exemples de visages avec leurs étiquettes correspondantes (homosexuel ou hétérosexuel) avant de prédire l’orientation sexuelle des visages. Or Howard, ainsi que Bergstrom et West, suggèrent que la conclusion de Kosinski et Wang, qui supposent des caractéristiques physionomiques en dessous du seuil de détection humaine, constitue une violation du principe de la parcimonie : l’explication la plus parcimonieuse des résultats de l’étude 4 étant tout simplement que ce n’est pas un concours équitable.

Les performances du modèle sur la base des images issues de Facebook et du site de rencontres comme conditions de généralisation

64Un autre ensemble de critiques questionne plus spécifiquement la généralisation de la performance du modèle à d’autres corpus. Sur la base de l’étude 5, Kosinski et Wang concluent que le classificateur de l’orientation sexuelle est insensible à la source des images. Cette conclusion est décisive pour étayer l’indépendance de la source et en cela la pertinence de l’alerte.

65Le test de non-discrimination entre les images d’utilisateurs de Facebook gays et les images d’hommes gays du site de rencontres a soulevé des critiques qui ont fait observer que ce qui compte dans la considération de l’échec du classificateur à les distinguer (AUC de 0,53) n’est pas tellement l’environnement d’origine de l’image (Facebook vs site de rencontre), mais l’origine de la photographie. Cohen d’abord (2017), et Agüera y Arcas et al. ensuite (2018), soulignent que ce qui importe est de savoir si la photographie a été autopostée ou pas. Les effets des stratégies d’autoprésentation en ligne peuvent en effet être communs aux deux sources.

66Plusieurs recherches sur le « gaydar » humain avaient déjà observé des variations dans la performance selon l’origine des photographies (Cox et al., 2016 ; Rule et Ambady, 2008). Si la capacité de discrimination des juges humains confrontés à des photographies prises en conditions contrôlées n’est pas meilleure que le hasard, lorsque les photographies faciales utilisées sont autopostées sur Facebook, en revanche, la capacité à discriminer augmente. Toutefois, lorsque les photographies sont postées par des amis et non pas par l’individu lui-même, la performance diminue à nouveau. Ceci serait particulièrement pertinent pour des gays ouvertement gays. Les images des utilisateurs masculins de Facebook qui ont indiqué avoir un partenaire de même sexe et qui ont aimé au moins deux pages dans un ensemble de pages telles que « Manhunt » ou « J’aime être gay », tout comme les images des utilisateurs du site de rencontres, sont toutes des images autopostées et assumées comme telles. Il n’est ainsi pas surprenant que le modèle ne parvienne pas à les discriminer.

Critique de la transposition de la machine du laboratoire dans l’espace public à l’aune de l’AUC et du problème des faux positifs

67Suivant une approche standard d’évaluation des classificateurs binaires, Kosinski et Wang se sont servis de l’AUC. L’article présente néanmoins des ambiguïtés dans la manière de se référer à la performance du modèle sur la base de l’AUC. Quelques commentaires et critiques ont fait remarquer que les performances de leur modèle ne peuvent pas être interprétées comme la probabilité de bien classifier une photo (Bjork-James, 2017 ; Cohen, 2017 ; Howard, 2017). La description de l’« exactitude » (accuracy) du modèle en pourcentages sur la base des scores AUC serait ainsi peu appropriée et surtout trompeuse. Le lecteur non averti tombe facilement dans le « piège » : car l’expression « exact à 91 % » traduit mal la signification d’une AUC de 0,91. Les auteurs misent pourtant sur cette ambiguïté, passant sous silence les conditions de l’interprétation probabiliste des scores obtenus, en affirmant dans le résumé que leur modèle peut distinguer correctement une personne gay ou lesbienne d’une personne hétérosexuelle dans respectivement 81 % et 71 % des cas à partir d’une seule image [20], créant ainsi les conditions de l’alerte. Il s’agit pourtant d’une situation hypothétique dans laquelle le modèle devrait choisir entre une image de personne homosexuelle et une image de personne hétérosexuelle. Une telle situation est tout à fait inapplicable dans l’espace public, où il n’y a que des individus, dont la prévalence d’homosexuels est de surcroît relativement faible (de l’ordre de 6 à 7 %).

68Kosinski et Wang expliquent pourtant dans la discussion ce qu’il faut comprendre par une telle AUC et, par un jeu rhétorique, ils tentent de retourner la faible prévalence à leur avantage. Ils mobilisent alors l’interprétation plus conventionnelle de l’AUC, dans laquelle un score est attribué à chaque individu, en proposant une situation fictive lors de laquelle ils sélectionnent les 10 % des hommes dont les scores relatifs à l’homosexualité seraient les plus élevés. Nous l’avons souligné : dans un tel cas, la moitié des hommes seraient « réellement homosexuels » (56 %), ce qui signalerait, avec une prévalence de 7 % d’hommes gays, un modèle 8 fois plus performant que le hasard. Kosinski et Wang éludent néanmoins le risque pourtant considérable de faux positifs qui compromettrait totalement le modèle de prédiction visant à identifier un groupe minoritaire (et, inversement, la nullité du modèle dans le cas où la sensibilité, alors trop élevée, produirait essentiellement des faux négatifs).

69Aux nombreux doutes quant à la capacité du modèle prédictif de l’orientation sexuelle à s’adapter à un autre environnement que celui sur lequel il a été entraîné, et plus particulièrement à des images qui ne s’inscriraient pas dans une perspective d’autoprésentation, s’ajoute ainsi le risque de ne pas saisir que sa performance serait compromise dans l’espace public étant donné la prévalence relativement faible de l’homosexualité.