Ruha BENJAMIN, Race After Technology. Abolitionist Tools for the New Jim Code, Medford (MA), Polity Press, 2019, 172 p.

1Les États-Unis des XIX^e et XX^e siècles ont eu les lois Jim Crow, qui instaurèrent la ségrégation en réponse à l’abolition de l’esclavage. Le XX^e et le XXI^e siècle ont ce que Ruha Benjamin nomme le New Jim Code, c’est-à-dire « l’utilisation de nouvelles technologies qui reflètent et reproduisent des inégalités existantes, mais qui sont promues et perçues comme plus objectives et progressistes que les systèmes discriminatoires d’une ère précédente » (p. 5). Les outils numériques se drapent dans la neutralité, mais la technique ne saurait selon l’auteure être séparée de la société dans un havre exempt d’idéologies où seule la raison abstraite serait à l’œuvre. De la photographie à la médecine, en passant par l’intelligence artificielle qui est au centre des débats éthiques aujourd’hui, l’auteure propose de démontrer le caractère systémique de procédés racistes dans le monde des technologies numériques. Ici, pas d’insultes ni de lynchages, mais beaucoup d’indifférence au profit d’un racisme qui n’est pas explicité, qui n’est souvent même pas intentionnel. Cela est notamment observable dans le cas des outils de police prédictive, qui finissent par accentuer les contrôles des quartiers habités par des personnes dites racisées, ou bien encore dans les logiciels de reconnaissance faciale, qui sont moins efficaces pour les femmes noires. Pour ce dernier exemple, l’auteure s’appuie sur une célèbre étude de Joy Buolamwini dont le visage n’était pas détecté, à moins qu’elle ne porte un masque blanc.

2Souvent, l’absence de diversité au sein de la base de données d’entraînement instaure un biais. Ruha Benjamin reprend le constat largement partagé par de nombreux travaux portant sur les algorithmes : la machine n’a pas appris des caractéristiques auprès de populations suffisamment variées pour être aussi efficace avec tout le monde. En reconnaissance faciale, la difficulté maintenant bien connue apparaît lorsque la ou les catalogues de photos utilisés (l’auteure ne les cite pas, mais on peut penser à ImageNet ou CelebA) pour cette phase contiennent de façon disproportionnée plus d’individus blancs. L’algorithme a donc moins l’occasion d’apprendre les traits de personnes noires.

3Inversement, et Ruha Benjamin insiste sur ce point, quand ces dernières sont représentées dans des bases de données, c’est parfois en reproduisant un imaginaire colonial : taper « black girl » sur Google Images il y a quelques années faisait apparaître des photos pornographiques. La requête « three asian teenagers » (donc non genrée en anglais) faisait remonter des jeunes filles dévêtues, tandis que « three white teenagers » invoquait plutôt l’iconographie d’une jeunesse radieuse. Pour « three black teenagers », des photos de suspects prises par la police étaient proposées. Ici encore, les réponses sont le fruit de l’histoire de la constitution des bases de données, des mots associés aux images, donc de la représentation picturale de chacun dans une société.

4Ruha Benjamin ne s’appesantit pas sur les aspects techniques des outils numériques et c’est sans doute à dessein. Car sa force est de montrer que le problème va au-delà : c’est aussi bien le contexte sociologique et politique que l’objectif visé qui influent sur le résultat final, et ainsi, sur la perpétuation d’injustices envers certaines catégories de la population. « Le détachement au regard de l’histoire garantit sa perpétuation dans le code » (p. 60). L’auteure signifie que se prétendre dans une neutralité au regard des crimes passés, particulièrement ceux qui ont permis « la concentration des richesses dans les mains des Américains blancs » (ibid.), est le meilleur moyen de les ancrer au quotidien dans la société.

5Ruha Benjamin adopte donc une position herméneutique, sans le dire en ces termes. Pour elle, la technologie hérite de valeurs inhérentes à une communauté ; elle ne constitue pas un objet inerte, sans implication morale. Ainsi, une simple correction du biais n’est pas la panacée dans la mesure où il n’oblitère pas la cause finale : « Le chemin de l’inégalité est pavé de corrections techniques » (p. 7). Par exemple, lorsqu’il fut autrefois question d’améliorer la colorimétrie des photographies pour les sujets noirs, la motivation fut au mieux la publicité pour des tablettes de chocolat, au pire le fichage – avec Polaroïd – des populations noires d’Afrique du Sud durant l’Apartheid. On apprend également dans ce livre que le spiromètre, un dispositif médical chargé d’évaluer la fonctionnalité des poumons, prenait en compte à tort la race sous prétexte de corriger un biais, ce qui eut pour effet de rendre plus difficile pour les personnes noires d’obtenir des indemnités maladie. Aujourd’hui, le fait qu’une entreprise chinoise (CloudWalk) soutenue par Pékin travaille en partenariat avec le gouvernement zimbabwéen pour améliorer ses algorithmes de reconnaissance faciale vise, toujours selon l’auteure, directement un objectif de police et de contrôle de l’immigration, des secteurs porteurs pour ce type de technologie.

6Le remède ne consiste donc pas simplement à reparamétrer un algorithme. Il ne se limite pas non plus à intégrer des personnes susceptibles de souffrir de discriminations dans la phase de conception, comme c’est aujourd’hui souvent suggéré. D’autant que les rapports hiérarchiques et les us incitent à reproduire toujours des valeurs séculaires. Ruha Benjamin cite en exemple les policiers noirs et latino-américains qui perpétuent un profilage racial, malgré le fait qu’ils soient eux-mêmes susceptibles d’en subir les conséquences. L’auteure explique cela par le fait que le contexte, historiquement orienté par des comportements discriminatoires, les incite à agir ainsi. Race After Technology considère enfin que de bonnes intentions de la part d’individus dont la situation économique favorisée est l’héritage direct ou indirect de l’esclavage ou de la colonisation ne suffiront pas à fournir un remède. Quand il est par exemple question d’apporter des solutions aux catégories historiquement lésées par une innovation venue de l’extérieur, la capacité de réflexion, d’action et d’organisation des personnes concernées est méprisée. Le sauveur s’arroge alors le privilège de leur venir en aide ; il glisse vers une mise en valeur de lui-même et de ses moyens d’action et, par contraste, vers une dépréciation de l’autonomie des personnes secourues. Il perpétue ainsi l’injustice qu’il dénonce. Ruha Benjamin se montre sceptique sur les prétendus efforts du monde des nouvelles technologies pour corriger les biais. Elle y voit surtout une manière d’entériner des économies en pariant sur un solutionnisme technologique naïf qui lui-même se rend sourd à la profondeur des problèmes qu’il rencontre.

7Sur ce sujet, néanmoins, on aurait aimé que l’auteure explore des études qui comparent la prédominance des biais dans des situations avec et sans assistance algorithmique. Sans nier le fait que des outils informatiques d’aide à la décision reproduisent des préjugés, la question que nous nous posons est aussi de savoir si les machines sont plus ou moins discriminatoires que les humains. La question subsidiaire étant : est-il juste de recourir à un outil moins injuste que l’humain, mais qui demeure cependant injuste ? La force de Ruha Benjamin est aussi sa faiblesse ; les considérations techniques et les expérimentations ne sont pas centrales, mais elles semblent ainsi effacées.

8L’auteure préconise d’une part de prendre en compte le point de vue des communautés historiquement lésées, de mettre en valeur ce qu’elles produisent, notamment quand ce sont des outils technologiques. Elle invite d’autre part à reconsidérer les motivations auxquelles sont soumises les entreprises et en particulier les incitations économiques, qui ne sont pas forcément le fruit du marché, mais aussi de l’action publique. Faute de telles initiatives, l’innovation à tout prix ne sera jamais que la promotion du plus austère des conservatismes.