Définition du normal et du pathologique

26IAT vise à analyser les radiographies du thorax et propose pour chaque image un étiquetage où elles apparaissent comme étant normales ou anormales et un classement des anomalies [6] (par exemple : opacité, consolidation, fibrose, nodule, épanchement pleural…). Cette analyse donne lieu à un rapport (figure 1) et un compte rendu automatique.

Figure 1

Des fenêtres entourent les zones où le logiciel a identifié des anomalies

Des fenêtres entourent les zones où le logiciel a identifié des anomalies

27En termes d’aide à la détection, les anomalies des radiographies du thorax couvrent un terrain que l’IA n’arrive pas à saisir de manière précise et satisfaisante pour les internes. Au-delà des faux positifs qui amènent à la détection d’anomalies non significatives, d’autres erreurs de la machine aboutissent à une mauvaise labellisation des anomalies. En fait, une lésion visible sur l’image peut correspondre à diverses pathologies et son interprétation dépend des informations que le radiologue a à disposition. C’est par exemple le cas d’une radiographie du thorax qui présente des cavités suspectes que l’IA détecte comme étant liées à une tuberculose.

28

Selon la clinique tu vois… il y a quand même… la tuberculose ce n’est pas la seule étiologie qui donne des lésions excavées comme ça ; selon la clinique et les prélèvements qu’ils ont faits, il faut corréler à tout ça, mais (…) en fait si j’ai une radio comme ça et que l’urgentiste, il me dit, il est passé aux urgences, il revient de, je ne sais pas, il habite au Maroc ou dans une zone endémique où il a pu avoir la tuberculose, qu’il tousse, on a un doute sur la tuberculose, (…) je dis « faire des prélèvements » parce qu’il y a de grandes chances qu’il ait une tuberculose (interne en radiologie).

29En l’occurrence, l’historique du patient et les notes des médecins qui indiquent une hospitalisation pour pneumonie l’aident à définir les lésions autrement (une condensation dans ce cas) et à écarter la tuberculose.

30Lors de l’interprétation d’une autre radiographie, l’interne nous dit que l’image du thorax affiche un énorme volume pulmonaire. Malgré l’avis du logiciel, pour lequel il y a une absence d’anomalie, le radiologue nous explique que cela peut être un signe indirect d’un emphysème et que cela dépend d’autres informations :

31

Est-ce qu’il vient pour des symptômes pulmonaires et dans ce cas-là, il faudrait pousser, ou alors est-ce qu’il vient pour complètement tout autre chose et il n’a pas du tout de problème pulmonaire et si ça se trouve, c’est juste quelqu’un qui peut être aussi très grand tu vois (…) même si tu lui mets le critère distension thoracique et bah elle va tout le temps mettre anormal s’il y a une distension thoracique, mais par contre des fois c’est normal parce que la personne est physiologiquement grande et filiforme, des fois c’est anormal parce que la personne a une vraie distension thoracique d’une pathologie pulmonaire, mais ça, c’est le contexte clinique qui rentre en jeu (interne en radiologie).

32L’interne nous dit disposer des mesures du patient et avoir la possibilité de vérifier sa conformation physique, un critère qui pourrait donc être utilisé dans l’évaluation d’une distension thoracique. Dans ce cas précis, il prend en compte aussi l’âge du patient (31 ans), la fréquence de la pathologie selon les âges étant aussi un élément décisif. Ces informations aident le radiologue à interpréter l’image qui sera jugée comme non pathologique. Dans ce dernier cas, l’avis du logiciel est concordant avec celui du radiologue mais la normalité n’est pas évaluée de la même manière par la machine et le radiologue.

33Les antécédents familiaux et l’âge des patients sont des éléments qui expliquent parfois la tolérance à une anomalie ou au contraire qui justifient le recours à des examens supplémentaires et à un suivi plus régulier. De la même manière, la gravité d’une anomalie dépend des informations que le radiologue recueille lors de l’examen clinique (s’il y a lieu) et acquiert par le toucher mais aussi par le ressenti du patient.

34Les radiologues, tout particulièrement dans le cas du cancer, sont sans cesse confrontés à l’observation d’images où les lésions témoignent d’opérations chirurgicales et des traitements thérapeutiques subis par les patients. Ces lésions, qui ne sont pas reconnues par le logiciel d’IA et donnent systématiquement lieu à des faux positifs, sont pourtant très communes et le radiologue sait distinguer les artefacts dus à la présence de cicatrices ou de dispositifs médicaux (implants, pacemakers, drains…) des signes d’une éventuelle progression de la maladie. Par exemple, une prothèse du foie peut modifier la circulation et la vascularisation de l’organe en créant de fausses prises de contraste.

35La lecture automatisée d’une partie des images est donc mise à mal par la non-reconnaissance de certaines altérations des corps. D’ailleurs, lors de notre enquête, certains radiologues exprimaient une méfiance particulière quant à la capacité des outils d’IA à prendre en compte la complexité introduite par les modifications physiques dues aux interventions médicales, dont les images témoignent fréquemment :

36

Pour des trucs hyper simplex, tu lui dis : « je veux que tu détectes dans le noir du gras une infiltration… » il va le faire super bien… mais des trucs hyperspécialisés où on modifie tout… parce que si tu demandes de diagnostiquer un CHC (carcinome hépatocellulaire) du foie, une tumeur artérielle du foie [7] en disant : « tu mesures tout ce qui est artériel [8] dans le foie »… sauf que nous on lui aura mis du produit blanc qui va être détecté comme du rehaussement, l’artère on la lui aura ligaturée, donc le temps artériel… il n’existe plus, la machine va dire : « attends je pige pas là ! tu me demandes un temps artériel sans artère avec un foie avec du blanc dedans et de machins… je pige plus rien, je te sors tout quoi ! » (radiologue).

37Nous pouvons nous apercevoir ici à quel point la notion de « super-normalité » introduite par Anne Beaulieu (Beaulieu, 2001) caractérise la classification des anomalies par la machine. Cette notion a été employée pour décrire la sélection de sujets expérimentaux dans la recherche en neuro-imagerie, une sélection qui repose sur des critères valorisant une idée de normalité déterminée culturellement et qui exclut des traits habituellement considérés comme non-pathologiques [9]. Cette notion peut également rendre compte du fonctionnement de la détection automatique car, n’étant pas performante pour la lecture d’anomalies sur des corps modifiés par la technique, elle incarne un idéal – celui du corps « super-normal » – et écarte de fait une partie importante de patients.

38Ces exemples montrent que reconnaître une anomalie nécessite la prise en compte de multiples informations par le radiologue et illustrent comment le signe « visible » est interprété à l’aune d’une définition de la normalité qui diverge de celle qui oriente la détection automatique.

Rôle social du compte rendu

39Nous le voyons, pour le radiologue, la présence d’une anomalie ne témoigne pas forcément d’un état pathologique. La machine détecte parfois des anomalies qui, après la prise de connaissance de l’histoire du patient et selon son évaluation éclairée par l’expérience, ne sont pas considérées comme problématiques par le radiologue. Face à une image étiquetée comme pathologique par le logiciel, un interne explique :

40

Effectivement si je veux être très précis et très… tout décrire, il y a un émoussement des culs de sac [10], ça je ne peux pas le nier, ils sont là effectivement, c’est vrai ; après c’est juste que, il n’y a pas de franc épanchement pleural [11], est-ce que je dois notifier un émoussement ? est-ce qu’il y a un réel impact thérapeutique derrière ? ça, c’est encore un autre problème, moi spontanément je ne l’aurais pas notifié (interne en radiologie).

41Souvent le radiologue décide de taire des anomalies qu’il n’estime pas significatives. Les radiologues ne consignent pas tout ce qu’ils voient à l’écrit mais relatent les choses qu’ils considèrent essentielles à la compréhension du cas. Ils rédigent ensuite le compte-rendu en anticipant parfois les possibles réactions des destinataires. Par exemple, s’ils voient des anomalies qu’ils ne considèrent pas inquiétantes, ils ne les mentionnent pas pour ne pas alarmer le médecin prescripteur. Lors d’une autre observation, un des radiologues observe à voix haute :

42

Hop ! ça ne me gêne pas (il se réfère à ce qu’il voit)... Je n’en parlerai pas, c’est rien. (…) Il y avait des micronodules, mais je n’en parle pas parce qu’il n’y a rien du tout donc, ça va inquiéter les cliniciens.... On n’en parle pas, il n’y a rien (radiologue) !

43Le regard du radiologue est donc entraîné à contourner les anomalies qu’il considère sans gravité et sans rapport avec la question du clinicien :

44

Vous prenez des kystes rénaux… tout le monde a des kystes rénaux qui peuvent faire 2 mm, 3 cm... Mais c’est quelque chose… on ne le décrit même plus parce que de toute façon ça n’a aucune incidence, ni intérêt, ni quoi que ce soit (radiologue) !

45À l’inverse, d’autres fois, les informations incluses dans le compte rendu ne sont pas utiles à une meilleure compréhension ou prise en charge du patient, mais visent exclusivement à une mise en valeur du savoir exercé par le radiologue et à la construction du sérieux qu’il veut rendre visible par écrit. Un interne nous explique que si, d’habitude, pour une radiographie du thorax normale, il utilise un compte-rendu standard, pour les radios du rachis normales, celles-ci étant plus complexes, il décrit ce qu’il voit en détail : cette pratique « montre qu’on a regardé les points importants ». Le compte-rendu doit être d’autant plus « soigné » quand on n’a pas de contact avec le patient. L’attention au contenu mais aussi aux fautes d’orthographe, par exemple, s’explique par la valeur du compte-rendu quand celui-ci est le seul objet qui témoigne de l’acte médical. Un interne nous dit : « on ne voit pas le patient, donc ils ont que le compte-rendu… avec notre nom ». Cette trace est vue aussi comme un moyen de se protéger dans l’éventualité d’attaques à leur encontre de la part d’autres professionnels, voire des patients. C’est pour cela qu’« il y en a même qui font le compte-rendu en se disant : si un jour il y a un procès… ».

46Le compte-rendu est également le témoignage du regard « généraliste » du radiologue. Souvent, le texte ne se limite pas aux lésions qui justifient l’examen mais à tout détail que le radiologue estime utile de consigner. Cela peut concerner des choses visibles mais aussi invisibles. Comme ce cas où, ayant connaissance des circonstances dans lesquelles le patient est pris en charge – le fait notamment qu’il ait fait l’objet de violences physiques –, le radiologue explicite dans le compte-rendu la « mauvaise exploration des côtes inférieures » pour souligner une absence de visibilité complète et suggérer la possibilité de lésions non vues. Cette action dépasse largement le cadre d’une simple détection et le visible ne suffit pas à définir le normal et le pathologique.

47Le compte-rendu est une sélection d’éléments opérée par le radiologue qui répond à des savoir-faire, à la connaissance du cas et à des attentes sociales. Au moment où ils doivent dicter le compte-rendu, les radiologues sélectionnent les éléments qui ont selon eux de l’importance pour leurs destinataires (cliniciens, collègues ou patients). Dans ce sens, la détection offerte par l’IA n’est pas en adéquation avec l’interprétation du radiologue qui ne définit pas les images de normales ou pathologiques par la simple présence ou absence de lésions, mais aussi par la valeur sociale des informations qu’il entend transmettre au prescripteur de l’examen, à d’autres collègues ou au patient.

IA et apprentissage de la pratique radiologique

48Nous avons vu que les urgentistes lisent en premier les radiographies et prennent des décisions quant à la prise en charge du patient. Le jour suivant, les internes en radiologie relisent les notes des radiographies considérées normales par les urgentistes et corrigent, quand il le faut, leur avis. Les discordances peuvent donner lieu à des échanges entre le radiologue, l’urgentiste et d’autres professionnels (par exemple, les chirurgiens) qui se réunissent pour discuter de certains cas cliniques. Malgré le manque de temps et l’incapacité de maîtriser les logiciels de lecture d’images que manient habituellement les radiologues, l’urgentiste acquiert un niveau d’expertise sur le tas qui lui permet de prendre efficacement des décisions dans des situations d’urgence. En fait, si le radiologue rencontre parfois des anomalies qui n’ont pas été évoquées par l’urgentiste, celles-ci ne sont pas souvent de nature à remettre en cause la décision en faveur d’un retour au domicile du patient.

49Les notes laissées par les urgentistes sont le point de départ du processus d’interprétation des internes qui orientent leur regard en fonction des informations qu’ils ont à disposition sur le patient et d’un nombre spécifique de pathologies à éliminer. L’avis du radiologue se constitue donc dans un espace déjà balisé précédemment par l’urgentiste. La proximité (physique) avec des collègues plus anciens et la possibilité de faire appel à un sénior renforcent aussi la confiance de l’interne en cas de doute. Leur statut d’apprenant fait que la sollicitation des autres pour consolider un avis est un mode de relation normal et légitime, ce qui explique pourquoi les internes ne sont pas confrontés à des situations de doute où la machine leur serait nécessaire ou même souhaitable. Dans ce contexte, l’IA est vue comme une possible source d’interférence dans leur phase d’apprentissage, moment charnière où l’entraînement de l’œil s’opère par le visionnage intensif d’une quantité considérable de données. En cas de doute, les internes préfèrent demander à d’autres collègues ou s’appuyer sur une connaissance plus établie, telle que les définitions qu’ils puisent dans les manuels ou sur des pages Internet.

50Étant au début de leur parcours de formation, les internes montrent une volonté de se mettre à l’épreuve en s’exposant à la lecture des images sans que leur confiance soit mise à mal par les avis du logiciel :

51

Du coup il (le logiciel) me met le doute, tu vois, parce que, voilà, moi, spontanément, je sais qu’il n’y a rien là, mais voilà, si on me montre un carré en me disant : « il y a peut-être quelque chose de pathologique, là », est-ce que j’ai assez de certitudes et assez de connaissances et assez d’assurance pour dire contre un logiciel, est-ce que je suis meilleur que lui ou pas quoi (interne en radiologie) !

52Ajoutons que les radiologues juniors expriment la crainte, lors de sessions de formation au logiciel, que leur expertise soit pénalisée par la possibilité d’une perte de connaissance due à l’élimination d’images qui auraient été évaluées normales par la machine. En fait, comme l’outil est censé être plus performant dans l’étiquetage des images normales, qui devrait s’expliquer par une tendance à la « surdétection » par l’homme, les scientifiques des données visent, surtout dans le long terme, à orienter la confiance des utilisateurs envers les images que le logiciel a classées comme étant normales en laissant l’expertise humaine pour les données pathologiques. Mais, pour les internes, la définition de la frontière entre le normal et le pathologique est justement au cœur du processus d’apprentissage. Étant en cours d’acquisition, elle risque pour eux d’être brouillée par l’intervention de la machine.

Savoirs tacites et IA

53La manière même qu’ont les internes d’utiliser le logiciel démontre leur crainte quant à la possible perturbation introduite par la détection automatique. En fait, le fonctionnement du logiciel, qui prévoit l’ouverture du compte-rendu automatique et de la radiographie en même temps, provoque un détournement volontaire de la tête de l’interne qui cherche avec la souris à fermer la fenêtre sans regarder l’écran pour ne pas être perturbé par le résultat de la détection automatique. Ce n’est qu’ensuite qu’il regarde attentivement l’image et commence son interprétation. L’avis élaboré par l’IA est lu seulement après. Cela s’explique entre autres par la crainte d’une possible modification d’habitudes de visionnage, qui interviennent dans l’activité d’observation des radiologues. C’est ce qu’essaie d’expliquer un interne à l’ingénieur en charge du suivi des utilisateurs au CHU, pour justifier pourquoi il regarde l’avis de l’IA seulement après avoir réalisé sa propre interprétation :

54

Moi je sais que, et je pense qu’il y a pas mal de gens qui fonctionnent pareil, c’est que, étant donné qu’on regarde tous les radios de manière assez personnelle avec un schéma bien précis, moi je sais qu’on m’a, quand je regarde une radio de thorax je regarde d’abord ça, et puis ça, puis ça, puis ça, et si je sais qu’il y a un truc qui est anormal quand je vais l’ouvrir je vais être là, en mode « où est-ce que c’est que c’est anormal » tu vois (interne en radiologie) ?

55En effet, l’automatisation vient s’inscrire dans un processus de lecture d’image qui varie selon les individus, chaque radiologue s’appuyant, entre autres, sur des « savoirs tacites » (Collins, 1974, 2001) qui orientent leur pratique diagnostique.

56Nous avons repéré diverses fonctions de ces savoirs tacites. Par exemple, dans des cas de suivi et de détection de carcinome hépatocellulaire ou d’autres affections du foie, un des radiologues nous explique qu’il visualise toujours d’abord les poumons avant de passer au foie. Il commence « par les petites choses », parce qu’il sait que le foie va lui demander beaucoup de concentration et qu’ensuite c’est plus facile de passer rapidement sur le reste du corps. En sachant sa difficulté à se concentrer sur les organes (possiblement) le moins touchés par la maladie, il les visualise avant.

57Il y a aussi des habitudes concernant le sens du « balayage » visuel de l’image par le radiologue. L’un d’eux, par exemple, regarde les organes toujours dans le même « sens » (c’est-à-dire le plan de l’image) en visualisant « les reins en coronal » et « les os en sagittal ». Il observe aussi le même organe à plusieurs reprises mais en ciblant une zone particulière à chaque fois. Par exemple, il divise chaque poumon en deux et visionne les quatre portions de l’image séparément parce qu’il trouve difficile, en balayant du regard l’image en une seule fois, d’embrasser toute la superficie visible et d’y discerner des éventuelles anomalies.

58À travers ces normes, qui concernent à la fois l’ordre de visionnage des organes et la manière dont les organes doivent être visualisés, le radiologue distribue ses tâches à partir des ressources cognitives que le visionnage de chaque organe requiert.

59La mobilisation de savoirs tacites est également au cœur de l’utilisation des mesures par les radiologues. Ces mesures font partie intégrante du processus de reconnaissance de l’anomalie, l’œil étant entraîné à voir ce qui dépasse certaines valeurs établies. L’appréhension quantitative d’une lésion est donc une opération indispensable à l’interprétation, bien qu’elle varie en fonction du contexte clinique, de l’expérience du médecin et du type de question qui accompagne l’examen.

60

Là il n’y a pas de ganglion… un ganglion pathologique doit faire plus de 15 mm... Après ça dépend à quel endroit mais dans le poumon c’est plus de 15 en plein milieu, plus de 10 à cet endroit-là, et ici plus de 8… Tu vois si tu passes dessus, si tu as quelque chose de 15 mm, là, au milieu, tu es censé le voir quoi (radiologue spécialisé en imagerie abdominale).

61Les mesures permettent donc de voir un trait suspect mais peuvent aussi être écartées si le radiologue les juge trompeuses. Ainsi, certaines mesures réalisées par le radiologue sur les lésions sont omises du compte-rendu s’il juge qu’elles risquent d’être mal interprétées par un autre médecin. Par exemple, le radiologue distingue en temps réel, implicitement, les anomalies qui relèvent d’une possible évolution de la maladie et les anomalies dues aux actes médicaux subis par le patient. Le triage des informations est ici justifié par le caractère potentiellement alarmant de la taille de la tumeur, qu’il sait être due au traitement. À travers des savoirs tacites – qui s’appuient sur l’état du patient, les traitements qu’on lui a administrés et les effets de ceux-ci sur l’image – le radiologue reconsidère les signes visibles pour les analyser à l’aune des spécificités du cas.

62Ces routines, qui encadrent les visualisations et qui changent selon la pathologie examinée, la technique et la question posée par le clinicien, peuvent être plus ou moins standardisées selon la solidité de la connaissance qui accompagne le travail diagnostique. L’expérience permet d’acquérir une connaissance de la variabilité des manifestations pathologiques et d’entraîner son regard pour « voir » des anomalies significatives sur l’image. Ce lien fort entre voir et savoir, qui est manifeste dans les propos des radiologues, explique pourquoi le logiciel d’aide au diagnostic est vu comme une source de perturbations dans l’acquisition de ces routines lors des premières années d’apprentissage de la pratique radiologique. Ces routines – qui rendent compte d’un savoir informel et expérientiel – sont transmises en partie par les radiologues expérimentés. Comme le remarque Andreas Roepstorff : « l’interaction sociale crée des champs d’attention communs, qui servent à soutenir l’interprétation (…) et l’action (…). Cela suggère que la connaissance sert de background nécessaire pour voir ou, pour le dire un peu différemment, cette vue efficace (…) apparaît dans une certaine mesure conceptuelle » (Roepstorff, 2007 : 204). Dans le cas analysé, la transmission des savoirs n’est néanmoins pas mise en cause par l’automatisation, les internes préférant l’avis de l’humain à celui de la machine.

63Le logiciel d’IA qui semble mettre au défi la consolidation des savoirs tacites qui participent à la construction du regard médical pose également le problème de la responsabilité qui est engagée lors de la prise de décision. L’incapacité des algorithmes à opérer dans le contexte que l’on vient de décrire, contexte façonné à la fois par les savoir-faire, l’expérience, les conventions, entre en résonance avec l’incompréhension, humaine cette fois, du fonctionnement du logiciel. Nous avons constaté que l’impossibilité d’accéder au processus mis en œuvre par le logiciel, et donc aux étapes impliquées dans la production des résultats, rend problématique l’adoption de l’outil.

Explicabilité et responsabilité

64Dans le cas analysé ici, IAT introduit une incertitude différente qui a trait au manque d’explicabilité caractéristique des algorithmes de deep learning. Cette méthode implique un fonctionnement en « boîte noire » qui ne permet pas l’entière compréhension des processus mis en œuvre par le logiciel et donc des étapes impliquées dans la production des résultats. Ce type de phénomène a été qualifié d’« opacité épistémique » par Paul Humphreys (Humphreys, 2009). Pourtant, comme nous l’avons constaté sur nos terrains (Anichini, 2018), vu la sollicitation continue d’outils numériques – tels que les logiciels de reconstruction, de traitement et d’analyse d’images –, les chercheurs et les cliniciens sont obligés de « faire avec » cette ignorance :

65

Nous les radiologues, parce qu’on travaille avec des machines, et du numérique et de l’informatique, ça fait des années qu’il y a des boîtes noires donc on ne comprend pas tout hein ! (…) là, tous nos systèmes, ils sont numériques, parfois il y a des reconstructions d’images dans lesquelles je mets des algorithmes, des filtres… il y a une boîte noire hein (radiologue) !

66L’adoption de l’aide automatisée fournie par le logiciel demeure problématique du fait que les raisons qui expliquent la détection s’avèrent inaccessibles. Or, la détection met en jeu l’expertise et la responsabilité du médecin. Les internes abordent cette question en évoquant la prise de risque qui consiste à accepter une décision sans tout comprendre :

67

La machine vous dit « c’est ça » et puis elle vous demande de valider ça, et vous ne connaissez pas quoi ! C’est un peu ça ! C’est-à-dire qu’on tombe sur une image euh qu’on ne connaît pas, et puis elle nous dit « c’est ça ! » (interne en radiologie).

68Les raisons de certains choix d’IAT restent méconnues par les internes, notamment la différente classification d’un même « type » de lésion. On le voit dans ces extraits d’échange entre un ingénieur de la start-up et un interne qui interprète des radiographies en utilisant le logiciel en sa présence :

69 Interne : Non, mais du coup ça : “opacité”  [12] , (…) c’est opacité ok, c’est bien. Tu vois, là, par contre, ce qui est bizarre, c’est qu’il n’a pas mis l’émoussement…

70 Ingénieur : Oui.

71Interne : Alors que, l’autre fois, c’était exactement la même image, c’est la même image que sur la radio d’avant, tu vois. (…)

72Interne : après, j’imagine que ce n’est pas possible mais, genre, tu vois, par exemple, ce qui serait intéressant de voir, tu vois… émoussement… quel critère algorithmique vous avez rentré pour qu’il dise émoussement, tu vois ?

73Ingénieur : Heu, alors tu entends quoi par critère…

74Interne : Qu’est-ce qu’il s’est dit, lui, dans sa tête, pour dire émoussement ou épanchement ? Parce que, tu vois, typiquement, la radio de tout à l’heure, il met épanchement, heu… quel raisonnement il a eu de manière mathématique du coup sur, plutôt… il s’est orienté vers un épanchement ou plutôt vers un émoussement ou plutôt vers un cul-de-sac pleural libre, quoi (…) Quand il parle d’épanchement, quand il parle de cardiomégalie, quand il parle de nodule, qu’est-ce qu’on lui a appris, quoi. Mais ça, malheureusement, tu n’as pas la réponse, mais moi, c’est quelque chose que j’aimerais vraiment savoir, et nous ce que je disais, cardiomégalie nous c’est un critère c’est le diamètre du cœur sur le diamètre de la cage thoracique… (…)

75Ingénieur : Oui alors ça c’est, c’est un champ de recherche nouveau, parce qu’autant les techniques de… ces algorithmes de deep learning ils sont assez puissants, ils marchent mieux que les méthodes plus anciennes, mais ils fonctionnent un peu comme des boîtes noires, c’est qu’aujourd’hui on a du mal à dire « ok, l’algo dit ça » et à expliquer pourquoi il a sorti ce diagnostic.

76L’interne essaie de remonter la chaîne des opérations qui peuvent expliquer le choix du logiciel en cherchant à repérer des « catégories » sous-jacentes, celles qu’il a acquises par la lecture des manuels. Ces catégories s’adaptent mal aux calculs du deep learning qui aboutissent à des résultats exploitant un apprentissage sur des bases de données annotées par des radiologues mais dont les multiples couches de traitements ne pourraient pas être rendues transparentes.

77Nous voyons que, quand il s’agit de la phase de détection, l’opacité qui caractérise le choix automatisé s’avère problématique en raison du sentiment d’expropriation de la décision qu’elle produit, ce qui témoigne d’une mise à mal de l’engagement de la responsabilité médicale dont chaque interprétation est porteuse.