Des scientifiques du MIT et de Harvard découvrent que l'IA peut reconnaître la race à partir des rayons X - et personne ne sait comment - The Boston Globe

Un médecin ne peut pas dire si quelqu’un est noir, asiatique ou blanc, simplement en regardant ses radiographies. Mais un ordinateur le peut, selon un nouvel article surprenant d’une équipe internationale de scientifiques, comprenant des chercheurs du Massachusetts Institute of Technology et de la Harvard Medical School.

L’étude a révélé qu’un programme d’intelligence artificielle formé pour lire les rayons X et les tomodensitogrammes pouvait prédire la race d’une personne avec une précision de 90 %. Mais le logiciel n’a pas été formé pour identifier les patients par race, et les scientifiques qui ont mené l’étude disent qu’ils n’ont aucune idée de la façon dont l’ordinateur le calcule.

“Lorsque mes étudiants diplômés m’ont montré certains des résultats contenus dans cet article, j’ai en fait pensé que ce devait être une erreur”, a déclaré Marzyeh Ghassemi, professeur adjoint de génie électrique et informatique au MIT et co-auteur de l’article. qui a été publié mercredi dans la revue médicale Lancet Digital Health. “Honnêtement, je pensais que mes élèves étaient fous quand ils me l’ont dit.”

À une époque où les logiciels d’IA sont de plus en plus utilisés pour aider les médecins à prendre des décisions de diagnostic, la recherche soulève la perspective troublante que les systèmes de diagnostic basés sur l’IA pourraient générer involontairement des résultats racistes. Par exemple, une IA (ayant accès aux rayons X) pourrait automatiquement recommander un traitement particulier pour tous les patients noirs, qu’il soit ou non le meilleur pour une personne en particulier. Pendant ce temps, le médecin humain du patient ne saurait pas que l’IA a fondé son diagnostic sur des données raciales.

L’effort de recherche est né lorsque les scientifiques ont remarqué qu’un programme d’IA pour l’examen des radiographies pulmonaires était plus susceptible de manquer des signes de maladie chez les patients noirs. “Nous nous sommes demandé, comment est-ce possible si les ordinateurs ne peuvent pas dire la race d’une personne?” a déclaré Leo Anthony Celi, un autre co-auteur et professeur agrégé à la Harvard Medical School.

L’équipe de recherche, qui comprenait des scientifiques des États-Unis, du Canada, d’Australie et de Taïwan, a d’abord formé un système d’IA en utilisant des ensembles de données standard de rayons X et de tomodensitogrammes, où chaque image était étiquetée avec la race de la personne. Les images provenaient de différentes parties du corps, y compris la poitrine, la main et la colonne vertébrale. Les images diagnostiques examinées par l’ordinateur ne contenaient aucun marqueur évident de race, comme la couleur de la peau ou la texture des cheveux.

Une fois que le logiciel a montré un grand nombre d’images étiquetées par race, il a ensuite été montré différents ensembles d’images non étiquetées. Le programme a pu identifier la race des personnes sur les images avec une précision remarquable, souvent bien supérieure à 90 %. Même lorsque des images de personnes de même taille, âge ou sexe ont été analysées, l’IA a distingué avec précision les patients noirs et blancs.

Mais comment? Ghassemi et ses collègues restent perplexes, mais elle soupçonne que cela a quelque chose à voir avec la mélanine, le pigment qui détermine la couleur de la peau. Peut-être que les rayons X et les tomodensitomètres détectent la teneur plus élevée en mélanine de la peau plus foncée et intègrent cette information dans l’image numérique d’une manière que les utilisateurs humains n’ont jamais remarquée auparavant. Il faudra beaucoup plus de recherches pour être sûr.

Les résultats des tests pourraient-ils constituer une preuve de différences innées entre des personnes de races différentes ? Alan Goodman, professeur d’anthropologie biologique au Hampshire College et co-auteur du livre “Racism Not Race”, ne le pense pas. Goodman a exprimé son scepticisme quant aux conclusions de l’article et a déclaré qu’il doutait que d’autres chercheurs soient en mesure de reproduire les résultats. Mais même s’ils le font, il pense que tout est une question de géographie, pas de race.

Goodman a déclaré que les généticiens n’ont trouvé aucune preuve de différences raciales substantielles dans le génome humain. Mais ils trouvent des différences majeures entre les personnes en fonction de l’endroit où vivaient leurs ancêtres. “Au lieu d’utiliser la race, s’ils regardaient les coordonnées géographiques de quelqu’un, la machine ferait-elle aussi bien ?” demanda Goodman. “Mon sentiment est que la machine ferait tout aussi bien.”

En d’autres termes, une IA pourrait être en mesure de déterminer à partir d’une radiographie que les ancêtres d’une personne venaient d’Europe du Nord, d’une autre d’Afrique centrale et d’une troisième personne du Japon. « Vous appelez cette course. J’appelle cela une variation géographique », a déclaré Goodman. (Même ainsi, il a admis qu’il n’est pas clair comment l’IA pourrait détecter cette variation géographique simplement à partir d’une radiographie.)

Dans tous les cas, Celi a déclaré que les médecins devraient être réticents à utiliser des outils de diagnostic d’IA qui pourraient automatiquement générer des résultats biaisés.

“Nous devons faire une pause”, a-t-il déclaré. “Nous ne pouvons pas nous précipiter pour apporter les algorithmes aux hôpitaux et aux cliniques tant que nous ne sommes pas sûrs qu’ils ne prennent pas de décisions racistes ou sexistes.”


Hiawatha Bray peut être contacté à hiawatha.bray@globe.com. Suivez-le sur Twitter @GlobeTechLab.