Pour rendre l'IA équitable, voici ce que nous devons apprendre à faire

À partir de 2013, le gouvernement néerlandais a utilisé un algorithme pour semer la pagaille dans la vie de 25 000 parents. Le logiciel était censé prédire quelles personnes étaient les plus susceptibles de commettre une fraude aux allocations de garde d’enfants, mais le gouvernement n’a pas attendu la preuve avant de pénaliser les familles et d’exiger qu’elles remboursent des années d’allocations. Les familles ont été signalées sur la base de «facteurs de risque» tels que le fait d’avoir un faible revenu ou la double nationalité. En conséquence, des dizaines de milliers de personnes ont été inutilement appauvries et plus de 1 000 enfants ont été placés en famille d’accueil.

De New York à la Californie et à l’Union européenne, de nombreuses réglementations sur l’intelligence artificielle (IA) sont en préparation. L’intention est de promouvoir l’équité, la responsabilité et la transparence, et d’éviter des tragédies similaires au scandale néerlandais des allocations familiales.

Mais cela ne suffira pas à rendre l’IA équitable. Il doit y avoir un savoir-faire pratique sur la façon de construire l’IA afin qu’elle n’exacerbe pas les inégalités sociales. À mon avis, cela signifie définir des moyens clairs pour que les spécialistes des sciences sociales, les communautés concernées et les développeurs travaillent ensemble.

À l’heure actuelle, les développeurs qui conçoivent l’IA travaillent dans des domaines différents des spécialistes des sciences sociales qui peuvent anticiper ce qui pourrait mal tourner. En tant que sociologue se concentrant sur les inégalités et la technologie, j’ai rarement l’occasion d’avoir une conversation productive avec un technologue, ou avec mes collègues spécialistes des sciences sociales, qui va au-delà des problèmes signalés. Quand je regarde les actes de conférence, je vois la même chose : très peu de projets intègrent les besoins sociaux à l’innovation en ingénierie.

Pour stimuler des collaborations fructueuses, les mandats et les approches doivent être conçus plus efficacement. Voici trois principes que les technologues, les spécialistes des sciences sociales et les communautés concernées peuvent appliquer ensemble pour produire des applications d’IA moins susceptibles de déformer la société.

Inclure l’expérience vécue. De vagues appels à une participation plus large aux systèmes d’IA passent à côté de l’essentiel. Presque tous ceux qui interagissent en ligne – en utilisant Zoom ou en cliquant sur les cases reCAPTCHA – alimentent les données de formation de l’IA. L’objectif devrait être d’obtenir les commentaires des participants les plus pertinents.

Sinon, nous risquons le participation-washing : un engagement superficiel qui perpétue l’inégalité et l’exclusion. Un exemple est l’EU AI Alliance : un forum en ligne, ouvert à tous, conçu pour fournir un retour d’information démocratique au groupe d’experts sur l’IA désigné par la Commission européenne. Lorsque j’ai rejoint en 2018, il s’agissait d’une chambre d’écho non modérée composée principalement d’hommes échangeant des opinions, non représentative de la population de l’UE, de l’industrie de l’IA ou des experts concernés.

En revanche, le chercheur en travail social Desmond Patton de l’Université de Columbia à New York a construit un algorithme d’apprentissage automatique pour aider à identifier les messages Twitter liés à la violence des gangs qui s’appuie sur l’expertise des Noirs qui ont une expérience avec les gangs à Chicago, Illinois. Ces experts examinent et corrigent les notes sous-jacentes à l’algorithme. Patton appelle son approche l’analyse contextuelle des médias sociaux (voir go.nature.com/3vnkdq7).

Pouvoir de changement. Les technologies d’IA sont généralement conçues à la demande de personnes au pouvoir – employeurs, gouvernements, courtiers en commerce – ce qui rend les candidats à un emploi, les candidats à la libération conditionnelle, les clients et les autres utilisateurs vulnérables. Pour résoudre ce problème, le pouvoir doit changer. Les personnes concernées par l’IA ne doivent pas simplement être consultées dès le début ; ils doivent sélectionner les problèmes à résoudre et guider le processus.

Les activistes du handicap ont déjà été les pionniers de ce type d’innovation équitable. Leur mantra «Rien sur nous sans nous» signifie que ceux qui sont concernés jouent un rôle de premier plan dans l’élaboration de la technologie, sa réglementation et sa mise en œuvre. Par exemple, l’activiste Liz Jackson a développé l’application de transcription Thisten lorsqu’elle a constaté que sa communauté avait besoin de sous-titres en temps réel lors du festival du film SXSW à Austin, au Texas.

Vérifiez les hypothèses d’IA. Les réglementations, telles que la loi de décembre 2021 de la ville de New York qui réglemente la vente d’IA utilisée dans l’embauche, exigent de plus en plus que l’IA réussisse les audits destinés à signaler les préjugés. Mais certaines des lignes directrices sont si larges que les audits pourraient finir par valider l’oppression.

Par exemple, pymetrics à New York est une entreprise qui utilise des jeux basés sur les neurosciences pour évaluer les candidats à un emploi en mesurant leurs « attributs cognitifs, sociaux et comportementaux ». Un audit a révélé que l’entreprise n’avait pas violé la loi anti-discrimination américaine. Mais il n’a pas examiné si ces jeux sont un moyen raisonnable d’examiner l’aptitude à un emploi, ou quelles autres dynamiques d’inégalité pourraient être introduites. Ce n’est pas le genre d’audit dont nous avons besoin pour rendre l’IA plus juste.

Nous avons besoin d’audits d’IA pour éliminer les technologies nuisibles. Par exemple, avec deux collègues, j’ai développé un cadre dans lequel un travail qualitatif inspecte les hypothèses sur lesquelles une IA est construite et les utilise comme base pour la partie technique d’un audit d’IA. Cela a éclairé un audit de Humantic AI et Crystal, deux outils de personnalité basés sur l’IA utilisés dans l’embauche.

Chacun de ces principes peut être appliqué intuitivement et se renforcera d’eux-mêmes au fur et à mesure que les technologues, les spécialistes des sciences sociales et les membres du public apprendront à les mettre en œuvre. Des mandats vagues ne fonctionneront pas, mais avec des cadres clairs, nous pouvons éliminer l’IA qui perpétue la discrimination contre les personnes les plus vulnérables et nous concentrer sur la construction d’une IA qui rend la société meilleure.

Intérêts concurrents

MS est membre du conseil consultatif de la Carnegie Council Artificial Intelligence & Equality Initiative et de la faculté des bourses à Auschwitz pour l’étude de l’éthique professionnelle.