Arize introduit le traçage des biais de l'IA pour identifier et traiter les causes

Nous sommes ravis de ramener Transform 2022 en personne le 19 juillet et virtuellement du 20 au 28 juillet. Rejoignez les leaders de l’IA et des données pour des discussions approfondies et des opportunités de réseautage passionnantes. Inscrivez-vous aujourd’hui!


Arize, un fabricant d’outils d’observabilité d’intelligence artificielle (IA), a introduit Bias Tracing, un nouvel outil permettant d’identifier la cause première du biais dans les pipelines d’apprentissage automatique (ML). Cela peut aider les équipes à établir des priorités et des ajustements et à résoudre les problèmes liés aux données ou à l’algorithme lui-même.

Les entreprises utilisent depuis longtemps l’observabilité et le traçage distribué pour améliorer les performances des applications, résoudre les bogues et identifier les vulnérabilités de sécurité. Arize fait partie d’un petit groupe d’entreprises qui adaptent ces techniques pour améliorer la surveillance de l’IA.

L’observabilité analyse les journaux de données pour surveiller une infrastructure complexe à grande échelle. Le traçage rassemble un jumeau numérique représentant la logique d’application et le flux de données pour les applications complexes. Le nouveau traçage des biais applique des techniques similaires pour créer une carte des flux de traitement de l’IA couvrant les sources de données, l’ingénierie des fonctionnalités, la formation et le déploiement. Lorsqu’un biais est détecté, cela peut aider les gestionnaires de données, les scientifiques et les ingénieurs à identifier et à rectifier la cause première du problème.

“Ce type d’analyse est incroyablement puissant dans des domaines tels que la santé ou la finance, compte tenu des implications réelles en termes de résultats de santé ou de décisions de prêt”, a déclaré Aparna Dhinakaran, cofondatrice et chef de produit d’Arize.

Aller à la racine du biais de l’IA

La plate-forme d’observabilité de l’IA d’Arize a déjà pris en charge des outils de surveillance des performances de l’IA et de caractérisation de la dérive des modèles. Les nouvelles capacités de Bias Tracing peuvent automatiquement identifier les entrées et les tranches de modèle qui contribuent le plus au biais rencontré en production et identifier leur cause première.

Dhinakaran a déclaré que le lancement de Bias Tracing est lié au travail révolutionnaire de Judea Pearl sur l’IA causale, qui est à la pointe de l’IA explicable et de l’équité de l’IA. Le travail de Pearl sur l’IA causale se concentre sur l’apprentissage des machines pour apprendre les causes et les effets et pas seulement les corrélations statistiques. Par exemple, au lieu de la simple capacité pour une machine de corréler un attribut protégé et des résultats, la machine a besoin de la capacité de raisonner si un attribut protégé est la cause d’un résultat défavorable.

Aller plus loin

Un exemple de mesure d’équité utilisée par Arize est la parité de rappel. La parité de rappel mesure la sensibilité du modèle pour un groupe spécifique par rapport à un autre, ainsi que la capacité du modèle à prédire correctement les vrais positifs.

Par exemple, un fournisseur de soins de santé régional pourrait être intéressé à s’assurer que ses modèles prédisent les besoins en soins de santé de manière égale entre les Latinx (le groupe « sensible ») et les Caucasiens (le groupe de base). Si la parité de rappel se situe en dehors des seuils de 0,8 à 1,25 (connue sous le nom de règle des quatre cinquièmes), cela peut indiquer que les Latinx ne reçoivent pas le niveau de soins de suivi nécessaire en tant que Caucasiens, entraînant différents niveaux d’hospitalisation et de résultats de santé futurs.

“La distribution des soins de santé de manière représentative est particulièrement importante lorsqu’un algorithme détermine une intervention de traitement d’assistance qui n’est disponible que pour une petite fraction de patients”, a déclaré Dhinakaran.

Arize aide l’entreprise à identifier qu’il existe un problème global et aide l’entreprise à cliquer sur un niveau plus profond pour voir que l’impact disparate est le plus prononcé pour des groupes spécifiques. Par exemple, il peut s’agir de femmes Latinx, de Latinx âgées de 50 ans ou plus ou de Latinx dans des États particuliers. En découvrant ces cohortes où l’injustice du modèle est potentiellement la plus élevée, les équipes de ML savent comment résoudre le problème en ajustant ou en reformant le modèle en conséquence.

Arize Bias Tracing est actuellement conçu pour fonctionner avec des modèles de classification et s’étendra à d’autres cas d’utilisation au fil du temps.

Parmi les autres entreprises travaillant sur l’observabilité de l’IA, citons WhyLabs, Censius et Data Robot. Les entreprises travaillant sur des outils pour améliorer l’explicabilité de l’IA incluent Fiddler et SAS.

La mission de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques d’acquérir des connaissances sur la technologie d’entreprise transformatrice et d’effectuer des transactions. En savoir plus sur l’adhésion.