Pourquoi l’IA devrait avancer lentement et corriger les choses

Avant même de recevoir son doctorat du MIT Media Lab en 2022, les recherches en intelligence artificielle de Joy Buolamwini attiraient l’attention. En tant qu’étudiante diplômée, elle a fait sensation avec une conférence TED en 2016 sur les biais algorithmiques qui a été visionnée plus de 1,6 million de fois à ce jour. Au cours de la conférence, Buolamwini, qui est noire, a montré que les systèmes de détection faciale standard ne reconnaissaient pas son visage à moins qu’elle ne porte un masque blanc. Elle a également brandi un bouclier orné du logo de sa nouvelle organisation, la Algorithmic Justice League, qui se battra pour les personnes lésées par les systèmes d’IA, qu’elle appellera plus tard les “excodés”. Dans son nouveau livre, “Démascarquer l’IA: Ma mission de protéger ce qui est humain dans un monde de machines”, Buolamwini décrit ses propres prises de conscience des dangers clairs et présents de l’IA actuelle. Elle explique sa recherche sur les systèmes de reconnaissance faciale et le projet de recherche “Gender Shades”, dans lequel elle a montré que les systèmes de classification sexuelle commerciaux classifiaient systématiquement de manière erronée les femmes à la peau foncée. Elle raconte également sa montée stratosphérique – depuis sa conférence TED, elle est intervenue au Forum économique mondial, a témoigné devant le Congrès et a participé à la table ronde du président Biden sur l’IA. Bien que le livre soit intéressant d’un point de vue autobiographique, il contient également des incitations utiles pour les chercheurs en IA prêts à remettre en question leurs hypothèses. Elle rappelle aux ingénieurs que les paramètres par défaut ne sont pas neutres, que les ensembles de données pratiques peuvent être entachés de problèmes éthiques et juridiques, et que les indicateurs ne mesurent pas toujours les bonnes choses. Par e-mail, elle a répondu aux questions de IEEE Spectrum sur la manière d’être un chercheur en IA intègre et sur la manière de changer le statu quo. L’une des parties les plus intéressantes du livre pour moi a été votre description détaillée de la manière dont vous avez mené la recherche devenu “Gender Shades”: Comment vous avez trouvé une méthode de collecte de données éthique, difficulté à créer un schéma de classification subjectif, faisant vous-même l’étiquetage et ainsi de suite. Il m’a semblé que c’était le contraire de l’éthique “voilà une autre manière de faire les choses”, si vous ne voyez jamais une alternative, il peut être difficile d’imaginer. Je crois qu’il existe un monde où plus de chercheurs et de praticiens en IA doivent exercer plus de prudence dans leurs activités de collecte de données, en raison des ingénieurs et des chercheurs qui approchent l’Algorithmic Justice League à la recherche d’une meilleure solution. Le changement commence par la conversation, et nous avons aujourd’hui d’importantes conversations sur la provenance des données, les systèmes de classification et les dommages causés par l’IA, qui étaient souvent considérés comme insignifiants lorsque j’ai commencé ce travail en 2016. Que peuvent faire les ingénieurs s’ils sont préoccupés par le biais algorithmique et d’autres problèmes concernant l’éthique de l’IA, mais qu’ils travaillent pour une grande entreprise typique de la technologie? L’endroit où personne ne remet en cause l’utilisation d’ensembles de données pratiques ou ne demande comment les données ont été collectées et s’il existe des problèmes de consentement ou de biais? Où on attend d’eux qu’ils produisent des résultats à la hauteur des indicateurs standards? Où les choix semblent être: Suivre le statu quo ou trouver un nouvel emploi?Je ne peux pas souligner l’importance de la documentation. En menant des audits algorithmiques et en abordant des grandes entreprises technologiques bien connues avec les résultats, un problème qui est apparu à maintes reprises était le manque de connaissance interne sur les limitations des systèmes d’IA qui étaient déployés. Je crois que l’adoption d’outils tels que les fiches techniques pour les ensembles de données et les cartes de modèles pour les modèles, des approches permettant de voir les données utilisées pour former des modèles d’IA et les performances de ces modèles d’IA dans divers contextes, est un point de départ important. Tout aussi important, c’est également de reconnaître les lacunes, de sorte que les outils d’IA ne sont pas présentés comme fonctionnant de manière universelle alors qu’ils sont optimisés pour un contexte spécifique. Ces approches peuvent montrer à quel point un système d’IA est robuste ou non. Ensuite, la question devient de savoir si l’entreprise est prête à mettre en place un système avec les limitations documentées ou si elle est prête à revenir en arrière et à apporter des améliorations. Il peut être utile de ne pas considérer l’éthique de l’IA séparément du développement de systèmes d’IA robustes et résilients. Si votre outil ne fonctionne pas aussi bien pour les femmes ou les personnes de couleur, vous êtes désavantagé par rapport aux entreprises qui créent des outils qui fonctionnent bien pour une variété de populations. Si vos outils d’IA génèrent des stéréotypes nuisibles ou des discours de haine, votre entreprise court le risque de subir des dommages réputationnels qui peuvent entraver sa capacité à recruter les talents nécessaires, à fidéliser les clients futurs, ou à obtenir un investissement subséquent. Si vous adoptez des outils d’IA qui discriminent des classes protégées pour des domaines centraux, tels que le recrutement, vous risquez des poursuites pénales pour violation des lois antidiscrimination. Si les outils d’IA que vous adoptez ou créez utilisent des données qui violent les droits d’auteur, vous vous exposez à des poursuites. Et avec de plus en plus de décideurs cherchant à réglementer l’IA, les entreprises qui négligent les problèmes ou les discriminations liées à l’IA se retrouvent à payer des pénalités coûteuses qui auraient pu être évitées avec plus de réflexion. “Il peut être difficile d’imaginer une autre manière de faire les choses, si vous ne voyez jamais une alternative.” —Joy Buolamwini, Algorithmic Justice LeagueVous écrivez que “le choix de s’arrêter est une option viable et nécessaire”, et déclarez que nous pouvons inverser le cours même des outils d’IA qui ont déjà été adoptés. Aimeriez-vous voir une inversion de tendance sur les outils d’IA génératifs extrêmement populaires d’aujourd’hui, y compris les chatbots comme ChatGPT et les générateurs d’images comme Midjourney? Pensez-vous que cela soit une possibilité réalisable? Facebook (aujourd’hui Meta) a supprimé un milliard d’empreintes de visages vers le moment d’un règlement de 650 millions de dollars après avoir été accusé de collecter des données faciales pour former des modèles d’IA sans le consentement exprès des utilisateurs. Clearview AI a arrêté d’offrir ses services dans un certain nombre de provinces canadiennes après que des enquêtes sur son processus de collecte de données aient été contestées. Ces actions montrent que lorsqu’il y a de la résistance et un examen minutieux, il peut y avoir du changement. Vous décrivez comment vous avez accueilli la Charte des droits de l’IA comme une “vision affirmative” des protections nécessaires pour préserver les droits civils à l’ère de l’IA. Ce document était un ensemble de directives non contraignant pour le gouvernement fédéral alors qu’il commençait à réfléchir aux réglementations sur l’IA. Il y a quelques semaines à peine, le président Biden a publié un décret sur l’IA qui reprenait bon nombre des idées de la Charte des droits. Êtes-vous satisfait(e) de l’ordonnance exécutive?L’ordonnance exécutive sur l’IA est un développement bienvenu alors que les gouvernements prennent davantage de mesures pour prévenir les utilisations nuisibles des systèmes d’IA, afin que davantage de personnes puissent bénéficier des promesses de l’IA. Je salue l’ordonnance exécutive pour mettre au centre les valeurs de la Charte des droits de l’IA, notamment la protection contre la discrimination algorithmique et la nécessité de systèmes d’IA efficaces. Trop souvent, les outils d’IA sont adoptés sur la base de l’enthousiasme sans voir si les systèmes eux-mêmes sont adaptés à leur usage. Vous minimisez les préoccupations concernant l’IA devenant surintelligente et présentant un risque existentiel pour notre espèce, et écrivez que les “systèmes d’IA existants présentant des préjudices démontrés sont plus dangereux que les systèmes d’IA ‘sensibles’ hypothétiques car ils sont réels.” Je me souviens d’un tweet de juin dernier dans lequel vous parliez de personnes concernées par le risque existentiel et disiez que vous “voyez des marges pour une coopération stratégique” avec elles. Vous sentez-vous toujours de cette manière? À quoi ressemblerait une telle coopération stratégique? Le “risque-X” qui me préoccupe, et dont je parle dans le livre, est le risque-X d’être préjudicié par des systèmes d’IA. Je suis préoccupé par les armes autonomes létales et par le fait de donner aux systèmes d’IA la capacité de prendre des décisions de mise à mort. Je suis préoccupé par les moyens par lesquels les systèmes d’IA peuvent être utilisés pour tuer des gens lentement en les privant d’un accès adéquat aux soins de santé, au logement et à l’emploi. Je ne pense pas que l’on puisse changer le monde en ne parlant qu’aux personnes qui sont d’accord avec vous. Une grande partie du travail de l’AJL a été le fait de dialoguer avec des parties prenantes aux points de vue et aux idéologies différents, pour mieux comprendre…