AustralieLe chercheur de Microsoft lutte contre les inégalités sociales générées par les algorithmes et l'intelligence artificielle.
Kate Crawford prononce un discours sur l'intelligence artificielle | Technologie
Kate Crawford (Sidney) ne révèle pas son année de naissance. N'importe quelle entreprise pourrait utiliser ces informations pour tenter de lui vendre un produit, voire influencer ses intentions de vote. « Lieu de résidence, âge, sexe, voire amis… ces informations peuvent paraître anodines, mais il faut être conscient de ce qu'ils peuvent en faire », explique-t-elle. Son combat n'est pas de faire payer les entreprises technologiques pour l'utilisation des données personnelles, mais de mettre en lumière les problèmes sociaux engendrés par la technologie. Crawford étudie la façon dont les algorithmes marginalisent les minorités. Parallèlement à son travail de chercheuse chez Microsoft , elle a fondé en 2017 l' AI Now Research Institute avec d'autres collègues de l'Université de New York , un institut indépendant qui vise à aider les gouvernements à corriger les biais inégalitaires de leurs algorithmes.
Son objectif est de mettre fin aux « boîtes noires » , ces systèmes automatisés et totalement opaques utilisés par les gouvernements pour décider de questions fondamentales affectant la vie des citoyens, comme l'attribution des prestations de soins de longue durée. « Personne ne sait comment elles fonctionnent ni quels sont les critères utilisés pour entraîner ces machines », explique l'experte, chargée par l' administration Obama d'organiser une conférence sur les implications sociales de l'intelligence artificielle en 2016.
Crawford a participé la semaine dernière à la Conversation sur l'intelligence artificielle et son impact sur la société , organisée par le ministère de l'Énergie et de l'Agenda numérique à Madrid, où elle a présenté les conclusions de son rapport Algorithmic Impact Assessment , un guide pour détecter les injustices et perfectionner les algorithmes des autorités publiques.
Question : Le monde numérique reproduit les inégalités du monde réel. De quelles sources les données sont-elles extraites pour former les algorithmes ?
Réponse : Il faut comprendre le fonctionnement des systèmes d’intelligence artificielle. Pour leur apprendre à distinguer un chien d’un chat, nous leur fournissons des millions d’images de chacun de ces animaux. Nous les entraînons à les identifier. Le problème, c’est que ces mêmes systèmes, ces logiciels , sont utilisés par la police américaine pour prédire les crimes. Ils entraînent l’algorithme avec des photos d’accusés, des données sur les quartiers où la criminalité est la plus élevée ou où les arrestations sont les plus nombreuses. Ces schémas sont biaisés ; ils reproduisent des stéréotypes, et l’intelligence artificielle les considère comme la seule vérité. Nous leur imprégnons de nos limites, de notre façon de les marginaliser.
Q. Ces données sont-elles collectées de manière aléatoire sur Internet ?
A. Des bases de données sont utilisées. L'une des plus populaires et des plus utilisées par les entreprises technologiques est Image Net, qui contient 13 000 images. 78 % d'entre elles représentent des hommes et 84 % des personnes blanches. Ce sont les références de tout système entraîné avec cet outil. La façon dont nous étiquetons les images est étroitement liée à notre culture et à notre construction sociale. Image Net a été créée en compilant des photographies de Yahoo News entre 2002 et 2004. Le visage qui apparaît le plus fréquemment est celui de George W. Bush, alors président des États-Unis. Aujourd'hui encore, c'est l'une des bases de données les plus utilisées. Les systèmes d'intelligence artificielle semblent neutres et objectifs, mais ils ne le sont pas. Ils vous racontent une version très particulière de l'histoire.
Q. Quelles entreprises sont intéressées à allouer des ressources pour analyser ces biais ?
R. Nous l'avons fait chez Microsoft. Dans notre étude « L'homme est au programmeur informatique ce que la femme est à la femme au foyer ? », nous avons constaté que les hommes sont souvent associés à des professions comme politicien ou programmeur, et les femmes à des métiers comme mannequin, femme au foyer, mère… En analysant des centaines de textes, nous extrayons ces schémas, ces stéréotypes sociaux que les algorithmes reproduisent ensuite. C'est pourquoi, si vous recherchez le mot « médecin » sur Google Images, vous verrez des photos d'hommes en blouse blanche. Si vous tapez « infirmière », vous ne verrez que des femmes à l'hôpital. Lorsque les gens voient cela, les préjugés les plus élémentaires sont automatiquement renforcés. Nous devons commencer à remettre en question la structure de ces systèmes.
Q. En Europe, l'utilisation de l'IA pour la prise de décision par les gouvernements n'est pas encore courante. Quel impact a-t-elle aux États-Unis ?
A. En mars dernier, les médias ont rapporté que le gouvernement utilisait un algorithme pour décider quand une personne devait bénéficier de soins à domicile. Soudain, de nombreuses prestations ont été supprimées, et des personnes âgées qui bénéficiaient de soins à domicile depuis des années se sont retrouvées sans ces services. Qu'est-ce qui a changé ? L'algorithme n'a pas tenu compte du contexte et a pris de mauvaises décisions. Personne n'avait évalué le système pour déterminer combien de personnes avaient été laissées pour compte. Ce fut un scandale aux États-Unis. C'est un exemple de système mis en œuvre sans recherche suffisante. Les personnes ayant les ressources économiques les plus faibles et un faible niveau d'éducation sont les premières à en souffrir.
Q. Les gouvernements devraient-ils rendre ces algorithmes publics ?
A. Dans l'un des rapports publiés l'année dernière par l'AI Now Research Institute , nous avons formulé une recommandation cruciale : les gouvernements devraient cesser d'utiliser des systèmes algorithmiques fermés. Ils devraient autoriser des experts indépendants à auditer ces formules afin d'en détecter les faiblesses et les biais. C'est essentiel pour garantir l'égalité des chances. Nous avons constaté que jusqu'alors, aucune recherche n'avait été publiée sur le sujet ; il n'existait aucune orientation. Nous avons constitué une équipe d'experts en droit, en ingénierie, en informatique et en sociologie, et nous avons développé un mécanisme pour aider les gouvernements à mettre en place un système transparent permettant aux citoyens de connaître les détails et de savoir si leurs données ont été traitées correctement. Sans cela, ils ne sauront jamais comment une décision qui affecte directement leur vie, leur quotidien, a été prise.
Q. Avez-vous déjà testé votre méthode anti-biais auprès d’une administration ?
A. Nous le testons avec le conseil municipal de New York ; c'est la première ville des États-Unis à le mettre en œuvre. Nous mesurons l'impact des algorithmes sur les citoyens. Nous l'avons également présenté à la Commission européenne et à l'Espagne, où le premier rapport sur les conséquences de l'IA, commandé par le ministère à un comité d'experts, sera publié dans un mois. J'espère que si le changement de gouvernement a finalement lieu, il aura lieu (cette interview a été réalisée avant la motion de censure contre Mariano Rajoy ). L'Europe est arrivée tard dans la course et doit donc tirer les leçons des erreurs des États-Unis et de la Chine, pays où l'application de l'IA à la décision publique est plus avancée.
Q. Et les entreprises comme Facebook devraient-elles être obligées de les rendre publiques ?
A. Examiner les algorithmes de Facebook ou de Google ne nous aiderait pas. Ce sont des systèmes massifs et complexes, avec des centaines de milliers d'algorithmes fonctionnant simultanément, et ils sont protégés par le secret commercial. Les gouvernements n'utiliseront pas ces algorithmes ; ils créeront des systèmes publics, et c'est pourquoi ils doivent être ouverts et transparents. Peut-être pas pour le grand public, mais certainement pour des commissions d'experts indépendantes.
Q. L'intelligence artificielle est de plus en plus présente dans les processus de recrutement des entreprises. Quels types de profils cette technologie affecte-t-elle ?
Aux États-Unis, une nouvelle entreprise, Hirevue, recrute de nouveaux profils pour des entreprises comme Goldman Sachs et Unilever grâce à l'intelligence artificielle. Lors de l'entretien, ils enregistrent et surveillent 250 000 points de votre visage, puis analysent vos expressions. Grâce à ces données, ils déterminent si vous serez un bon leader ou si vous serez honnête ou non. Ils étudient également le ton de votre voix et identifient des schémas comportementaux. On ne peut pas présumer de la personnalité d'une personne à partir de ses expressions ; cela n'a aucun fondement scientifique. La phrénologie, popularisée au XIXe siècle, reposait sur le décryptage des aspects de la personnalité par l'analyse faciale. Un autre danger est que les entreprises recherchent des personnes qui ressemblent à leurs employés actuels, ce qui a un impact considérable sur la diversité. Elles créent des monocultures.
Q. Pensez-vous qu'il est temps de démystifier certaines croyances sur l'intelligence artificielle, comme l'idée que les machines pourraient devenir conscientes ? Quel mal font certains gourous ?
A. C'est une terrible distraction par rapport aux véritables problèmes que l'IA crée aujourd'hui. Généralement, ce sont les hommes les plus riches et les plus puissants de la Silicon Valley qui craignent le plus la Singularité, l'hypothétique rébellion des machines, car ils n'ont rien d'autre à craindre. Pour le reste d'entre nous, nos craintes portent sur la façon dont je trouve un emploi, comment je peux joindre les deux bouts et payer mon loyer, ou comment je paie mon assurance maladie. Penser que les machines auront des sentiments est une erreur ; c'est ignorer le fonctionnement de la conscience humaine, impossible à reproduire pour une machine. Nous avons des corps, des connexions très complexes, qui ne sont pas de simples impulsions cérébrales. Nous sommes des corps dans un espace, vivant dans une communauté et une culture. Les gens voient le mot « intelligence artificielle » et pensent que nous créons de l'intelligence humaine, alors qu'en réalité, nous concevons des modèles de reconnaissance et d'automatisation. Si nous appelions cela « automatisation artificielle », le débat changerait radicalement.
El Pais, Espagne