AustráliaO pesquisador da Microsoft luta contra as desigualdades sociais geradas por algoritmos e inteligência artificial.
Kate Crawford faz discurso sobre inteligência artificial | Tecnologia
Kate Crawford (Sidney) não revela o ano em que nasceu. Qualquer empresa poderia usar essa informação para tentar vender um produto para ela ou até mesmo influenciar sua intenção de voto. "Onde você mora, sua idade, seu gênero ou até mesmo seus amigos... parece uma informação trivial, mas é preciso estar ciente do que eles podem fazer com ela", explica. Sua luta não é para que as empresas de tecnologia paguem pelo uso de dados pessoais, mas para trazer à tona os problemas sociais decorrentes da tecnologia. Crawford estuda como os algoritmos marginalizam as minorias. Além de seu trabalho como pesquisadora na Microsoft , em 2017 ela fundou o AI Now Research Institute com outros colegas da Universidade de Nova York , um instituto independente que visa ajudar governos a corrigir os vieses de desigualdade de seus algoritmos.
Seu objetivo é acabar com as chamadas caixas- pretas , sistemas automatizados e completamente opacos usados por governos para decidir questões fundamentais que afetam a vida das pessoas, como a quem conceder benefícios de cuidados de longa duração. "Ninguém sabe como elas funcionam ou os critérios usados para treinar essas máquinas", diz a especialista, que foi contratada pelo governo Obama para organizar uma conferência sobre as implicações sociais da inteligência artificial em 2016.
Crawford participou na semana passada da Conversa sobre Inteligência Artificial e seu Impacto na Sociedade , organizada pelo Ministério da Energia e Agenda Digital em Madri, onde apresentou as conclusões de seu relatório Algorithmic Impact Assessment , um guia para detectar injustiças e aperfeiçoar algoritmos de autoridades públicas.
Pergunta: O mundo digital está reproduzindo as desigualdades do mundo real. De quais fontes os dados são extraídos para os algoritmos de treinamento?
Resposta: Você precisa entender como funcionam os sistemas de inteligência artificial. Para ensiná-los a distinguir um cachorro de um gato, damos a eles milhões de imagens de cada um desses animais. Nós os treinamos para aprender a identificar. O problema é que esses mesmos sistemas, esses softwares , estão sendo usados pela polícia nos Estados Unidos para prever crimes. Eles treinam o algoritmo com fotos de réus, com dados de bairros com mais crimes ou mais prisões. Esses padrões são tendenciosos; eles reproduzem estereótipos, e o sistema de inteligência artificial os toma como a única verdade. Estamos injetando neles nossas limitações, nossa maneira de marginalizar.
P. Esses dados são coletados aleatoriamente da Internet?
A. Bancos de dados são utilizados. Um dos mais populares e amplamente utilizados por empresas de tecnologia é o Image Net, que contém 13.000 imagens. 78% delas apresentam homens e 84% apresentam pessoas brancas. Esses são os parâmetros para qualquer sistema treinado com essa ferramenta. A maneira como rotulamos imagens está intimamente relacionada à nossa cultura e à nossa construção social. O Image Net foi criado a partir da compilação de fotografias do Yahoo News entre 2002 e 2004. O rosto que aparece com mais frequência é o de George W. Bush, então presidente dos Estados Unidos. Hoje, ainda é um dos bancos de dados mais utilizados. Os sistemas de inteligência artificial parecem neutros e objetivos, mas não são. Eles contam uma versão muito particular da história.
P. Quais empresas estão interessadas em alocar recursos para analisar esses vieses?
R. Fizemos isso na Microsoft. Em nosso estudo "O homem é para o programador de computador o que a mulher é para a dona de casa?", descobrimos que os homens são frequentemente associados a profissões como políticos ou programadores, e as mulheres a modelos, donas de casa, mães... Ao analisar centenas de textos, extraímos esses padrões, esses estereótipos sociais que os algoritmos então replicam. É por isso que, se você pesquisar a palavra "médico" no Google Imagens, verá fotos de homens de jaleco branco. Se digitar "enfermeiro", verá apenas mulheres em hospitais. Quando as pessoas veem isso, as formas mais básicas de preconceito são automaticamente reforçadas. Precisamos começar a questionar como esses sistemas são construídos.
P. Na Europa, ainda não é comum que governos usem IA para tomada de decisões. Qual o impacto disso nos Estados Unidos?
R. Em março passado, a mídia noticiou como o governo estava usando um algoritmo para decidir quando uma pessoa deveria receber assistência domiciliar. De repente, muitos desses benefícios foram cortados, e idosos que recebiam assistência domiciliar há anos ficaram sem ela. O que mudou? O algoritmo não levou em conta o contexto e tomou decisões ruins. Ninguém havia avaliado o sistema para ver quantas pessoas haviam sido excluídas. Foi um escândalo nos Estados Unidos. É um exemplo de sistema implementado sem pesquisa suficiente. Pessoas com menos recursos econômicos e menor nível educacional são as que sofrem primeiro.
P. Os governos devem tornar esses algoritmos públicos?
A. Em um dos relatórios que publicamos no ano passado no AI Now Research Institute , fizemos uma recomendação crucial: que os governos parassem de usar sistemas algorítmicos fechados. Eles deveriam permitir que especialistas independentes auditassem essas fórmulas para detectar fraquezas e vieses. Isso é muito importante para garantir a igualdade de oportunidades. Percebemos que, até aquele momento, ninguém havia publicado nenhuma pesquisa sobre o tema; não havia orientação. Formamos uma equipe de especialistas em direito, engenharia, ciência da computação e sociologia e desenvolvemos um mecanismo para ajudar os governos a desenvolver um sistema transparente que permita aos cidadãos saber os detalhes, se seus dados foram processados corretamente. Caso contrário, eles nunca saberão como uma decisão que afeta diretamente suas vidas, seu cotidiano, foi tomada.
P. Você já testou seu método antiviés com alguma administração?
R. Estamos testando com a Câmara Municipal de Nova York; é a primeira cidade dos Estados Unidos a implementá-lo. Estamos medindo como os algoritmos afetam os cidadãos. Também o apresentamos à Comissão Europeia e à Espanha, onde o primeiro relatório sobre as consequências da IA, encomendado pelo Ministério a um comitê de especialistas, será publicado em um mês. Espero que, se a mudança de governo finalmente ocorrer, ela avance (esta entrevista foi realizada antes da moção de censura contra Mariano Rajoy ). A Europa chegou tarde ao jogo e é por isso que precisa aprender com os erros dos Estados Unidos e da China, países onde a aplicação da IA à tomada de decisões públicas está mais avançada.
P. E empresas como o Facebook devem ser obrigadas a torná-los públicos?
R. Analisar os algoritmos do Facebook ou do Google não nos ajudaria. São sistemas enormes e complexos, com centenas de milhares de algoritmos operando simultaneamente, e são protegidos por segredos comerciais. Os governos não vão usar esses algoritmos; eles vão criar sistemas públicos, e é por isso que devem ser abertos e transparentes. Talvez não para o público em geral, mas certamente para comissões independentes de especialistas.
P. A inteligência artificial está cada vez mais presente nos processos de recrutamento das empresas. Que tipos de perfis essa tecnologia afeta?
R. Nos Estados Unidos, há uma nova empresa, a Hirevue, que recruta novos perfis para empresas como Goldman Sachs e Unilever usando inteligência artificial. Durante a entrevista, eles registram e monitoram 250.000 pontos do seu rosto e, em seguida, analisam suas expressões. Com esses dados, eles determinam se você será um bom líder ou se será honesto ou não. Eles também estudam o tom da sua voz e identificam padrões de comportamento. Não podemos presumir que sabemos como alguém é a partir de suas expressões; não há base científica para isso. A frenologia se popularizou no século XIX, baseada na decifração de aspectos da personalidade por meio da análise facial. Outro perigo é que as empresas estão procurando pessoas que se pareçam com seus funcionários atuais, e o impacto disso na diversidade é enorme. Elas estão criando monoculturas.
P. Você acha que chegou a hora de desmascarar algumas das crenças sobre a inteligência artificial, como a ideia de que as máquinas serão capazes de se tornar conscientes? Quanto mal alguns gurus estão causando?
R. É uma distração terrível dos problemas reais que a IA está criando hoje. Normalmente, são os homens mais ricos e poderosos do Vale do Silício que mais temem a Singularidade, a hipotética rebelião das máquinas, porque não têm mais nada com que se preocupar, nada mais a temer. Para o resto de nós, nossos medos são sobre como conseguir um emprego, como sobreviver e pagar meu aluguel, ou como pagar meu plano de saúde. Pensar que as máquinas terão sentimentos é um equívoco; é não ter ideia de como a consciência humana funciona, o que é impossível para uma máquina replicar. Temos corpos, conexões muito complexas, que não são apenas impulsos cerebrais. Somos corpos em um espaço, vivendo em uma comunidade e em uma cultura. As pessoas veem a palavra "inteligência artificial" e pensam que estamos criando inteligência humana, quando o que, na verdade, estamos projetando padrões para reconhecimento e automação. Se a chamássemos de "automação artificial", o debate mudaria completamente.
El País, Espanha