Por Aaron M. Borstein/Tadução: Felipe Calabrez.
Não sabemos como são nossos clientes “, disse Craig Berman, vice-presidente de comunicações globais da Amazon, à Bloomberg News em junho de 2015. Berman estava respondendo às alegações de que o serviço de “entrega no mesmo dia” da empresa discriminavam pessoas negras. No sentido mais literal, a defesa da Berman era verdadeira: a Amazon seleciona áreas de entrega no mesmo dia com base em fatores de custo e benefício, como a renda familiar e a acessibilidade à entrega. Mas esses fatores são agregados por CEP, significando que eles carregam outras influências que moldaram — e continuam a moldar — a geografia cultural. Olhando para o mapa de serviço de “entrega no mesmo dia”, a correspondência com a cor da pele é inegável.
Esses mapas lembram homens como Robert Moses, o planejador-mestre que, ao longo de décadas, moldou grande parte da infra-estrutura da moderna cidade de Nova York e de seus subúrbios. De maneira infame, ele não queria que os pobres, em particular as pessoas negras, usassem os novos parques públicos e praias que estava construindo em Long Island. Embora tivesse trabalhado para aprovar uma lei proibindo ônibus públicos nas rodovias, Moses sabia que a lei poderia ser revogada algum dia. Então construiu algo muito mais duradouro: dezenas de viadutos que eram muito baixos para permitir que os ônibus públicos passassem, literalmente concretizando a discriminação. O efeito dessas e de dezenas de decisões semelhantes foi profundo e persistente. Décadas mais tarde, as leis de ônibus foram de fato derrubadas, mas as cidades que cercam as rodovias permanecem tão segregadas quanto antes. “A legislação pode sempre ser mudada”, disse Moses. “É muito difícil derrubar uma ponte que já foi construída”.
Hoje, um novo conjunto de superestradas, construído a partir de dados moldados pelas estruturas antigas, atualiza essas divisões. Embora os arquitetos da nova infraestrutura possam não ter a mesma intenção insidiosa, eles também não podem alegar desconhecimento de seu impacto. Profissionais de Big Data entendem que conjuntos de dados grandes e ricamente detalhados, do tipo que a Amazon e outras corporações usam para fornecer serviços personalizados, inevitavelmente contêm impressões digitais de atributos como cor da pele, gênero e orientação sexual e política. As decisões que os algoritmos tomam com base nesses dados podem, invisivelmente, ativar esses atributos de maneiras tão inescrutáveis quanto antiéticas.
Kate Crawford investiga o preconceito algorítmico da Microsoft Research e co-fundou a iniciativa “AI Now”, um esforço de pesquisa focado nos perigos representados pelos sistemas de inteligência artificial como eles estão sendo usados hoje. Ela me disse que uma questão fundamental na justiça algorítmica é o grau em que algoritmos podem ser levados a entender o contexto social e histórico dos dados que eles usam. “Você pode dizer a um operador humano para tentar levar em conta a maneira pela qual os dados são em si uma representação da história humana”, diz Crawford. “Como você treina uma máquina para fazer isso?” As máquinas que não conseguem entender o contexto dessa forma, na melhor das hipóteses, apenas passam a discriminação institucionalizada – o que é chamado de “bias in, bias out”.
Esforços incompletos para corrigir preconceitos ocultos podem piorar as coisas. Um colega de trabalho de Crawford, Solon Barocas, da Cornell University, observou que os usuários finais podem “aceitar sem crítica as alegações dos fornecedores” de que os algoritmos foram livrados do preconceito. Isto é particularmente verdadeiro em instituições, como o sistema judicial, onde o status quo é repleto de preconceitos e há grande atração para a promessa de máquinas mais objetivas. Eliminar o viés algorítmico também pode exigir privilegiar uma definição mais subjetiva do que significa ser justo — mas o que é escolhido, em geral, é o que é mais fácil de quantificar e não o que é mais justo.
Apesar de todas as suas armadilhas, encontrar e combater preconceitos em dados e algoritmos também trás uma oportunidade: Pode ser uma nova maneira de tornar visíveis os contornos do preconceito.
O COMPAS é um software usado pelos tribunais dos Estados Unidos. O programa estima a probabilidade de um réu reincidir com base em sua resposta a um questionário de 137 perguntas. Essa estimativa é usada para informar as decisões de fiança
O questionário do COMPAS não pergunta sobre a cor da pele, herança ou mesmo CEP. Mas faz perguntas como a de se um réu mora em um bairro com “muito crime” ou se tem problemas para encontrar empregos que pagam “mais do que o salário mínimo”. O fato de que essas perguntas seriam mais apropriadas se colocadas para uma sociedade do que para um indivíduo, ressalta o viés contido nelas: As respostas são correlacionadas com atributos ocultos, como a “raça”, o que significa que os algoritmos podem aprender a “ver” efetivamente esses atributos nos dados. No entanto, a Northpointe, a empresa por trás da COMPAS, afirmou ter calibrado o sistema para que a precisão de suas predições sobre rearprisionamento seja independente da cor da pele.
Em 2015, jornalistas da ProPublica decidiram testar essa alegação usando os registros públicos de um cliente da COMPAS, o Condado de Broward, na Flórida. Eles descobriram que quando o COMPAS previu que um réu era de alto risco, e o réu foi preso de novo, sua previsão era realmente livre de preconceitos no sentido mais direto. Mas quando a previsão do COMPAS era imprecisa (ou por prever nova detenção quando não aconteceu, ou por não prever uma nova detenção), subestimava rotineiramente a probabilidade de reincidência branca e superestimava a probabilidade de reincidência negra. Em outras palavras, ele continha um viés oculto da perspectiva de um conjunto de estatísticas, mas claramente visível em outro.
A ProPublica relatou essa descoberta em um artigo intitulado “Existem softwares usados em para prever criminosos futuros. E são tendenciosos contra os negros”. A Northpointe contestou sua avaliação e respondeu com uma re-análise estatística de suas alegações. A Northpointe desviou o argumento da disparidade nas taxas de erro, concentrando-se no fato de que as pontuações de risco refletem uma prevalência subjacente real: Mais réus afro-americanos de fato passam a ser novamente presos. Isso significa, eles argumentaram, que não surpreendente que tenham maiores índices de risco como população.
No centro do argumento da Northpointe havia uma falácia essencial. Como as pessoas que a policia classificava como afro-americanas eram novamente presas nos ensaios do programa, eles alegaram, justificava-se que o COMPAS predissesse que outras pessoas classificadas como afro-americanas tivessem maior probabilidade de ser novamente presas. A circularidade que vai da classificação para os dados e em seguida reforça a classificação ecoa uma definição de W.E.B. Dubois, em 1923: “o homem negro é aquele de quem você tem medo à noite” [O original é intraduzível: “the black man is the man who has to ride Jim Crow in Georgia”, sendo que Jim Crow é um conjunto de leis discriminatórias que vigorou nos EUA entre 1877 e meados dos anos 1960 (Nota de Outras Palavras)]
Esse episódio, que ilustra muitos dos perigos das decisões algorítimicas, também provocou uma onda de pesquisas acadêmicas que levaram a uma conclusão surpreendente: a própria idéia de atribuir uma pontuação de risco a um réu implica uma troca entre duas definições diferentes e incompatíveis da palavra “justo”. É algo universal. “Qualquer sistema que realize esse processo terá esse desafio”, diz Jon Kleinberg, professor de ciência da computação da Cornell, “seja um algoritmo ou um sistema de tomadores de decisões humanas”.
Kleinberg e seus colegas publicaram um estudo provando que as duas definições de justiça usadas pela Northpointe e pela ProPublica são matematicamente incompatíveis. Em termos técnicos, o que eles mostraram é que a paridade preditiva (se as pontuações de risco têm a mesma exatidão geral para os réus negros e brancos) e o equilíbrio da taxa de erro (se as pontuações de risco resultam em erros da mesma forma, para grupos diferentes) se excluem mutuamente. Quando a taxa de base da reincidência é diferente entre os dois grupos, aplicar o mesmo padrão a ambos os grupos necessariamente introduzirá viés de taxa de erro contra o grupo com a taxa básica mais alta. A “calibração “é o que está provocando esse problema”, disse Kleinberg. Isso vale para qualquer sistema que use pontuações de risco — seja um algoritmo de máquina ou uma instituição humana — independentemente dos fatores usados para gerá-los.
É estranho, mas essa incompatibilidade nunca havia sido demonstrada antes. A descoberta aponta para um dos grandes benefícios da era do Big Data: a lógica de nossas decisões pode ser formalmente analisada e numericamente escolhida, de maneiras que antes eram impossíveis. Como resultado, os juízes agora sabem considerar os tipos de desequilíbrio mais amplos nas decisões que tomam. “Os problemas que a ProPublica pôs à tona têm a ver com nossas formas de pensar tanto a previsão quanto os algoritmos”, diz Kleinberg.
Acadêmicos também sugeriram como o COMPAS pode ser corrigido. Alexandra Chouldechova, professora de estatística e políticas públicas na Carnegie Mellon University’s mostrou que, se os criadores da COMPAS permitirem que ela seja um pouco mais imprecisa para os réus afro-americanos, eles poderão garantir que o algoritmo cometa erros na mesma proporção para as diferentes raças. “Pode ser uma troca desejável”, ela observa
……….
O Google Tradutor carrega um sexismo velado. Para vê-lo, tente traduzir as frases “o bir doktor” ou “o bir hemsire” do turco para o inglês. Como as frases em turco usam o pronome de gênero neutro “o”, o Google Tradutor é forçado a escolher um pronome de gênero por conta própria. O resultado: traduz a primeira frase para “ele é um médico” e a segunda para “ela é uma enfermeira”.
A tradução é o foco de um artigo de 2016, de Tolga Bolukbasi e seus colegas da Universidade de Boston, sobre um tipo de modelo de linguagem conhecido como incorporação de palavras. Esses modelos, usados para fornecer serviços de tradução, algoritmos de pesquisa e recursos de preenchimento automático, são treinados para examinar trechos de linguagem natural (como os artigos do Google Notícias), geralmente sem muita intervenção de especialistas em linguagem humana. As palavras no modelo são mapeadas como pontos em um espaço de alta dimensão, de modo que a distância e a direção entre um determinado par de palavras indica quão próximos eles estão do significado e qual relação semântica eles têm.
Por exemplo, a distância entre “Homem” e “Mulher” é aproximadamente a mesma, e na mesma direção, que a existente entre “Rei” e “Rainha”. Os modelos de incorporação de palavra também podem perpetuar preconceitos ocultos, como os da tradução do Google. A infra-estrutura, bilhões de textos coletados ao longo de décadas, está começando a informar nossa comunicação diária de maneiras difíceis de entender e de mudar. Mas muitos dos preconceitos codificados pela infra-estrutura antecedem sua institucionalização na forma digital. E, como no COMPAS, estudar esses preconceitos, e a forma como eles aparecem nos algoritmos, é uma nova oportunidade.
Bolukbasi e seus colegas criaram uma técnica para “desenviezar” a linguagem, movendo palavras dentro dos espaços dos modelos de incorporação. Imagine colocar as palavras “médico”, “enfermeiro”, “homem” e “mulher” nos vértices de um quadrado, com “homem” e “mulher” no piso e “médico” e “enfermeira” no topo. A linha que conecta médico e enfermeiro é exatamente paralela àquela entre homem e mulher. Como resultado, o sistema trata seu relacionamento como análogo. A estratégia de desenviezamento de Bolukbasi empurra tanto o médico quanto a enfermeira até o ponto médio da borda superior, de modo que “médico” e “enfermeiro” estejam à mesma distância de “homem” e “mulher”. O sistema “esqueceu” a analogia; que pronome a tradução poderia usar é uma escolha deixada aos projetistas do sistema.
O impacto de mudar assossiações entre palavras pode ser considerável. Arvin Narayanan, professor de ciência da computação na Universidade de Princeton, desenvolveu uma ferramenta para medir o preconceito em modelos de aprendizagem de máquina, em conjunto com os colegas Aylin Caliskan e Joanna Bryson. O trio começou com uma medida psicológica muito estudada, chamada Teste de Associação Implícita. Em uma variante comum do teste, quanto maior a velocidade com que os sujeitos afirmam a associação de palavras positivas com palavras que refletem as categorias sociais, maior a sua desenvoltura com essa associação. Em muitos desses pares, a diferença média no tempo de resposta — geralmente na ordem de milissegundos — é uma medida do grau de viés implícito. Narayanan e seus colegas trocaram o tempo de resposta pela distância entre as palavras, criando o que eles chamam de um teste de associação de incorporação de palavras. A associação entre palavras replicou o mesmo conjunto de estereótipos que os estudos de Teste de Associação Implícita identificaram.
Ao longo de duas décadas, o Teste de Associação Implícita expôs uma ampla variedade de vieses implícitos, de gênero a nacionalidade e raça, entre populações e em muitos contextos diferentes. Como o preconceito é muito difundido, alguns especularam que tendências humanas naturais — por exemplo, hierarquias dominantes e identificação em grupo — são responsáveis por esses vieses. Nesta visão, o preconceito é um fato inevitável da natureza humana. Os autores do artigo do teste de associação da palavra incorporada especulam que seu trabalho apoia outra possibilidade, embora não exclusiva: que “a mera exposição à linguagem contribui para esses vieses implícitos em nossas mentes”. Em outras palavras, se preconceitos refletem e são, assim, transmitidos nas estatísticas da linguagem, então a maneira como falamos não apenas comunica a maneira como nos vemos, como a constrói. Se projetos de desvio de opinião, como os de Bolukbasi, puderem funcionar, podemos começar a mudar nossos preconceitos em escala e de uma maneira antes impossível: com o software. Se não, enfrentamos o perigo de reforçar e perpetuar esses preconceitos por meio de uma infraestrutura digital que pode durar por gerações.
…….
“A ideia de que você pode fazer isso é bem legal ”, diz Narayanan. Ainda assim, ele se pergunta até onde isso pode ir. Ele aponta que o artigo de Bolukbasi assume que o gênero é binário, ou pelo menos que a conexão entre as palavras de gênero segue uma linha reta. “Eu não acho que tenhamos qualquer indício de como o desenviezamento pode funcionar para um conceito que é, talvez, um pouco mais complexo”, ele adverte. Ele aponta em particular para os estereótipos raciais, em que a própria noção de categorias é tão problemática quanto os meios usados para defini-las
Quando perguntado a respeito, Bolukbasi respondeu que a abordagem pode funcionar, a princípio, com qualquer número e categorias, embora ele admita que o esforço requer categorias definidas a priori. Ele usou os trabalhadores da multidão recrutados do Mechanical Turk da Amazon (um serviço chamado de “inteligência artificial artificial”) para decidir as categorias em seu trabalho de gênero. Os mesmos trabalhadores também avaliaram quais analogias eram tendenciosas e o sucesso do programa na remoção desses vieses. Em outras palavras, a decisão sobre o que é tendencioso e o que significa um viés ser removido permanece profundamente ligada ao consenso social mediano, o que equivale a um freio conservador.
Há preocupações ainda mais assustadoras. Barocas e Crawford recentemente ressaltaram que a maioria dos trabalhos sobre equidade em algoritmos tem se concentrado no que é conhecido como “danos alocativos” — o rateio de recursos, como a entrega no mesmo dia pela Apple, ou julgamentos, como pontuações de risco. Eles pedem mais atenção para o que os acadêmicos críticos de raças chamam de “danos representacionais”. Uma pesquisa por “executivo-chefe” (ou “CEO”) no Google Image, por exemplo, produz imagens que são predominantemente de homens brancos. Narayanan diz que esses problemas podem ser negligenciados em discussões de justiça porque “eles são mais difíceis de formular matematicamente. Na ciência da computação, se você não pode estudar algo em termos formais, sua existência não é tão legítima quanto algo que você pode transformar em uma equação ou um algoritmo”.
Na pior das hipóteses, essas e outras limitações ao nosso tratamento de viés nos dados transformarão os algoritmos que estamos construindo nas pontes de concreto dessa geração, projetando o status quo para os próximos anos. Na melhor das hipóteses, a infraestrutura de dados nos forçará a expor e confrontar nossas definições de justiça e tomada de decisão de maneiras que talvez não tivéssemos feito sem ela.
É difícil conciliar essas tensões com nossas noções usuais de progresso tecnológico. É tentador presumir que a tecnologia muda mais rapidamente que a sociedade e que o software pode reforçar o progresso social codificando rapidamente novas normas e isolando os atores regressivos ou maliciosos. Um algoritmo de sentenciamento pode causar menos danos do que um juiz descaradamente fanático. Mas também pode obscurecer a história e o contexto de preconceito e prejudicar, ou mesmo inviabilizar o progresso. A infraestrutura é complicada e a janela de oportunidade está diminuindo: a tecnologia pode melhorar no futuro, mas estamos tomando decisões sobre quais trocas decidir agora. Não está claro com que frequência, ou mesmo se, teremos a oportunidade de revisitar essas decisões.
Afinal, quanto mais generalizados forem os algoritmos, menor a probabilidade de eles serem substituídos. Embora possamos atualizar nossos telefones a cada dois anos, há fortes impedimentos para renovar a infra-estrutura básica de software. Considere como uma tecnologia muito potente já permeia nossas vidas — sistemas de controle de tráfego aéreo, por exemplo, são executados em grande parte em software construído na década de 1970. O recente “WannaCry” que prejudicou os sistemas hospitalares em todo o Reino Unido, explorou o fato de que esses sistemas funcionavam em uma versão décadas atrasadas do Windows, que a Microsoft nem se dava ao trabalho de atualizar. Uma compreensão mecânica da linguagem, incorporada nos principais serviços, poderia levar adiante preconceitos atuais por anos ou décadas. Nas palavras da artista Nicole Aptekar, a base material derrota as intenções.
O maior perigo da nova infraestrutura digital não é que ela irá tornar-se obsoleta, ou tornar-se vulnerável a ataques, mas sim que suas piores características persistirão. Uma vez construída a ponte, é muito difícil derrubá-la.
