Em 2 de outubro de 2019, o AI Now Institute da Universidade de Nova York (NYU) sediou o seu 4º Simpósio Anual de Inteligência Artificial com casa cheia. O Simpósio teve como foco a crescente reação a formas prejudiciais de IA (inteligência artificial), e convidou organizadores, acadêmicos e advogados para apresentar e discutir seu trabalho no palco. O primeiro painel examinou o uso da IA no policiamento e controle de fronteiras; o segundo, falou com grupos de locatários do Brooklyn que se opõem ao uso de reconhecimento facial em edifícios, por parte de proprietários; o terceiro, centrou-se no advogado de direitos civis que processava o estado norte-americano de Michigan pelo uso de algoritmos quebrados e tendenciosos, e o painel final focou nos trabalhadores da tecnologia de ponta, desde os que trabalham nos armazéns da Amazon até os motoristas de aplicativos, para falar sobre suas vitórias organizacionais e significativas ao longo do ano passado. Você pode assistir ao evento completo aqui.
As co-fundadoras da AI Now, Kate Crawford e Meredith Whittaker, abriram o simpósio com uma breve palestra resumindo alguns momentos-chave da problemática enfrentada ao longo do ano, com destaque para cinco temas: (1) reconhecimento facial e de reações; (2) o movimento desde o “âmbito da IA” para a justiça; (3) cidades, vigilância, fronteiras; (4) mão-de-obra, organização dos trabalhadores e IA, e; (5) o impacto climático da IA. A seguir, apresentamos um trecho da conversa:
- Reconhecimento facial e de emoções
Em 2019, empresas e governos aumentaram o uso do reconhecimento facial — em moradias públicas, em contratações e nas ruas das cidades. Agora, algumas companhias aéreas dos EUA também o usam no lugar dos cartões de embarque, alegando que é mais conveniente.
Também houve um uso mais amplo do reconhecimento de emoções, uma derivação do reconhecimento facial, que afirma “ler” nossas emoções internas, interpretando as micro-expressões em nosso rosto. Como a psicóloga Lisa Feldman Barret mostrou em uma extensa pesquisa, esse tipo de frenologia da IA não tem fundamento científico confiável. Mas já está sendo usado em salas de aula e em entrevistas de emprego — geralmente, sem que as pessoas saibam.
Por exemplo, documentos obtidos pelo Centro de Privacidade e Tecnologia de Georgetown revelaram que o FBI e o ICE [serviço de imigração norte-americano] têm acessado silenciosamente os bancos de dados das carteiras de motorista, para realizar pesquisas de reconhecimento facial em milhões de fotos sem o consentimento dos indivíduos envolvidos nem a autorização de legisladores estaduais ou federais.
Mas, este ano, após muitos pedidos consecutivos de acadêmicos e organizadores — como Kade Crockford, da ACLU; Evan Selinger, do Rochester Institute of Technology; e Woodrow Hertzog, da Northeastern University — para que se limitasse fortemente o uso do reconhecimento facial, o público e os legisladores começaram a fazer algo a respeito. Nos EUA, o Tribunal de Apelações do Nono Circuito determinou recentemente que o Facebook poderia ser processado por aplicar o reconhecimento facial às fotos dos usuários sem consentimento, chamando-o de invasão de privacidade.
A cidade de São Francisco assinou a primeira proibição de reconhecimento facial em maio deste ano, graças a uma campanha liderada por grupos como o Media Justice. Mais duas cidades norte-americanas adotaram a mesma medida. E, agora, temos um candidato à presidência dos EUA, Bernie Sanders, que promete a proibição em todo o país, músicos exigem o fim do reconhecimento facial em festivais de música, e há um projeto de lei federal chamado Lei Sem Barreiras Biométricas à Habitação, focado no reconhecimento facial na habitação pública.
A pressão também ocorre na Europa: um comitê parlamentar no Reino Unido pediu que os julgamentos de reconhecimento facial sejam interrompidos até que um marco legal se estabeleça, e um teste dessas ferramentas feito pela polícia em Bruxelas foi considerado ilegal, recentemente.
É claro que essas mudanças requerem muito trabalho. Temos a honra de contar com organizadores como Tranae Moran e Fabian Rogers, do bairro de Ocean Hill Brownsville, conosco esta noite. Eles são os líderes de suas associações de locatários e trabalharam em conjunto com Mona Patel, da Assistência Judiciária do Brooklyn, para se opor à tentativa do proprietário de instalar um sistema de acesso por reconhecimento facial. Seu trabalho está servindo com informações para a nova legislação federal.
Sejamos claros, a questão não é sobre aperfeiçoar o lado técnico ou de eliminar alguma polarização ou viés. Mesmo o reconhecimento facial mais preciso produzirá danos díspares, dadas as disparidades raciais e baseadas na renda de quem é vigiado, rastreado e preso. Como Kate Crawford escreveu recentemente na Nature – não se trata de “des-enviesar” esses sistemas, pois eles são “perigosos quando falham e prejudiciais quando acertam”.
2. Além do “viés da IA”: uma questão de justiça
Neste ano, também houve alguns importantes movimentos de afastamento do foco na discussão exclusivamente técnica sobre o “des-enviesar” da Inteligência Artificial, para se aproximar de um ponto muito mais essencial, focado na justiça.
Isto foi, em parte, provocado por muito casos perturbadores.
Por exemplo, o ex-governador de Michigan, Rick Snyder, um executivo de tecnologia e a pessoa que presidiu a crise da água de Flint, decidiu instalar um sistema de decisões automatizado, em todo o estado, chamado MiDAS. Ele foi projetado para sinalizar automaticamente trabalhadores suspeitos de fraude de benefícios. Com o objetivo de cortar custos, o estado instalou o MiDAS e demitiu toda a sua divisão de detecção de fraudes. Mas o sistema MiDAS errou 93% das vezes. Acusou falsamente mais de 40 mil moradores, provocando muitas falências e até suicídios. Mas o MiDAS era apenas uma parte de um conjunto maior de políticas de “austeridade” focadas em bodes expiatórios.
Temos a honra de ter Jennifer Lord conosco esta noite também: a advogada de direitos humanos que processou o MiDas em nome de todas as pessoas que tiveram suas vidas destruídas. Ela levou a briga do caso MiDas até a Suprema Corte de Michigan. Em todas as etapas, enfrentou resistência policial, e hoje ela nos brindará um panorama completo sobre o assunto e porque ele é um problema muito mais complexo do que apenas um sistema técnico com falhas. Estas questões são muito mais profundas do que codificação e dados.
Outro exemplo vem da pesquisa liderada pela diretora de políticas da AI Now, Rashida Richardson, que examinou a conexão entre o trabalho cotidiano da polícia e o software de policiamento preditivo. Ela e sua equipe descobriram que, em muitos departamentos de polícia dos EUA, os sistemas de policiamento preditivo usavam registros enviesados, provenientes de um policiamento racista e corrupto.
Evidentemente, a “correção do viés” neste caso não é uma questão de remover uma ou outra variável no seu conjunto de dados. Requer a mudança das práticas policiais que compõem os dados. Isso é algo que a pesquisadora Kristian Lum, do Human Rights Data Analysis Group, também mostrou em seu trabalho inovador sobre como os algoritmos amplificam a discriminação no policiamento. Também estamos felizes em tê-la entre nossos palestrantes de hoje.
E, no mesmo painel, contamos com Ruha Benjamin, da Universidade de Princeton. Recentemente, ela publicou dois livros extraordinários: Race After Tecnology, e uma coleção editada de Captivating Tecnology. Em conjunto com estudiosos como Dorothy Roberts e Alondra Nelson, ela examina minuciosamente as políticas de classificação, como a “raça” é usada para justificar hierarquias sociais e como essas lógicas estão alimentando a IA.
Kate Crawford e Trevor Paglen também interrogaram, recentemente, a política de classificação em sua exibição Training Humans, a primeira grande exposição de arte que observa os dados de treinamento usados para criar sistemas de aprendizado para máquinas (ou machine learning, em inglês). A mostra de fotografias examina a história e a lógica dos conjuntos de treinamento de IA, desde os primeiros experimentos de Woody Bledsoe, em 1963, até os conjuntos de benchmarks mais conhecidos e amplamente utilizados, como o Labeled Faces in the Wild e o ImageNet.
ImageNet Roulette é uma instalação de vídeo e um aplicativo que acompanha a exibição deles. Este aplicativo viralizou em Setembro, quando milhões de pessoas subiram suas fotos para ver como seriam classificados por ela. Essa é uma questão com implicações relevantes. O ImageNet tem o maior conjunto de dados de reconhecimento de objetos canônicos e foi quem mais contribuiu para moldar a indústria da IA.
Embora algumas das categorias da ImageNet sejam estranhas ou até engraçadas, o conjunto de dados também é preenchido com classificações extremamente problemáticas, muitas delas racistas e misóginas. O Imagenet Roulette forneceu uma interface para as pessoas verem como os sistemas de IA as classificam — expondo as categorias superficiais e altamente estereotipadas que elas aplicam ao nosso mundo complexo e dinâmico. Crawford e Paglen publicaram um artigo investigativo revelando como eles abriram o capô em vários conjuntos de treinamento de referência para revelar suas estruturas políticas.
Esta é uma das razões pelas quais a arte e a pesquisa podem ter, muitas vezes, maior impacto juntas do que separadas, nos fazendo reparar em quem define as categorias em que somos colocados — e com quais consequências.
3. Cidades, fronteiras e vigilância
Questões de poder, classificação e controle estão em primeiro plano da implantação em larga escala de sistemas de vigilância corporativa nos EUA, esse ano. Tome, por exemplo, o Ring, da Amazon, um sistema de câmeras de vídeo e vigilância projetado para que as pessoas tenham imagens de suas casas e bairros 24 horas por dia.
A Amazon fez uma parceria com mais de 400 departamentos de polícia para promover a Ring, solicitando que a corporação convencesse os residentes a comprar o sistema. Mais ou menos como transformar policiais em vendedores mascate de vigilância.
Como parte do acordo, a Amazon obtém acesso contínuo a imagens de vídeo; a polícia adquire acesso a um portal dos vídeos da Ring que pode usar no momento em que quiser. A empresa já registrou uma patente para reconhecimento facial nesse espaço, indicando que gostariam de obter condições para comparar indivíduos na câmera com uma “base de dados de suspeitos” — efetivamente criando um sistema de vigilância de casas privatizado ao redor dos EUA.
Mas o Ring é só uma parte de um problema muito maior. Acadêmicos como Burku Baykurt, Molly Sauter e o novo membro do AI Now, Ben Green, mostraram que a retórica tecnológica-utópica das “cidades inteligentes” está escondendo questões mais profundas de injustiça e desigualdade.
E as comunidades estão enfrentando esse problema. Em agosto, moradores de San Diego [nos EUA] protestaram contra a instalação de postes de luz “inteligentes”, no mesmo momento em que manifestantes de Hong Kong [na China] derrubavam postes semelhantes e usavam lasers e máscaras de gás para confundir câmeras de vigilância.
E em junho deste ano, estudantes e pais de Nova York protestaram contra um sistema de reconhecimento facial em sua escola, que entregaria à prefeitura a habilidade de rastrear e mapear qualquer aluno ou professor, a qualquer momento. Depois disso, a cidade interrompeu a iniciativa.
Aproveitando as lutas contra empresas de tecnologias que reformulam cidades, desde o projeto de “tornar inteligente” uma parte da zona rural da cidade de Toronto [no Canadá] à expansão da Google em San Jose [nos EUA], pesquisadores e ativistas estão expondo as conexões entre infraestruturas de tecnologia e gentrificação. Algo que o projeto Mapeamento Anti Despejo, liderado por Erin Mcelroy, um estudioso da AI Now, tem documentado há anos.
E, é claro, em fevereiro, uma grande coalizão em Nova York pressionou a Amazon para que ela abandonasse a construção de sua segunda sede no bairro do Queens. Os organizadores ressaltaram não apenas o pacote de incentivos maciço que a prefeitura tinha oferecido à empresa, mas as práticas trabalhistas da Amazon, a implantação de reconhecimento facial e contratos com o serviço de imigração. É mais uma lembrança de por que essas são campanhas de múltiplos problemas — particularmente dado que as gigantes da tecnologia têm interesses em muitos setores.
Obviamente, um dos usos mais enigmáticos e abusivos para essas ferramentas está na fronteira do sul dos EUA, onde sistemas de Inteligência Artificial estão sendo desenvolvidos pelo Controle de Imigração (ICE) e pela Polícia de Fronteira.
Neste momento, há 52 mil imigrantes confinados em celas, prisões e outras formas de detenção, e outros 40 mil sem teto no lado do México da fronteira, esperando asilo. Até agora, sete crianças morreram sob custódia da ICE no ano passado, e muitas têm de enfrentar alimentação e cuidados médicos inadequados. É difícil exagerar os horrores que estão acontecendo por lá agora.
Graças a um importante relatório da organização de defesa de direitos Mijente, sabemos que empresas como a Amazon e a Palantir estão providenciando as bases para as deportações do Serviço de Imigração. Mas as pessoas estão pressionando — mais de 2 mil estudantes, de dezenas de universidades, já assinaram um termo de compromisso de que não trabalharão para a Palantir, e tem havido protestos quase semanais nas sedes das empresas de tecnologia contatadas pelo Serviço de Imigração.
Temos a honra de contar, essa noite, com a presença da diretora executiva da Mijente, Marisa Franco, que está por trás desse relatório e é a líder do movimento “Sem Tecnologia para a ICE”.
4. Trabalho, organização dos trabalhadores e Inteligência Artificial
É claro que problemas de racismo estrutural, classe e gênero ficam à mostra quando examinamos o problema crescente da diversidade no campo da Inteligência Artificial.
Em abril, a AI Now publicou o artigo Discriminating Systems [“sistemas discriminatórios”, em inglês], liderado pela acadêmica Sarah Myers West. Essa pesquisa mostrou como se dá um ciclo de feedback entre as culturas discriminatórias na IA e os preconceitos e distorções incorporados nesses mesmos sistemas.
Mas há crescentes chamados à mudança. A vazadora [whistleblower] Signe Swenson e o jornalista Ronan Farrow ajudaram a revelar uma cultura de arrecadação de fundos no MIT [Massachusetts Institute of Technology] que punha status e riqueza acima da segurança de mulheres e garotas. Uma das primeiras pessoas a pedir a responsabilização foi a aluna de graduação queniana, Arwa Mboya. Seu pedido por justiça se encaixava em um padrão familiar no qual as mulheres negras sem muito poder institucional são as primeiras a falar. Mas, é claro, o MIT não é o único.
Temos visto uma série de protestos por muitas empresas de tecnologia, do Google à Riot Games, aos trabalhadores da Microsoft confrontando seu presidente, todos exigiam o fim da desigualdade racial e de gênero no trabalho
Agora, como você deve ter ouvido falar, a cofundadora do AI Now, Meredith Whittaker, deixou a Google no começo deste ano. Ficava cada vez mais alarmada com a direção que a indústria estava tomando. As coisas estavam cada vez piores, e não melhores, e as apostas eram extremamente altas. Então, ela e seus colegas começaram a se organizar para expor os usos perigosos da AI e os abusos nos locais de trabalho, obtendo uma página dos sindicatos de professores e outros, que usaram seu poder coletivo para negociar pelo bem comum.
Esse trabalho de organização também foi informado pela pesquisa da AI Now e pelas bolsas de estudos de muitos outros, que serviram como um guia inestimável para ação política e organização. No caminho, o movimento de trabalhadores de tecnologia cresceu, e houve algumas grandes vitórias, e algumas experiências que mostraram o tipo de oposição que aqueles que levantam a voz muitas vezes enfrentam.
Os trabalhadores contratados são parte crucial dessa história. Foram alguns dos primeiros a se organizar, no setor de tecnologia, e traçaram o caminho. Eles compõem mais da metade da força de trabalho em muitas das empresas, e não recebem a proteção completa de seu emprego, muitas vezes ganhando apenas o suficiente para sobreviver e trabalhando à margem do setor. Teses de acadêmicas como Lilly Irani, Sarah Roberts, Jessica Bruder e Mary Gray, entre outras, ajudaram a dar atenção a essas forças de trabalho, antes nas sombras.
Plataformas de IA, usadas para gestão de trabalhadores, também são um problema cada vez maior. Do Uber aos armazéns da Amazon, essas plataformas maciçamente automatizadas dirigem o comportamento do trabalhador, estabelecem metas de desempenho e determinam os salários dos trabalhadores, dando a eles muito pouco controle.
Por exemplo: no começo deste ano, a Uber reduziu o pagamento a seus motoristas sem aviso ou explicação, implementando a mudança silenciosamente por meio de uma atualização da plataforma. Enquanto isso, motoristas da empresa de entregas Door Dash revelaram que a empresa estava — literalmente — roubando a gorjeta que os clientes pensavam estar dando a eles pelo aplicativo.
Felizmente, também estamos assistindo algumas grandes vitórias para esses mesmos trabalhadores. Motoristas de aplicativos do estado norte-americano da Califórnia conseguiram uma conquista enorme com a lei AB-5, que exige que empresas baseadas em aplicativos forneçam a seus funcionários todas as proteções de emprego. É uma mudança monumental do status quo, e para discutir esse momento importante, Veena Dubal se unirá a nós hoje. Ela é uma pesquisadora importante nos estudos sobre a Gig Economy, e trabalhou com motoristas e ativistas durante anos.
Na costa leste, Bhairavi Desai lidera a Aliança de Taxistas de Nova York, um sindicato que ela fundou em 1998 e que agora tem mais de 21 mil membros. Bhairavi liderou uma das primeiras campanhas vitoriosas contra empresas de aplicativos de carros individuais, e está conosco esta noite para discutir esse trabalho.
E, por último, temos a honra de contar com Abdi Muse na mesma mesa. É o Diretor Executivo do Awood Center de Minneapolis, e um organizador sindical de longa data que trabalhou com trabalhadores do armazém da Amazon em sua comunidade, para trazer à mesa a gigante e abrir concessões que melhoraram a vida dos funcionários. Fazer com que a Amazon aceite qualquer tipo de acordo é uma façanha importante, e essa foi apenas a primeira.
Os impactos climáticos da Inteligência Artificial
O pano de fundo de todas essas questões, é o clima. A computação planetária está causando impactos planetários.
A IA é extremamente intensiva em energia e utiliza uma grande quantidade de recursos naturais. A pesquisadora Emma Strubell, de Amherst, divulgou um artigo no início deste ano revelando o enorme rastro de carbono deixado por um treinamento de um sistema de IA. Sua equipe mostrou que a criação de apenas um modelo de IA para o processamento da linguagem natural pode emitir até 272 toneladas de dióxido de carbono. Isso significa, mais ou menos, a mesma quantidade de contaminação produzida por 125 vôos de ida e volta entre Nova York e Beijing.
A pegada de carbono da IA em larga escala, muitas vezes é ocultada por trás de abstrações como “a nuvem”. Na realidade, estima-se que, atualmente, a infraestrutura computacional mundial emita tanto carbono quanto a indústria da aviação: uma porcentagem expressiva de todas as emissões globais. Mas aqui também há uma oposição surgindo e crescendo. Só neste mês já vimos a primeira ação de trabalhadores do setor de tecnologia cruzada — em que operários da tecnologia se comprometeram a lutar pelo clima.
Eles exigem zerar as emissões de carbono da grande tecnologia até 2030, zerar os contratos companhias de combustíveis fósseis, e que as empresas parem de empregar sua tecnologia para prejudicar refugiados climáticos. Aqui, vemos que as preocupações são compartilhadas, tanto pelo uso da IA nas fronteiras, como pelo movimento pela justiça climática. São questões profundamente interconectadas, como veremos.
A pressão crescente
Vocês podem ver que existe uma onda crescente de pressão surgindo. Desde a rejeição à ideia de que o reconhecimento facial é inevitável, bem como contra o poder das tecnologias de rastreamento dentro de nossas casas e cidades, uma grande quantidade de trabalho crucial vem sendo feita.
E está claro que os problemas levantados pela IA são sociais, culturais e políticos, não somente técnicos. Essas questões, da justiça criminal aos direitos dos trabalhadores, até a igualdade racial e de gênero, têm uma história longa e ininterrupta. O que significa que aqueles preocupados com as implicações da IA precisam procurar e se somar às pessoas que já vêm fazendo esse trabalho, aprender a história daqueles que abriram o caminho.
A pressão social que marcou 2019 nos lembra de que ainda existe uma janela, uma chance, para decidirmos que tipos de IA são aceitáveis e como fazê-las funcionar com responsabilidade. Nossos convidados de hoje, são pessoas que estão na linha de frente da criação dessa mudança real: pesquisando, organizando e pressionando um recuo em vários âmbitos.
Eles compartilham o comprometimento pela justiça e a vontade de olhar além das tendências, para perguntar quem se beneficia da IA, quem é prejudicado e quem toma as decisões.
*Um estudo do AI Now Institute | Imagem: Natalie Matthews-Ramo | Tradução: Simone Paz e Gabriela Leite.
Para que a memória coletiva prevaleça!
“Quarenta.” Apoie essa ideia!
