Pensar em uma algor-ética significa pensar em um desenvolvimento da inovação. Utilizar eticamente a tecnologia hoje significa tentar transformar a inovação em desenvolvimento. Significa direcionar a tecnologia para e pelo desenvolvimento, e não simplesmente buscar um progresso como fim em si mesmo.
A opinião é de Paolo Benanti, teólogo e frei franciscano da Terceira Ordem Regular, professor da Pontifícia Universidade Gregoriana, em Roma, e acadêmico da Pontifícia Academia para a Vida.
O artigo foi publicado em seu blog, 20-08-2020. A tradução é de Moisés Sbardelotto.
Eis o texto.
A discriminação algorítmica e o “trabalho fantasma” não parecem ser problemas que afligem as inteligências artificiais (IA) por acaso. Relatamos aqui as ideias de Shakir Mohamed, um pesquisador sul-africano que nos convida, com um olhar a partir do Sul global, a tentar sair dos nossos paradigmas culturais.
Política tecnológica
Em março de 2015, na Universidade da Cidade do Cabo, na África do Sul, eclodiram protestos contra a estátua do colono britânico Cecil Rhodes. Rhodes, um magnata da mineração que doou as terras nas quais a universidade foi construída, cometera um genocídio contra os africanos e lançou as bases para o apartheid.
Sob a bandeira da demonstração “Rhodes Must Fall” [Rhodes deve cair], os estudantes exigiram que a estátua fosse removida. Seus protestos desencadearam um movimento global para erradicar as heranças coloniais que persistem na educação.
Os eventos também levaram Shakir Mohamed, um pesquisador sul-africano de inteligência artificial no DeepMind, a refletir sobre quais heranças coloniais também poderiam existir na sua pesquisa.
Em 2018, precisamente quando o campo da IA estava começando a fazer as contas com problemas como a discriminação algorítmica, Mohamed escreveu um post no seu blog com seus pensamentos iniciais [disponível aqui, em inglês].
Nele, ele convidou pesquisadores a “descolonizarem a inteligência artificial”, a reorientarem o trabalho do campo para longe dos centros ocidentais como o Vale do Silício e a envolverem novas vozes, culturas e ideias para orientar o desenvolvimento da tecnologia.
Agora, no rastro dos renovados gritos de “Rhodes Must Fall” no campus da Universidade de Oxford, estimulados pelo homicídio de George Floyd e pelo movimento antirracista global, Mohamed publicou um novo documento junto com o seu colega William Isaac e a doutoranda de Oxford Marie-Therese Png [disponível aqui, em inglês].
Nesse novo texto, Mohamed complementa as ideias originais com exemplos específicos de como os desafios éticos da IA estariam enraizados no colonialismo e apresenta estratégias para enfrentá-los a partir do reconhecimento dessa história.
Como a mentalidade colonial se manifesta na IA
Embora o colonialismo histórico possa ter acabado, os seus efeitos existem ainda hoje. Isso é o que os estudiosos chamam de “colonialidade”: a ideia de que os modernos desequilíbrios de poder entre raças, países, ricos e pobres e outros grupos são extensões dos desequilíbrios de poder entre colonizadores e colonizados.
Veja-se aquilo que é chamado de racismo estrutural. Dentro dessa visão, reconhece-se como historicamente os europeus teriam originalmente inventado o conceito de raça e as diferenças entre elas para justificar o tráfico de escravos africanos e, portanto, a colonização dos países africanos.
Nos Estados Unidos, os efeitos dessa ideologia podem ser rastreados agora através da história da escravidão do país, de Jim Crow e da brutalidade policial.
Da mesma forma, argumentam os autores do artigo, essa história colonial explica algumas das características e dos impactos mais preocupantes da IA. Nesse estudo, são identificadas cinco manifestações de colonialidade:
1. Discriminação algorítmica e opressão
Os laços entre discriminação algorítmica e racismo colonial talvez sejam os mais óbvios: os algoritmos construídos para automatizar os procedimentos e formatos dos dados dentro de uma sociedade racialmente injusta acabam replicando esses resultados racistas nos seus resultados. Mas grande parte dos estudos sobre esse tipo de dano produzido pela IA se concentra em exemplos dos EUA. Examinar isso no contexto da colonialidade permite uma perspectiva global: os EUA não são o único lugar com desigualdades sociais. “Sempre há grupos que são identificados e submetidos”, diz Isaac.
2. Trabalho fantasma
O fenômeno do trabalho fantasma, o trabalho de dados invisível necessário para sustentar a inovação da IA, estende nitidamente a relação econômica histórica entre colonizador e colonizado. Muitas ex-colônias dos EUA e do Reino Unido – Filipinas, Quênia e Índia – se tornaram centros de trabalho fantasma para empresas estadunidenses e britânicas. A força de trabalho de baixo custo e de língua inglesa dos países, que os torna ideais para o trabalho sobre os dados, existe por causa das suas histórias coloniais.
3. Testes Beta
Às vezes, os sistemas de IA são testados em grupos mais vulneráveis antes de serem implementados para usuários “reais”. A Cambridge Analytica, por exemplo, submeteu os seus algoritmos a testes Beta nas eleições na Nigéria em 2015 e no Quênia em 2017 antes de usá-los nos EUA e no Reino Unido. Os estudos descobriram posteriormente que esses experimentos interromperam ativamente o processo eleitoral do Quênia e erodiram a coesão social. Esse tipo de teste ecoa o tratamento histórico do Império Britânico às colônias como laboratórios para novos remédios e tecnologias.
4. Governança da IA
Os desequilíbrios de poder geopolítico que a era colonial deixou em seu rastro também moldam ativamente a governança da IA. Isso ocorreu na recente corrida para formar diretrizes éticas globais sobre a IA: os países em desenvolvimento na África, América Latina e Ásia central foram amplamente excluídos das discussões, o que levou alguns a se recusarem a participar dos acordos internacionais sobre o fluxo de dados. O resultado: os países desenvolvidos continuam se beneficiando desproporcionalmente de normas globais moldadas a seu favor, enquanto os países em desenvolvimento continuam ficando para trás.
5. Desenvolvimento social internacional
Por fim, os próprios desequilíbrios de poder geopolítico influenciam o modo como a IA é utilizada para ajudar os países em desenvolvimento. As iniciativas “IA para o bem” ou “IA para o desenvolvimento sustentável” costumam ser paternalistas. Elas forçam os países em desenvolvimento a depender dos sistemas de IA existentes, em vez de participarem da criação de novos sistemas projetados para o seu próprio contexto.
Os pesquisadores observam que esses exemplos não são completos, mas demonstram como são vastas as heranças coloniais no desenvolvimento global da IA. Eles também unem aqueles que parecem ser problemas díspares sob uma tese unificadora. “Isso nos permite uma nova gramática e vocabulário para falar tanto do motivo pelo qual esses problemas são importantes quanto do que faremos para pensar e enfrentar esses problemas em longo prazo”, afirma Isaac.
Como construir uma IA descolonial
A vantagem de examinar os impactos prejudiciais da IA por meio dessa lente, argumentam os pesquisadores, é o quadro que isso fornece para prever e mitigar danos futuros. Png acredita que realmente não existem “consequências não intencionais”, mas apenas as consequências dos pontos cegos que as organizações e os institutos de pesquisa têm quando carecem de representações diferentes.
Nesse sentido, os pesquisadores propõem três técnicas para obter uma IA “descolonial” ou mais inclusiva e vantajosa:
1. Desenvolvimento técnico ciente do contexto
Primeiro, os pesquisadores de IA que criam um novo sistema deveriam considerar onde e como ele será utilizado. Além disso, o seu trabalho não deveria terminar com a escrita do código, mas deveria incluir a sua testagem, o apoio a políticas que facilitem o seu uso correto e a organização de ações contra os usos impróprios.
2. Tutela reversa
Segundo, deveriam ouvir os grupos marginalizados. Um exemplo de como fazer isso é a prática emergente do aprendizado automático participativo, que busca envolver as pessoas mais afetadas pelos sistemas de aprendizado automático no seu projeto. Isso oferece aos diferentes sujeitos a possibilidade de discutirem e estabelecerem como são enquadrados os problemas de aprendizado automático, quais dados são coletados e como e onde os modelos finais são utilizados.
3. Solidariedade
Os grupos marginalizados também deveriam receber o apoio e os recursos para iniciar seu próprio trabalho de IA. Já existem diversas comunidades de profissionais de IA marginalizados, incluindo o Deep Learning Indaba, Black in AI e Queer in AI, e o seu trabalho deve ser ampliado.
Desde que publicaram seu artigo, dizem os pesquisadores, eles encontraram um enorme interesse e entusiasmo. “Pelo menos, isso me sinaliza que há receptividade a esse trabalho”, diz Isaac. “Parece que esse é um debate com o qual a comunidade deseja começar a se envolver.”
O que observar a partir dessa leitura
Pensar em uma algor-ética significa pensar em um desenvolvimento da inovação. Utilizar eticamente a tecnologia hoje significa tentar transformar a inovação em desenvolvimento. Significa direcionar a tecnologia para e pelo desenvolvimento, e não simplesmente buscar um progresso como fim em si mesmo.
Embora não seja possível pensar e realizar a tecnologia sem formas de racionalidade específicas (o pensamento técnico e científico), colocar o desenvolvimento no centro das atenções significa dizer que o pensamento técnico-científico não basta por si só. São necessárias diversas abordagens, incluindo a humanística e a contribuição da fé.
O desenvolvimento necessário para enfrentar os desafios da mudança época deverá ser:
Global, ou seja, para todas as mulheres e para todos os homens, e não só para alguns ou para alguns grupos (diferenciados por sexo, língua ou etnia);
Integral, ou seja, de toda a mulher e de todo o homem;
Plural, ou seja, atento ao contexto social em que vivemos, respeitando a pluralidade humana e as diversas culturas;
Fecundo, ou seja, capaz de lançar as bases para as gerações futuras, ao invés de ser míope e direcionado para a utilização dos recursos de hoje sem nunca olhar para o futuro;
Gentil, ou seja, respeitoso com a terra que nos hospeda (a casa comum), com os recursos e com todas as espécies vivas.
Para a tecnologia e para o nosso futuro, precisamos de um desenvolvimento que, sinteticamente, eu definiria como gentil. A ética é isso, e as escolhas éticas são aquelas que vão na direção de um desenvolvimento gentil.
