Por Gary Marcus, The Atlantic.
Tradução: Maurício Ayer.
Novos sistemas de inteligência artificial (IA), como o ChatGPT, o mecanismo de pesquisa revisado do Microsoft Bing e o GPT-4, que segundo anunciado está prestes a chegar, capturaram totalmente a imaginação pública. O ChatGPT é o aplicativo on-line que cresceu mais rápido em todos os tempos, e não é de se admirar. Digite algum texto e, em vez de links da internet, você receberá respostas bem elaboradas, como em uma conversa, sobre qualquer tópico selecionado – a proposta é inegavelmente sedutora.
Mas não são apenas o público e os gigantes da tecnologia que ficaram encantados com essa tecnologia baseada em Big Data, conhecida como “modelo de linguagem grande”. Os delinquentes também tomaram conhecimento da tecnologia. No extremo, está Andrew Torba, CEO da rede social de extrema-direita Gab, que disse recentemente que sua empresa está desenvolvendo ativamente ferramentas de IA para “defender uma visão de mundo cristã” e combater “as ferramentas de censura do Regime”. Mas mesmo os usuários que não são motivados por uma ideologia sofrerão o impacto. A Clarkesworld, uma editora de contos de ficção científica, parou temporariamente de aceitar envios no mês passado, porque estava sendo alvo de spam de histórias geradas por IA – resultado de influenciadores que passaram a sugerir maneiras de usar a tecnologia para “ficar rico rapidamente”, conforme contou o editor da revista para The Guardian.
Este é um momento tremendamente perigoso: as empresas de tecnologia estão correndo para lançar novos produtos de IA, mesmo depois dos problemas com esses produtos terem sido tão bem documentados por anos a fio. Sou um cientista cognitivo e tenho como foco aplicar o que aprendo sobre a mente humana ao estudo da inteligência artificial. Também fundei algumas empresas de IA e estou pensando em fundar outra. Em 2001, escrevi um livro chamado The Algebraic Mind [A mente algébrica] no qual analiso em detalhe como as redes neurais – um tipo de tecnologia vagamente semelhante ao cérebro sobre a qual se assentam alguns produtos de IA – tendiam a generalizar demais, aplicando características de indivíduos a grupos maiores. Se eu contasse a uma IA naquela época que minha tia Esther havia ganhado na loteria, ela poderia concluir que todas as tias, ou todas as Esthers, também haviam ganhado na loteria.
A tecnologia avançou bastante desde então, mas o problema de base persiste. Na verdade, a integração da tecnologia e a escala dos dados que ela utiliza a tornaram pior em muitos sentidos. Esqueça a tia Esther: em novembro, Galactica, um modelo de linguagem grande lançado pela Meta – e rapidamente colocado offline – teria falado que Elon Musk morreu em um acidente de carro da Tesla em 2018. Mais uma vez, a IA parece ter generalizado demais um conceito que era verdadeiro em um nível individual (alguém morreu em um acidente de carro da Tesla em 2018) e o aplicou erroneamente a outro indivíduo que compartilha alguns atributos pessoais, como sexo, estado de residência na época e vínculo com a montadora.
Esse tipo de erro, que ficou conhecido como “alucinação”, ocorre desenfreadamente. Seja qual for o motivo pelo qual a IA cometeu esse erro específico, é uma demonstração clara da capacidade desses sistemas de escrever uma prosa fluente que está claramente em desacordo com a realidade. Você não precisa imaginar o que acontece quando tais associações falhas e problemáticas são desenhadas em cenários do mundo real: Meredith Broussard da NYU e Safiya Noble da UCLA estão entre os pesquisadores que têm repetidamente mostrado como diferentes tipos de IA replicam e reforçam preconceitos raciais em uma variedade de situações do mundo real, incluindo nos serviços de saúde. Modelos de linguagem grandes como o Chat GPT apresentaram vieses semelhantes em alguns casos.
No entanto, as empresas pressionam para desenvolver e lançar novos sistemas de IA sem muita transparência e, em muitos casos, sem verificação suficiente. Os pesquisadores que vasculham esses modelos mais novos descobriram todo tipo de coisas perturbadoras. Antes da Galactica ser tirada do ar, o jornalista Tristan Greene descobriu que dava para usá-la para criar minuciosos artigos em estilo científico sobre tópicos como os benefícios do antissemitismo e de comer vidro moído, inclusive com referências a estudos fabricados. Outros observaram que o programa gerou respostas racistas e imprecisas. (Yann LeCun, cientista-chefe de IA da Meta, argumentou que a Galactica não tornaria a disseminação online de desinformação mais fácil do que já é; em novembro, o porta-voz da Meta disse ao site CNET que a “Galactica não é uma fonte de verdade, é um experimento de pesquisa usando sistemas [de aprendizado de máquina] para aprender e resumir informações.”)
Mais recentemente, o professor da Wharton Ethan Mollick conseguiu que o novo Bing escrevesse cinco parágrafos detalhados e totalmente falsos sobre a “civilização avançada” dos dinossauros, cheios de fragmentos que soavam autoritários, incluindo: “Por exemplo, alguns pesquisadores afirmaram que as pirâmides do Egito, as linhas de Nazca do Peru, e as estátuas da Ilha de Páscoa do Chile foram realmente construídas por dinossauros, ou por seus descendentes ou aliados.” Apenas neste fim de semana, Dileep George, pesquisador de IA da DeepMind, disse que conseguiu fazer o Bing criar um parágrafo de texto falso afirmando que o OpenAI e um inexistente GPT-5 tiveram um papel no colapso do Silicon Valley Bank. Solicitada a comentar esses episódios, a Microsoft não respondeu imediatamente; no mês passado, um porta-voz da empresa disse que, “considerando que esta é uma prévia, [o novo Bing] às vezes pode apresentar respostas inesperadas ou imprecisas… estamos ajustando suas respostas para criar respostas coerentes, relevantes e positivas.”
Alguns observadores, como LeCun, dizem que esses exemplos isolados não são surpreendentes nem preocupantes: entre com um material ruim em uma máquina e ela produzirá um resultado ruim. Mas o exemplo do acidente de carro de Elon Musk deixa claro que esses sistemas podem criar alucinações que não aparecem em nenhum lugar nos dados de treinamento. Além disso, a potencial escala deste problema é motivo de preocupação. Podemos só começar a imaginar o que as fazendas de trolls patrocinadas pelo Estado, com grandes orçamentos e modelos de linguagem grandes personalizados podem produzir. Delinquentes poderiam facilmente usar essas ferramentas, ou outras parecidas, para gerar desinformação prejudicial, em escala gigantesca e sem precedentes. Em 2020, Renée DiResta, gerente de pesquisa do Stanford Internet Observatory, alertava que a “fornecimento de desinformação em breve será infinito”. Esse momento chegou.
Cada dia nos aproxima um pouco mais de um tipo de desastre na esfera da informação, no qual os delinquentes armam modelos de linguagem grandes, distribuindo seus ganhos ilícitos por meio de exércitos de bots cada vez mais sofisticados. O GPT-3 produz respostas mais plausíveis que o GPT-2, e o GPT-4 será mais poderoso que o GPT-3. E nenhum dos sistemas automatizados projetados para discriminar os textos gerados por humanos dos textos gerados por máquinas provou ser particularmente eficaz.
Já enfrentamos um problema assim com as câmaras de eco que polarizam nossas mentes. A produção automatizada em grande escala de desinformação ajudará na transformação dessas câmaras de eco em armas de guerra e provavelmente nos levará ainda mais longe nos extremos. O objetivo do modelo russo “Lança-chamas de falsidades” é criar uma atmosfera de desconfiança, favorecendo a entrada em cena de agentes autoritários; é nessa linha que o estrategista político Steve Bannon almejava, durante o governo Trump, “inundar a zona com merda”. É urgente descobrir como a democracia pode ser preservada em um mundo em que a desinformação pode ser criada tão rapidamente e em tal escala.
Uma sugestão, que vale a pena explorar, mesmo que provavelmente seja insuficiente, é colocar uma “marca d’água” ou rastrear o conteúdo produzido por modelos de linguagem grandes. O OpenAI pode, por exemplo, marcar qualquer coisa gerada pelo GPT-4, a próxima geração da tecnologia que alimenta o ChatGPT; o problema é que os delinquentes podem simplesmente usar outros modelos de linguagem grandes e criar o que quiserem, sem marcas d’água.
Uma segunda abordagem é penalizar a desinformação quando ela é produzida em larga escala. Atualmente, a maioria das pessoas é livre para mentir a maior parte do tempo sem consequências, a menos que estejam, por exemplo, falando sob juramento. Os fundadores dos EUA simplesmente não imaginaram um mundo em que alguém pudesse criar uma fazenda de trolls e divulgar um bilhão de inverdades em um único dia, disseminadas por um exército de bots pela Internet. Podemos precisar de novas leis para lidar com esse tipo de cenário.
Uma terceira abordagem seria construir uma nova forma de IA que pudesse detectar desinformação, em vez de simplesmente gerá-la. Modelos de linguagem grandes não são por si sós adequados para isso; eles não controlam bem as fontes de informação que usam e carecem de meios de validar diretamente o que dizem. Mesmo em um sistema como o do Bing, onde as informações são obtidas na internet, podem surgir inverdades quando os dados são alimentados pela máquina. Validar a saída de modelos de linguagem grandes exigirá o desenvolvimento de novas abordagens para a IA que centralizem o raciocínio e o conhecimento, ideias que já foram mais valorizadas, mas atualmente estão fora de moda.
A partir de agora, será uma corrida armamentista contínua de movimentos e contra-ataques. Assim como os spammers mudam suas táticas quando os anti-spammers mudam as suas, podemos esperar uma batalha constante entre os delinquentes que se esforçam para usar modelos de linguagem grandes para produzir grandes quantidades de desinformação e os governos e corporações privadas tentando contra-atacar. Se não começarmos a lutar agora, a democracia pode ser dominada pela desinformação e consequente polarização – e isso pode acontecer muito em breve. As eleições de 2024 podem ser diferentes de tudo o que já vimos.
Gary Marcus é cientista, escritor e empresário. Seu livro mais recente é Rebooting AI.
A opinião do/a/s autor/a/s não necessariamente representa a opinião de Desacato.info.
—
