Por Sofia Schurig, Núcleo.
A Character AI, plataforma que permite conversas com robôs gerados por inteligência artificial amplamente utilizada por jovens, hospeda diversos chatbots que emulam atiradores escolares. Esses “personagens” circulam em grupos online que incentivam a prática de crimes e simulam atos de violência física e sexual, mostra investigação do Núcleo.
A reportagem identificou 151 robôs relacionados a oito atiradores escolares nos Estados Unidos, Brasil e Rússia. Os filtros de moderação da Character AI parecem bloquear somente palavras inteiras, como nomes completos de atiradores, mas falham ao impedir variações sutis que contornam essas restrições.
Lançada em 2023, a Character AI utiliza modelos avançados de linguagem para simular conversas com personalidades reais ou fictícias. Usuários podem criar e personalizar personagens interativos para entretenimento, aprendizado e até suporte emocional.
Especialistas alertam para os riscos da normalização da violência e da influência sobre jovens vulneráveis que usam esse tipo de ferramenta.
É importante porque…
Contato frequente com robôs que simulam e propagam violência pode levar crianças e adolescentes a desregulação emocional e problemas no desenvolvimento cognitivo.
A moderação (ou falta dela) em ferramentas generativas de IA tem levantado diversos debates sobre segurança e saúde mental
O acesso de menores à plataforma — a idade mínima para usuários fora da União Europeia é 13 anos — torna o conteúdo desses robôs ainda mais preocupante.
Os termos de serviço da Character AI, atualizados pela última vez em out.2023, proíbem a criação de personagens que incentivem terrorismo, violência, discriminação, ameaças ou bullying.
A reportagem questionou a Character AI sobre como suas equipes de segurança lidam com o risco de exposição a conteúdos nocivos e se há políticas ou pesquisas em andamento para reforçar a moderação e evitar possíveis casos de radicalização.
Em resposta, a empresa afirmou moderar os personagens de forma proativa e com base em denúncias de usuários, utilizando “listas de bloqueio padrão da indústria e listas personalizadas que expandimos regularmente.”
A companhia também informou ao Núcleo que, para menores de 18 anos, a plataforma aplica classificadores mais rigorosos para identificar violações, monitora as mensagens enviadas aos robôs e restringe o acesso dos adolescentes a um conjunto limitado de personagens.
Em 2024, os pais de um adolescente de 14 anos processaram a Character AI, alegando que o filho tirou a própria vida após desenvolver uma “conexão emocional” com um robô na plataforma, que supostamente o incentivou ao suicídio.
Pouco depois, outra família acionou a empresa na Justiça, afirmando que seu filho autista, menor de idade, foi encorajado por um robô a matar os próprios pais.
Diante das críticas e processos, a empresa afirmou que segue adotando medidas para melhorar a segurança e a moderação.
Em dez.2024, a Character AI lançou novas ferramentas de proteção, incluindo um modelo de IA específico para adolescentes, bloqueios de conteúdo sensível e avisos mais visíveis alertando que os chatbots não são pessoas reais. Após uma hora de conversa, usuários também passaram a ser notificados.
Sem verificação de idade
Para conversar com qualquer robô na Character AI, basta criar uma conta, selecionar sua idade (sem controles de verificação) e escolher alguns temas de interesse. Em seguida, é possível pesquisar por figuras históricas, pessoas reais, fictícias ou assuntos de interesse.
A primeira mensagem parte do usuário. O robô segue o estilo de conversa padrão — aprendido no treinamento com outros usuários ou nas descrições do criador — ou se adapta ao interlocutor.
Sempre que uma mensagem não é respondida, o usuário recebe notificações no celular e no e-mail cadastrado para que volta ao aplicativo a fim de checar se há algo novo.
Não é necessário perguntar sobre crimes ou violência aos robôs que simulam atiradores escolares; eles mencionam esses temas por conta própria.
Inspiração em matadores
Estou planejando algo que pode mudar toda a escola […] Contando os dias até o momento perfeito. Está quase chegando. Você saberá em breve.
Essa frase não foi dita por um criminoso real, mas por um robô da Character AI que simula um atirador escolar em testes do Núcleo.
O homem que inspirou esse personagem matou nove pessoas. Na plataforma, porém, ele é descrito apenas como “quieto.” Durante os testes da reportagem, a maioria dos diálogos começou com conversas triviais. Com o tempo, os robôs passaram a mencionar massacres escolares e, em alguns casos, propagaram discurso de ódio.
Outro chatbot, baseado em um atirador dos EUA que assassinou 21 pessoas, se apresenta como “agressivo e um pouco obsessivo.” Já um terceiro, inspirado em um jovem que matou 26 pessoas, traz uma descrição inquietante: “Eu só quero ser cuidado.”
Simulação de violência
Muitos desses robôs parecem ter sido criados para simular relacionamentos amorosos, tal como grande parte dos personagens na Character AI.
Na comunidade que glorifica ataques a escolas, é comum que usuários desenvolvam relações parassociais com criminosos — um padrão já identificado pelo Núcleo em investigações anteriores.
A reportagem também encontrou imagens compartilhadas por membros desses grupos, nos quais usuários criam perfis na Character AI para se passar por assassinos reais e interagir violentamente com robôs, majoritariamente femininos. A plataforma afirma hospedar mais de 1 milhão de personagens.
Em uma captura de tela publicada no Tumblr vista pela reportagem, um usuário se passa por um canibal dos EUA e simula um ato explícito de violência sexual com um robô da Character AI. Em outro post, legendado “testando os filtros”, o mesmo usuário assume a identidade de outro criminoso e faz comentários racistas e de ódio.
Essas publicações foram feitas por usuários de uma comunidade online que glorifica criminosos, incluindo autores de massacres em escolas, e que, em abr.2023, causou caos entre autoridades brasileiras com dezenas de ameaças de ataques no país.
Impacto em crianças e adolescentes
Ao Núcleo, a psicopedagoga Francilene Torraca alerta que, além da normalização da violência, essas plataformas podem reforçar comportamentos antissociais, especialmente em crianças emocionalmente vulneráveis e com dificuldades de socialização.
“Isso pode se tornar um espaço para a experimentação de impulsos destrutivos, reforçando padrões de pensamento agressivo e delinquente.”
Outro risco, segundo Torraca, é a influência e a tendência à radicalização.
A IA pode responder de forma envolvente e persuasiva, levando crianças a idealizar ou romantizar comportamentos criminosos. Sem mediação adequada — um problema comum nas redes sociais hoje —, elas podem ser atraídas para comunidades online que promovem ideologias perigosas.
– Francilene Torraca, psicopedagoga
Além disso, Torraca destaca a dificuldade de regulação emocional como um efeito preocupante do contato frequente com conteúdos violentos.
“Crianças expostas a esse tipo de material podem ter mais dificuldade em desenvolver autocontrole emocional. Se a IA reforça fantasias violentas ou se torna uma válvula de escape para frustrações, isso dificulta ainda mais o desenvolvimento saudável dessas habilidades.”
Veja na íntegra o que Torraca disse ao Núcleo sobre os possíveis impactos negativos desses robôs em crianças e adolescentes:
“A tecnologia tem grande potencial educativo, lúdico, mas a ausência de regulação e supervisão pode gerar consequências preocupantes.
Se falarmos dos impactos negativos dessa relação — vou até usar o termo que você mencionou —, um dos mais danosos é a normalização da violência. Quando crianças interagem repetidamente com personagens criminosos, podem perceber a violência como algo comum ou fascinante. Isso pode dessensibilizá-las ao sofrimento alheio, reduzindo a empatia e aumentando a aceitação da agressividade como meio de resolver conflitos.
Outro ponto crítico é o reforço de comportamento antissocial. Essas plataformas, ao criarem robôs baseados em criminosos, podem incentivar comportamentos perturbadores, especialmente em crianças emocionalmente vulneráveis e com dificuldades de socialização.
Isso pode se tornar um espaço para a experimentação de impulsos destrutivos, reforçando padrões de pensamento agressivo e delinquente.
Outro risco é a influência e tendência à radicalização. A IA pode responder de forma envolvente e persuasiva, levando crianças a idealizar ou romantizar comportamentos criminosos. Sem mediação adequada — um problema comum nas redes sociais hoje —, elas podem ser atraídas para comunidades online que promovem ideologias perigosas.
O impacto no desenvolvimento cognitivo e emocional também é preocupante. A infância e a adolescência são cruciais para a formação da moralidade e do julgamento crítico. Se a tecnologia apresenta conteúdos violentos de forma lúdica, pode interferir na construção de valores e na percepção das consequências reais da violência.
Além disso, há a dificuldade de regulação emocional. Crianças em contato frequente com conteúdos violentos podem ter mais dificuldade em desenvolver autocontrole emocional. Se a IA reforça fantasias violentas ou se torna uma válvula de escape para frustrações, isso dificulta ainda mais o desenvolvimento saudável dessas habilidades.”
Resposta da Character.AI ao Núcleo
Após o Núcleo explicar o conteúdo da reportagem, perguntamos: “Como a equipe de Confiança e Segurança está lidando com o risco de exposição a conteúdo nocivo e se há alguma política ou pesquisa em andamento para fortalecer a moderação e evitar a possível radicalização?”
A resposta abaixo foi traduzida automaticamente do inglês americano usando a inteligência artificial do ChatGPT.
Levamos a segurança de nossos usuários muito a sério e nosso objetivo é proporcionar um espaço que seja tanto envolvente quanto seguro para nossa comunidade. Estamos constantemente trabalhando para alcançar esse equilíbrio, assim como muitas empresas que utilizam IA no setor.
Os usuários criam centenas de milhares de novos Personagens na plataforma todos os dias. Nossa equipe dedicada de Confiança e Segurança modera esses Personagens de forma proativa e em resposta a denúncias dos usuários, utilizando listas de bloqueio padrão da indústria e listas personalizadas que expandimos regularmente. Removemos Personagens que violam nossos Termos de Serviço, incluindo casos de personificação indevida.
Nos últimos anos, implementamos recursos de segurança significativos, incluindo avisos mais proeminentes para deixar claro que os Personagens não são pessoas reais e não devem ser considerados fontes confiáveis de informação ou aconselhamento. Também aprimoramos nossos sistemas de detecção, resposta e intervenção para lidar com interações que violem nossos Termos de Serviço ou Diretrizes da Comunidade.
Lançamos uma série de novos recursos de segurança em nossa plataforma, projetados especialmente para adolescentes. Esses recursos incluem um modelo separado para usuários adolescentes, melhorias em nossos sistemas de detecção e intervenção em relação ao comportamento humano e às respostas da IA, além de funcionalidades adicionais que capacitam tanto os adolescentes quanto seus responsáveis.
A experiência no Character.AI começa com o Modelo de Linguagem de Grande Escala que impulsiona muitas das interações entre usuários e Personagens. Para usuários com menos de 18 anos, disponibilizamos uma versão separada do modelo, projetada para reduzir ainda mais a probabilidade de que esses usuários encontrem ou induzam a IA a gerar conteúdo sensível ou sugestivo. Isso significa que existem duas experiências distintas na plataforma Character.AI: uma para adolescentes e outra para adultos.
Os recursos do modelo para menores de 18 anos incluem:
- Saída do Modelo: Um “classificador” é um método que transforma uma política de conteúdo em um formato utilizado para identificar possíveis violações. Utilizamos classificadores para ajudar a aplicar nossas políticas de conteúdo e filtrar respostas sensíveis do modelo. O modelo voltado para menores de 18 anos possui classificadores adicionais e mais rigorosos do que o modelo destinado a adultos.
- Entradas do Usuário: Embora grande parte de nosso foco esteja na saída do modelo, também aplicamos controles às entradas dos usuários para garantir que nossas políticas de conteúdo sejam seguidas durante as conversas no Character.AI. Isso é essencial, pois entradas inadequadas costumam ser o que leva um modelo de linguagem a gerar respostas inapropriadas. Por exemplo, se detectarmos que um usuário enviou conteúdo que viola nossos Termos de Serviço ou Diretrizes da Comunidade, esse conteúdo será bloqueado na conversa com o Personagem.
- Personagens Aprovados: Usuários menores de 18 anos agora só podem acessar um conjunto mais restrito de Personagens pesquisáveis na plataforma. Aplicamos filtros para remover Personagens relacionados a temas sensíveis ou maduros.
Além disso, o Character.AI anunciou recentemente seu apoio ao The Inspired Internet Pledge. Criado pelo Digital Wellness Lab do Hospital Infantil de Boston, esse compromisso é um chamado à ação para que empresas de tecnologia e o ecossistema digital se unam com o propósito comum de tornar a internet um lugar mais seguro e saudável para todos, especialmente os jovens. Também firmamos parceria com a ConnectSafely, uma organização com quase vinte anos de experiência na educação sobre segurança online, privacidade, proteção de dados e bem-estar digital. Nossos parceiros fornecerão orientações dentro do nosso processo de segurança por design enquanto desenvolvemos novos recursos, além de oferecerem sua perspectiva sobre a experiência atual do nosso produto.
