Logo da OpenAI, dona do ChatGPT
REUTERS/Dado Ruvic/
Usuários do ChatGPT que apresentarem sinais de extremismo violento poderão ser encaminhados para apoio especializado, por meio de uma nova ferramenta em desenvolvimento na Nova Zelândia, disseram os responsáveis pelo projeto..
O sistema deve combinar atendimento humano e chatbots para tentar reduzir riscos de violência.
A startup neozelandesa ThroughLine, contratada nos últimos anos pela OpenAI (dona do ChatGPT) e também por empresas como Anthropic e Google, busca redirecionar usuários para apoio em situações de crise.
Isso acontece quando há sinais de risco, como automutilação, violência doméstica ou transtornos alimentares.
Veja os vídeos que estão em alta no g1
A iniciativa é a mais recente tentativa de abordar as preocupações com a segurança diante do número crescente de processos judiciais que acusam empresas de inteligência artificial de não impedir, e até incentivar, episódios de violência.
Em fevereiro, a OpenAI foi ameaçada de intervenção pelo governo do Canadá. A medida ocorreu após a revelação de que o autor de um massacre em uma escola foi banido da plataforma sem que as autoridades fossem avisadas.
A OpenAI confirmou a parceria com a ThroughLine, mas não deu mais detalhes. Já Anthropic e Google não responderam aos pedidos de comentário.
Serviço de prevenção
Segundo o fundador da ThroughLine, Elliot Taylor, ex-assistente social que trabalhou com jovens, a empresa também estuda ampliar o serviço para incluir a prevenção ao extremismo violento.
A ThroughLine está em negociações com o The Christchurch Call, uma iniciativa para combater o ódio online criada após o pior ataque terrorista da Nova Zelândia em 2019. Segundo Taylor, o grupo anti-extremismo fornecerá orientações, enquanto a ThroughLine desenvolve o chatbot de intervenção.
“É algo que gostaríamos de avançar e fazer um trabalho melhor em termos de cobertura, para então poder dar um suporte melhor às plataformas”, disse Taylor em entrevista, acrescentando que nenhum prazo foi definido.
A startup de Taylor, operada a partir da zona rural da Nova Zelândia, tornou-se referência para empresas de IA. Hoje, oferece uma rede monitorada com 1.600 linhas de apoio em 180 países.
Quando a inteligência artificial detecta sinais de crise de saúde mental, o usuário é encaminhado à ThroughLine. A plataforma, então, conecta a pessoa a um serviço local com atendimento humano.
Segundo o fundador, o serviço ainda se limita a algumas categorias. Ele afirma que os problemas relatados online cresceram com a popularidade dos chatbots e agora incluem também o extremismo.
Mais chatbots, mais problemas
A ferramenta de combate ao extremismo de funcionar em modelo híbrido, combinando um chatbot treinado para responder a pessoas que apresentem sinais de extremismo e encaminhamentos para serviços de saúde mental presenciais, disse Taylor.
“Não estamos usando os dados de treinamento de um modelo de linguagem básico”, disse, referindo-se aos conjuntos de dados que as grandes plataformas usam para formar textos coerentes. “Estamos trabalhando com os especialistas certos.”
A tecnologia está atualmente em fase de testes, mas ainda não há data definida para lançamento.
Galen Lamphere-Englund, consultor de contraterrorismo ligado ao The Christchurch Call, afirmou que a ferramenta poderia ser usada por moderadores de fóruns de jogos e por pais que querem combater o extremismo online.
A ferramenta de redirecionamento de chatbots foi “uma ideia boa e necessária, porque reconhece que o problema não é apenas o conteúdo, mas também a dinâmica do relacionamento”, segundo Henry Fraser, pesquisador de IA da Universidade de Tecnologia de Queensland.
Ele afirmou que o sucesso da ferramenta depende da qualidade do acompanhamento e dos serviços para os quais os usuários serão encaminhados.
Taylor afirmou que as medidas de acompanhamento, incluindo possíveis alertas às autoridades sobre usuários perigosos, ainda estavam sendo definidas, mas levariam em consideração qualquer risco de desencadear comportamentos mais agressivos.
Segundo ele, pessoas em sofrimento tendem a compartilhar online coisas que têm muita vergonha de dizer a alguém, e os governos correm o risco de agravar o perigo se pressionarem as plataformas a bloquear usuários que participam de conversas delicadas.
Conforme um estudo de 2025 do Stern Center for Business and Human Rights, da Universidade de Nova York, a maior moderação associada ao extremismo por parte de plataformas, pressionadas pelas autoridades policiais, fez com que simpatizantes migrassem para alternativas menos regulamentadas, como o Telegram.
“Se você conversar com uma IA, revelar a crise e ela encerrar a conversa, ninguém ficará sabendo do ocorrido, e essa pessoa poderá continuar sem apoio”, disse Taylor.