Iniciativa Busca Reduzir Riscos de Violência
A OpenAI, responsável pelo ChatGPT, está testando um sistema inovador desenvolvido pela startup neozelandesa ThroughLine. Este projeto se propõe a identificar usuários que possam apresentar sinais de extremismo violento e, em seguida, encaminhá-los para o suporte especializado. O sistema combina a interação de atendentes humanos com chatbots, com o objetivo de diminuir os riscos de situações de violência.
ThroughLine, que tem colaborado com a OpenAI nos últimos anos, também possui parcerias com empresas como Anthropic e Google. A startup é focada em redirecionar usuários em períodos de crise para uma rede de 1.600 serviços de apoio disponíveis em 180 países. A criação deste sistema surge em um momento crítico, em que a segurança é uma preocupação crescente, especialmente em meio a ações judiciais que acusam empresas de IA de não agirem adequadamente para prevenir incidentes de violência.
Parcerias e Desafios
A iniciativa foi impulsionada após eventos alarmantes, como a ameaça de intervenção do governo canadense à OpenAI, que aconteceu após o massacre em uma escola, onde o perpetrador havia sido banido da plataforma sem que as autoridades fossem informadas. A OpenAI confirmou a parceria com a ThroughLine, embora não tenha fornecido detalhes adicionais sobre o funcionamento do sistema.
O fundador da ThroughLine, Elliot Taylor, um ex-assistente social, destacou que a empresa está se esforçando para expandir seus serviços, incluindo a prevenção ao extremismo violento. A startup está em diálogo com o The Christchurch Call, uma iniciativa que visa combater o ódio online, que surgiu após o trágico ataque terrorista em Christchurch, Nova Zelândia, em 2019. Taylor mencionou que a colaboração com esse grupo poderia fornecer diretrizes importantes para o desenvolvimento do chatbot de intervenção.
Abordagem Híbrida e Foco na Saúde Mental
Através desse novo modelo híbrido, o chatbot foi projetado para identificar e responder a sinais de extremismo, conectando os usuários a serviços de saúde mental presencial quando necessário. Taylor enfatizou que a abordagem não utiliza dados de treinamento convencionais, mas é baseada nas contribuições de especialistas na área. Ele afirmou que a tecnologia ainda está em fase de testes, sem uma data definida para o lançamento final.
O consultor de contraterrorismo ligado ao The Christchurch Call, Galen Lamphere-Englund, acredita que a ferramenta poderá ser útil não apenas para moderadores de fóruns de jogos, mas também para pais que desejam proteger seus filhos de ideologias extremistas online. O pesquisador de IA Henry Fraser, da Universidade de Tecnologia de Queensland, comentou que a iniciativa é valiosa ao reconhecer que o problema do extremismo online está associado não apenas ao tipo de conteúdo, mas também à dinâmica das interações sociais.
Desafios da Moderação e Riscos de Bloqueio
Embora a proposta de redirecionamento de usuários para serviços de apoio seja promissora, Taylor alertou que o sucesso da iniciativa depende da qualidade do acompanhamento e dos serviços oferecidos. Ele mencionou que as medidas de acompanhamento, incluindo a possibilidade de alerta a autoridades sobre comportamentos de risco, estão sendo discutidas, sempre considerando a prevenção de reações que possam agravar a situação do usuário.
Uma pesquisa realizada pelo Stern Center for Business and Human Rights, da Universidade de Nova York, revelou que a pressão por maior moderação nas plataformas sociais levou muitos usuários a buscarem alternativas menos regulamentadas, como o Telegram. Taylor expressou sua preocupação, afirmando que, se um usuário revela sua crise a uma IA e não recebe apoio, fica em uma situação ainda mais vulnerável.
Diante de um cenário em que o diálogo sobre crises pessoais se torna cada vez mais crítico, a OpenAI e a ThroughLine buscam soluções inovadoras que possam proteger e oferecer suporte a quem mais precisa. A expectativa é que, com o aprimoramento deste sistema, os usuários possam encontrar um caminho seguro para o suporte emocional e psicológico.