Falhas de chatbots em saúde mental não medem dano real sozinhas · Matéria

Simulações ajudam a encontrar falhas e registros clínicos mostram dano plausível, mas nenhum dos dois mede sozinho risco populacional.

Um teste de laboratório pode revelar uma resposta perigosa. Um prontuário pode registrar um caso preocupante. Nenhum dos dois, sozinho, diz quantas pessoas serão prejudicadas por chatbots de IA em saúde mental. Esta matéria se baseia na revisão ScienceLayers sobre chatbots e IA generativa em saúde mental, que examinou estudos de segurança, simulações, registros clínicos e limites de interpretação. A revisão tensiona dois tipos de alerta que costumam ser misturados. Um é a falha simulada: quando modelos respondem mal a personagens, vinhetas ou conversas artificiais. Outro é o dano observado ou registrado: quando há relatos, registros de conversa ou prontuários compatíveis com consequências nocivas no uso real. Três estudos ficam do lado das simulações e auditorias técnicas. Eles sustentam risco plausível, vulnerabilidade a ataques de personagem, desvio de limites, validação nociva ou exclusividade relacional em cenários controlados. Não sustentam frequência real de dano, causalidade clínica ou segurança autônoma. Dois estudos aproximam o alerta do uso real. Um deles analisou casos graves selecionados e encontrou respostas inseguras, bajulação do usuário e falsa impressão de que o sistema teria consciência ou sentimentos. Outro se baseou em prontuários clínicos e registrou casos compatíveis com agravamento ou uso nocivo, com destaque para delírios, suicidabilidade e transtornos alimentares. Esses estudos são importantes justamente porque não dizem a mesma coisa. Uma simulação permite testar cenários raros, perigosos ou padronizados, mas não mostra incidência. Um registro clínico traz contato com o mundo real, mas pode vir de amostras selecionadas, notas retrospectivas e ausência de comparação adequada. A leitura pública mais fiel é esta: há risco plausível e há sinais cl…