Chatbots de IA generativa ainda não são resposta segura para crise em saúde mental · Matéria

A literatura traz alertas sobre suicídio, psicose e risco grave, mas ainda não demonstra segurança clínica em uso real.

Quando alguém está em crise, uma resposta convincente demais pode ser tão perigosa quanto uma resposta claramente ruim. É nesse ponto que o debate sobre chatbots em saúde mental precisa de mais cautela. Esta matéria se baseia na revisão ScienceLayers sobre chatbots e IA generativa em saúde mental, que examinou estudos sobre apoio digital, manejo de crise, segurança e limites clínicos. O eixo de crise é o ponto em que a revisão mais resiste a simplificações. Há sinais de risco e várias propostas técnicas de avaliação, mas a maior parte dessa evidência vem de simulações, vinhetas, testes técnicos ou julgamentos humanos de respostas. Isso é útil para mapear falhas plausíveis; não é prova de segurança com pessoas em crise. Um estudo de simulações longitudinais de apoio terapêutico sustenta risco plausível e heterogeneidade de segurança. Ele não sustenta frequência real de dano, efetividade clínica ou segurança autônoma em pacientes reais. Em suicídio, o limite aparece de várias formas. Estudos sobre respostas a crise suicida simulada apontam falhas em detecção, encaminhamento e orientação, inclusive em aplicativos especializados. Outros trabalhos indicam que ajustes de instrução podem melhorar alguns textos, mas também mostram instabilidade entre sistemas e versões. Há ainda evidência de desalinhamento em situações de risco intermediário. Existem propostas de mitigação, e elas importam. Alguns trabalhos sustentam viabilidade pré-clínica de barreiras de segurança em crise, triagem textual e avaliação automatizada por rubricas de segurança. Mas esses estudos continuam no plano de desenho, simulação ou avaliação indireta. Eles não demonstram que um chatbot seja seguro com pessoas em risco real. Por isso, a conclusão pública precisa ser direta: segurança em crise é insuficient…