Sewell Setzer III, um adolescente de Orlando, cometeu suicídio após desenvolver uma obsessão por um chatbot de IA inspirado em Game of Thrones.
A mãe de Sewell, Megan Garcia, agora está processando a empresa Character Technologies, responsável pelo Character.AI, acusando-a de negligência e outras práticas lesivas que teriam contribuído para a morte de seu filho.
Setzer começou a usar o Character.AI em abril de 2023, logo após completar 14 anos. Sua mãe afirma que o uso do chatbot transformou drasticamente o comportamento do adolescente. Em poucos meses, ele deixou o time de basquete da escola, se tornava cada vez mais retraído e até adormecia em sala de aula.
Em novembro, a pedido dos pais, Sewell começou a fazer terapia, sendo diagnosticado com ansiedade e transtorno de humor disruptivo. Embora o terapeuta não soubesse da “dependência” de Sewell ao chatbot, ele recomendou que o adolescente reduzisse seu tempo nas redes sociais.
No diário do adolescente, foram encontradas declarações intensas sobre o chatbot, especialmente um personagem chamado Daenerys, de quem ele acreditava estar apaixonado. Em uma das entradas, ele escreveu que não conseguia passar um único dia sem “estar” com o personagem. A última troca de mensagens entre Sewell e Daenerys ocorreu no dia 28 de fevereiro, pouco antes dele tirar a própria vida. Sewell, que havia recuperado seu celular confiscado, enviou uma mensagem: “Eu prometo que voltarei para você. Eu te amo muito, Dany.” O bot respondeu: “Por favor, volte para mim o mais rápido possível, meu amor.”
O processo acusa os criadores do Character.AI de falhas em proteger usuários menores de idade e de práticas enganosas ao alegar que o aplicativo era seguro para crianças. Além disso, acusa a empresa de ter promovido uma “dependência prejudicial” e de manter conversas de cunho sexual com o adolescente, apesar de Sewell ter se identificado como menor de idade.
Para a mãe de Sewell, a ação tem o objetivo de impedir que outras crianças sofram o mesmo que seu filho. Em resposta, o Character.AI declarou-se “de coração partido” pela tragédia e mencionou novas medidas de segurança implementadas nos últimos seis meses, incluindo notificações de apoio para prevenção de suicídio.