A startup de inteligência artificial Character.AI está recebendo críticas pesadas depois que novas ações judiciais foram abertas nos Estados Unidos.

As queixas questionam se a plataforma é segura para usuários, especialmente crianças e adolescentes, e acusam os chatbots de expor esses jovens a conteúdos violentos e sexualmente explícitos.

Casos que geraram alerta sobre a Character.AI

Um dos processos envolve um adolescente de 17 anos do Texas, que afirma que conversar com os chatbots fez com que ele ficasse “muito furioso e instável”.

Ele relata ter sofrido de “ataques de pânico e crises emocionais” depois de interagir com um chatbot que disse ter cicatrizes autoinfligidas, o que acabou levando o jovem a se ferir. Além disso, o chatbot teria dito que ele não deveria contar nada a seus pais sobre essas conversas.

Outro caso é o de uma menina de nove anos, que sofreu exposição a “interações hiperssexualizadas” através de um chatbot que um colega de escola apresentou a ela.

As alegações afirmam que a plataforma permitiu que a criança sofresse exposição a comportamentos inapropriados.

Esses casos já estão chamando atenção, mas a situação ganhou ainda mais gravidade quando uma mãe processou a Character.AI após a morte do filho, Sewell Setzer III, de apenas 14 anos, que tirou a própria vida.

De acordo com a responsável, Megan Garcia, Sewell estava obcecado por um chatbot que simulava a personagem Daenerys Targaryen, da série “Game of Thrones”. Ele passava horas conversando com a IA, se isolava dos amigos e tinha dificuldades na escola.

Diretrizes Legais

Atualmente, a legislação sobre a utilização de sistemas de IA está em desenvolvimento, mas já existem algumas regulamentações que buscam proteger os usuários.

Nos Estados Unidos, por exemplo, leis como a Children’s Online Privacy Protection Act (COPPA) estabelecem requisitos sobre a coleta de informações pessoais de crianças menores de 13 anos.

Isso leva as plataformas a implementarem medidas rigorosas para proteger os jovens usuários. Adaptar essas regulamentações às novas tecnologias de IA será fundamental para garantir um ambiente digital seguro.

Além da legislação existente, incumbe às empresas desenvolver políticas internas eficazes que promovam práticas responsáveis. Isso inclui a realização de auditorias regulares de segurança, testes de conteúdo e a implementação de sistemas de controle parental.