Character AI, uma plataforma que permite aos usuários se envolverem em jogos de papéis com chatbots de IA, entrou com um pedido para dispensar um caso movido contra ela pelo pai de um adolescente que cometeu suicídio, supostamente após se viciar na tecnologia da empresa.
Em outubro, Megan Garcia entrou com uma ação contra Character AI no Tribunal Distrital dos EUA para o Distrito Central da Flórida, Divisão de Orlando, pela morte de seu filho, Sewell Setzer III. De acordo com Garcia, seu filho de 14 anos desenvolveu um vínculo emocional com um chatbot no Character AI, “Dany,” com quem ele enviava mensagens constantemente — a ponto de começar a se afastar do mundo real.
Após a morte de Setzer, a Character AI disse que implementaria uma série de novos recursos de segurança, incluindo detecção, resposta e intervenção aprimoradas relacionadas a conversas que violam seus termos de serviço. Mas Garcia está lutando por barreiras adicionais, incluindo mudanças que poderiam resultar em chatbots no Character AI perdendo a capacidade de contar histórias e anedotas pessoais.
No pedido de dispensa, o conselho da Character AI afirma que a plataforma está protegida contra responsabilidade pela Primeira Emenda, assim como o código de computador. O pedido pode não persuadir um juiz, e as justificativas legais da Character AI podem mudar à medida que o caso progride. Mas o pedido possivelmente sugere elementos iniciais da defesa da Character AI.
“A Primeira Emenda proíbe a responsabilidade por danos contra empresas de mídia e tecnologia decorrentes de discursos supostamente prejudiciais, incluindo discursos alegadamente resultando em suicídio,” diz a petição. “A única diferença entre este caso e aqueles que vieram antes é que parte do discurso aqui envolve IA. Mas o contexto do discurso expressivo — seja uma conversa com um chatbot de IA ou uma interação com um personagem de videogame — não muda a análise da Primeira Emenda.”
Para ficar claro, o conselho da Character AI não está afirmando os direitos da Primeira Emenda da empresa. Em vez disso, o pedido argumenta que os usuários da Character AI teriam seus direitos da Primeira Emenda violados caso a ação contra a plataforma tenha êxito.
O pedido não aborda se a Character AI pode ser considerada isenta de responsabilidade nos termos da Seção 230 da Lei de Decência das Comunicações, a lei federal que protege as mídias sociais e outras plataformas online de responsabilidade por conteúdo de terceiros. Os autores da lei insinuaram que a Seção 230 não protege a saída da IA como os chatbots da Character AI, mas ainda não é um assunto legal resolvido.
O conselho da Character AI também alega que a verdadeira intenção de Garcia é “fechar” a Character AI e provocar legislação regulamentando tecnologias semelhantes. Se os autores tiverem sucesso, isso terá um “efeito intimidante” tanto para a Character AI quanto para toda a incipiente indústria de IA generativa, diz o conselho da plataforma.
“Além da intenção afirmada pelo conselho de ‘fechar’ a Character AI, [sua reclamação] busca mudanças drásticas que limitariam materialmente a natureza e o volume de discursos na plataforma,” diz a petição. “Essas mudanças restringiriam radicalmente a capacidade dos milhões de usuários da Character AI de gerar e participar de conversas com personagens.”
A ação judicial, que também cita a Alphabet, benefactor corporativo da Character AI, como ré, é apenas uma das várias ações judiciais que a Character AI está enfrentando relacionadas a como os menores interagem com o conteúdo gerado por IA em sua plataforma. Outras ações alegam que a Character AI expôs uma criança de 9 anos a conteúdo "hipersexualizado" e promoveu auto-mutilação a um usuário de 17 anos.
Em dezembro, o Procurador Geral do Texas, Ken Paxton, anunciou que estava iniciando uma investigação sobre a Character AI e outras 14 empresas de tecnologia por supostas violações das leis de privacidade e segurança online do estado para crianças. “Essas investigações são um passo crítico para garantir que as empresas de mídia social e IA cumpram nossas leis destinadas a proteger as crianças da exploração e do dano,” disse Paxton em um comunicado à imprensa.
Character AI faz parte de uma indústria em crescimento de aplicativos de companhia de IA — cujos efeitos na saúde mental são em grande parte não estudados. Alguns especialistas expressaram preocupações de que esses aplicativos possam agravar os sentimentos de solidão e ansiedade.
A Character AI, fundada em 2021 pelo pesquisador de IA do Google Noam Shazeer, e pela qual a Google supostamente pagou US$ 2,7 bilhões para "reverse acquihire", afirmou que continua a tomar medidas para melhorar a segurança e moderação. Em dezembro, a empresa lançou novas ferramentas de segurança, um modelo de IA separado para adolescentes, bloqueios de conteúdo sensível e avisos mais proeminentes informando aos usuários que seus personagens de IA não são pessoas reais.
A Character AI passou por várias mudanças de pessoal depois que Shazeer e o outro co-fundador da empresa, Daniel De Freitas, saíram para a Google. A plataforma contratou uma ex-executiva do YouTube, Erin Teague, como diretora de produto, e nomeou Dominic Perella, que era conselheiro geral da Character AI, como CEO interino.
Character AI recentemente começou a testar jogos na web na tentativa de aumentar o envolvimento e a retenção do usuário.
O TechCrunch tem um newsletter focado em IA! Cadastre-se aqui para recebê-lo em sua caixa de entrada todas as quartas-feiras.
