Os pais de uma adolescente de 13 anos entraram na Justiça contra o Google, nos Estados Unidos, após descobrirem que a filha teria usado recursos de inteligência artificial integrados à busca da empresa para discutir um possível suicídio e planejar o próprio funeral em um computador fornecido pela escola.
A ação, apresentada na segunda-feira (2) em um tribunal da Califórnia, coloca em debate a segurança das ferramentas de IA utilizadas por estudantes. Segundo a família, a escola havia bloqueado o acesso ao Gemini e ao ChatGPT, mas a adolescente continuava conseguindo utilizar funcionalidades de inteligência artificial disponíveis no mecanismo de busca do Google.
O processo é apontado como o primeiro caso conhecido a acusar o Google de negligência relacionada à integração de recursos de IA em Chromebooks, computadores de baixo custo amplamente usados por estudantes nos Estados Unidos e em outros países.
Família questiona proteção da IA
De acordo com a ação, a adolescente, moradora da Carolina do Norte, tinha bom desempenho escolar, estudava música e participava das atividades das Girl Scouts. Os pais afirmam que ela não tinha histórico de problemas psicológicos.
Ainda segundo a família, nos meses seguintes ao início do uso dos recursos de IA no computador escolar, a jovem passou por uma grave crise emocional. As alegações apresentadas no processo ainda serão analisadas pela Justiça.
O caso foi descoberto em 17 de março, quando o sistema de monitoramento da escola identificou um documento com o título “Funeral” e alertou os responsáveis.
Ao acessar a conta da filha, a mãe teria encontrado a adolescente escrevendo uma carta de despedida. O pai interveio, segundo o relato incluído na ação, e o possível suicídio foi evitado.
O advogado da família, Andrew Liddell, defendeu que as escolas desativem a busca do Google até que a empresa retire o modo de IA do sistema ou consiga garantir maior segurança aos estudantes.
Os recursos que teriam sido usados pela adolescente, segundo as informações divulgadas sobre o caso, não estão entre as ferramentas que o Google anunciou recentemente que serão desativadas por padrão para alunos.
Google diz que analisa as acusações
Em nota, o porta-voz do Google, Jose Castaneda, afirmou que a empresa está analisando as alegações e trata o caso com seriedade.
O Google também sustenta que seus recursos de inteligência artificial contam com mecanismos de proteção para situações relacionadas à automutilação e tentativas de contornar essas barreiras.
A família, no entanto, questiona se essas medidas foram suficientes. Para o advogado dos pais, o fato de a adolescente ter conseguido continuar as interações aponta para possíveis falhas nos mecanismos de segurança.
Empresas de IA enfrentam mais processos
O processo contra o Google se soma a uma série de ações judiciais que aumentam a pressão sobre empresas de tecnologia nos Estados Unidos.
A OpenAI, responsável pelo ChatGPT, também responde a processos relacionados a casos de suicídio. Entre eles está uma ação movida pelos pais de Adam Raine, de 16 anos, que alegam que o adolescente recebeu orientações inadequadas da ferramenta antes de morrer. As acusações ainda são discutidas na Justiça.
Em janeiro, Google e a startup Character.AI chegaram a acordos para encerrar extrajudicialmente processos apresentados por famílias de adolescentes.
Os casos reforçam o debate sobre os limites e a responsabilidade das empresas que desenvolvem inteligência artificial, especialmente quando suas ferramentas são utilizadas por crianças e adolescentes.
A discussão sobre a proteção de menores também avança na Califórnia. Google, TikTok e Meta entraram com ações separadas para tentar barrar uma lei estadual que restringe recursos considerados viciantes para usuários menores de 16 anos. A norma foi sancionada pelo governador Gavin Newsom e está prevista para entrar em vigor em 1º de janeiro de 2027.
Relacionadas
Deixe um comentário