){kind=link}
A Meta veiculou, na primeira quinzena deste mês, anúncios de uma ferramenta de inteligência artificial (IA) voltada para a criação de pornografia digital não consensual em suas plataformas. As peças publicitárias promoviam a geração de vídeos falsificados que imitavam políticas dos Estados Unidos (EUA), o que contraria normas internas da dona do Instagram e do Facebook que proíbem materiais de cunho sexual.
O caso envolve o aplicativo Kromix, que se apresentava publicamente como um estilizador de imagens por IA. Segundo investigação conduzida pela norte-americana WIRED, a narração de um dos vídeos publicitários promovia a ferramenta sob a alegação de que não havia restrições de uso, com a frase de que todos os personagens eram pessoas reais. Em resposta, a Meta promete combater novos casos similares e bloquear anúncios que violem suas regras.
smart_display
Nossos vídeos em destaque
Em um dos anúncios, uma mulher com traços semelhantes aos de uma política dos EUA de destaque aparecia diante da bandeira oficial do país e da presidência com a legenda em inglês “What if she moved?” (“E se ela se movesse?”, em tradução livre). Em seguida, a mulher piscava e o vídeo transitava para cenas explícitas de sexo com o mesmo rosto.
As peças foram direcionadas exclusivamente para perfis masculinos, sob o slogan “Liberte a magia da inteligência artificial de última geração”. Segundo a biblioteca de anúncios da Meta, a conta responsável veiculou 32 anúncios que permaneceram no ar entre cinco e 46 horas antes de serem excluídos, após o contato da imprensa. A página que bancou os anúncios foi criada no dia 3 de agosto e não tinha seguidores.
Para Katie Paul, diretora do Tech Transparency Project, grupo de pesquisa que identificou as publicações, o episódio expõe fragilidades graves na supervisão comercial da empresa.
“Todos os anúncios que vimos até agora sobre desnudamento têm como foco exclusivo a sexualização e a inserção de mulheres em conteúdo pornográfico gerado por inteligência artificial. Isso levanta muitas questões sobre como a Meta vai lidar com esse tipo de conteúdo, especialmente quando atinge mulheres que atuam na política, enquanto a própria empresa veicula ativamente anúncios com esse material em sua plataforma”, afirmou Katie à WIRED.
Violação em série e brechas na moderação
Além da menção a figuras públicas, o aplicativo Kromix convidava usuários pagantes a carregar fotos reais para inseri-las em cenários de violência sexual, como estupro em quarto de dormir. O serviço também exibia montagens pornográficas com fantasias de personagens de quadrinhos. Antes de ser questionado pela imprensa norte-americana, o aplicativo estava disponível na App Store, da Apple.
O uso indevido de retratos oficiais para criar montagens sexuais atinge majoritariamente mulheres em cargos públicos no mundo todo. Segundo o pesquisador Benjamin Shultz, líder de investigações sobre o impacto da tecnologia de falsificação no American Sunlight Project, consultado pela WIRED, o avanço dessas ferramentas barateou a produção de materiais abusivos.
“À medida que a produção e a distribuição de conteúdo gerado por IA se popularizaram, mídias antes inofensivas, como retratos oficiais e vídeos de coletivas de imprensa, tornaram-se matéria-prima para ferramentas simples que qualquer pessoa conectada à internet consegue operar”, pontuou Shultz.
De acordo com as diretrizes oficiais da Meta, todo anúncio passa por uma triagem antes da publicação, com foco em sistemas automatizados para barrar nudez, atividade sexual explícita e a promoção de aplicativos voltados para despir pessoas ou criar beijos virtuais. Contudo, anunciantes usam táticas para driblar a IA ao inserir capas neutras nos vídeos, como imagens de praias, montanhas e cachoeiras, para mascarar o teor adulto.
Procurada pela WIRED, a chefe de segurança para mulheres da Meta, Cindy Southworth, declarou que o combate a essas práticas enfrenta estratégias constantes de camuflagem por parte de infratores.
“A exploração sexual, incluindo a promoção de aplicativos que despem pessoas, é horrível, e nós trabalhamos de forma agressiva para combatê-la. Este é um espaço altamente hostil, onde agentes mal-intencionados evoluem constantemente suas táticas. Por isso, estamos fortalecendo nossas defesas continuamente, com a remoção de mais de 340 mil anúncios infratores no final do ano passado, o lançamento de novas tecnologias para detectar e bloquear novos anúncios na subida e ações judiciais contra desenvolvedores”, declarou.
Pressão sobre lojas de aplicativos
A Apple também enfrenta pressões legais e regulatórias por manter serviços com recursos semelhantes em sua loja. A procuradoria municipal de San Francisco, na Califórnia, nos EUA, enviou em julho uma notificação extrajudicial ordenando a remoção de 13 aplicativos dessa categoria, sob a acusação de cumplicidade na venda de montagens explícitas geradas por inteligência artificial.
Um porta-voz da Apple informou que o Kromix foi expulso da App Store após constatação de que recursos proibidos foram adicionados após a análise preliminar da empresa. “Sempre proibimos estritamente aplicativos desenvolvidos para gerar, distribuir ou consumir pornografia. Os aplicativos de desnudamento violam nossas diretrizes e trabalhamos ativamente para identificar e remover essas ferramentas, bem como as contas de desenvolvedores que tentam burlar nossos processos”, declarou a empresa.
O problema também atinge a segurança de menores de idade. Na semana anterior à denúncia sobre o Kromix, apuração conjunta com dados do Tech Transparency Project identificou mais de 50 anúncios na Meta promovendo materiais de abuso sexual infantil com ferramentas de troca de rosto ligadas a outro aplicativo, o MaskAI, que também constava na App Store antes de ser banido.
Diretora do Tech Transparency Project, Katie Paul criticou a dependência excessiva de sistemas automatizados em detrimento de equipes humanas de moderação. “Os anúncios são o principal produto da Meta e parece haver zero controle de qualidade. A Meta faz muitas declarações públicas exaltando o avanço de sua IA, mas simultaneamente afirma que usa essa mesma inteligência artificial para revisar sua biblioteca e admite que nada é perfeito”, concluiu a pesquisadora.
Por falar em universo digital, ciberespiões atualizaram vírus para invadir órgãos públicos e driblar defesas do Windows. Siga o TecMundo no X, Instagram, Facebook e YouTube e assine a nossa newsletter para receber as principais notícias e análises diretamente no seu e-mail.