Você sabe que estragou tudo quando irritou simultaneamente a Casa Branca, a Personalidade do Ano da TIME e a base de fãs mais fanática da cultura pop. Foi o que aconteceu na semana passada com X, a plataforma de propriedade de Elon Musk anteriormente chamada de Twitter, quando imagens pornográficas falsas de Taylor Swift geradas por IA se tornaram virais.
Uma das postagens mais difundidas de deepfakes explícitos e não consensuais foi vista mais de 45 milhões de vezes, com centenas de milhares de curtidas. Isso nem leva em consideração todas as contas que compartilharam novamente as imagens em postagens separadas – uma vez que uma imagem tenha circulado tão amplamente, é basicamente impossível removê-la.
X não possui infraestrutura para identificar conteúdo abusivo de forma rápida e em grande escala. Mesmo na época do Twitter, esse problema era difícil de remediar, mas ficou muito pior desde que Musk destruiu grande parte da equipe do Twitter, incluindo a maioria de seus funcionários. confiança e segurança equipes. Assim, a enorme e apaixonada base de fãs de Taylor Swift resolveu o problema por conta própria, inundando os resultados de pesquisa com consultas como “taylor swift ai” e “taylor swift deepfake” para tornar mais difícil para os usuários encontrarem as imagens abusivas. Como secretário de imprensa da Casa Branca convocou o Congresso para fazer algo, X simplesmente baniu o termo de pesquisa “taylor swift” por alguns dias. Quando os usuários pesquisassem o nome do músico, veriam um aviso de que havia ocorrido um erro.
Essa falha na moderação de conteúdo virou notícia nacional, já que Taylor Swift é Taylor Swift. Mas se as plataformas sociais não conseguem proteger uma das mulheres mais famosas do mundo, quem poderão proteger?
“Se acontecer com você o que aconteceu com Taylor Swift, como tem acontecido com tantas pessoas, você provavelmente não terá a mesma quantidade de apoio com base na influência, o que significa que você não terá acesso a esses realmente importantes comunidades de cuidados”, disse a Dra. Carolina Are, pesquisadora do Centro para Cidadãos Digitais da Northumbria University, no Reino Unido, ao TechCrunch. “E essas comunidades de cuidado são o que a maioria dos usuários tem que recorrer nessas situações, o que realmente mostra o fracasso da moderação de conteúdo.”
Proibir o termo de pesquisa “Taylor Swift” é como colocar um pedaço de fita adesiva em um cano estourado. Existem muitas soluções alternativas óbvias, como a forma como os usuários do TikTok procuram “seggs” em vez de sexo. O bloco de pesquisa era algo que X poderia implementar para fazer parecer que estavam fazendo alguma coisa, mas isso não impede as pessoas de apenas pesquisar “t swift”. Mike Masnick, fundador do Copia Institute e Techdirt chamado o esforço “uma versão marreta de confiança e segurança”.
“As plataformas são péssimas quando se trata de dar às mulheres, pessoas não-binárias e pessoas queer agência sobre seus corpos, então elas replicam sistemas offline de abuso e patriarcado”, disse Are. “Se os seus sistemas de moderação são incapazes de reagir em uma crise, ou se os seus sistemas de moderação são incapazes de reagir às necessidades dos usuários quando eles relatam que algo está errado, temos um problema.”
Então, o que X deveria ter feito para evitar o fiasco de Taylor Swift?
Are faz essas perguntas como parte dela pesquisare propõe que as plataformas sociais precisam de uma revisão completa na forma como lidam com a moderação de conteúdo. Recentemente, ela conduziu uma série de mesas redondas com 45 usuários da Internet de todo o mundo que são afetados pela censura e abusos para emitir recomendações às plataformas sobre como implementar mudanças.
Uma recomendação é que as plataformas de redes sociais sejam mais transparentes com os utilizadores individuais sobre as decisões relativas às suas contas ou sobre os seus relatórios sobre outras contas.
“Você não tem acesso a um registro de caso, embora as plataformas tenham acesso a esse material – elas simplesmente não querem torná-lo público”, disse Are. “Acho que quando se trata de abuso, as pessoas precisam de uma resposta mais personalizada, contextual e rápida que envolva, se não ajuda cara a cara, pelo menos comunicação direta.”
X anunciou esta semana que contrataria 100 moderadores de conteúdo para trabalhar em um novo centro de “Confiança e Segurança” em Austin, Texas. Mas sob a alçada de Musk, a plataforma não estabeleceu um precedente forte para proteger utilizadores marginalizados de abusos. Também pode ser um desafio aceitar Musk pelo valor nominal, uma vez que o magnata tem um longo historial de não cumprimento das suas promessas. Quando comprou o Twitter, Musk declarou que formaria um conselho de moderação de conteúdo antes de tomar decisões importantes. Isso não aconteceu.
No caso de deepfakes gerados por IA, a responsabilidade não recai apenas sobre as plataformas sociais. Cabe também às empresas que criam produtos generativos de IA voltados para o consumidor.
De acordo com uma investigação de 404 Mídia, as representações abusivas de Swift vieram de um grupo do Telegram dedicado à criação de deepfakes explícitos e não consensuais. Os usuários do grupo costumam usar o Microsoft Designer, que se baseia no DALL-E 3 da Open AI para gerar imagens com base nos prompts inseridos. Em um brecha que a Microsoft abordou desde então, os usuários poderiam gerar imagens de celebridades escrevendo avisos como “taylor ‘cantor’ swift” ou “jennifer ‘ator’ aniston”.
Principal líder de engenharia de software da Microsoft, Shane Jones escreveu uma carta ao procurador-geral do estado de Washington afirmando que encontrou vulnerabilidades no DALL-E 3 em dezembro, o que tornou possível “contornar algumas das proteções projetadas para impedir que o modelo criasse e distribuísse imagens prejudiciais”.
Jones alertou a Microsoft e a OpenAI sobre as vulnerabilidades, mas depois de duas semanas, não recebeu nenhuma indicação de que os problemas estavam sendo resolvidos. Então, ele postou uma carta aberta no LinkedIn para instar a OpenAI a suspender a disponibilidade do DALL-E 3. Jones alertou a Microsoft sobre sua carta, mas foi rapidamente solicitado a retirá-la.
“Precisamos responsabilizar as empresas pela segurança dos seus produtos e pela sua responsabilidade de divulgar os riscos conhecidos ao público”, escreveu Jones na sua carta ao procurador-geral do estado. “Funcionários preocupados, como eu, não devem ser intimidados a permanecer em silêncio.”
À medida que as empresas mais influentes do mundo apostam alto na IA, as plataformas precisam de adotar uma abordagem proativa para regular o conteúdo abusivo – mas mesmo numa época em que fazer deepfakes de celebridades não era tão fácil, o comportamento violador escapava facilmente à moderação.
“Isso realmente mostra que as plataformas não são confiáveis”, disse Are. “As comunidades marginalizadas precisam confiar mais em seus seguidores e outros usuários do que nas pessoas que são tecnicamente responsáveis por nossa segurança online.”
