O antigo chefe de confiança e segurança do Twitter detalha os desafios que enfrentam plataformas sociais descentralizadas

Yoel RothAnteriormente, o chefe da confiança e segurança do Twitter, agora na Match, está compartilhando suas preocupações sobre o futuro da Web Social Open e sua capacidade de combater a desinformação, spam e outro conteúdo ilegal, como material de abuso sexual infantil (CSAM). Em uma entrevista recente, Roth se preocupou com a falta de ferramentas de moderação disponíveis para o Fediverse – a Web Social Open que inclui aplicativos como Mastodon, Threads, Pixelded e outros, além de outras plataformas abertas como Bluesky.

Ele também relembrou os principais momentos de confiança e segurança no Twitter, como sua decisão de proibir o presidente Trump da plataforma, a desinformação espalhada pelas fazendas russas e como os próprios usuários do Twitter, incluindo o CEO Jack Dorsey, caíram presas de bots.

No podcast revolucion.Social com @rabbleRoth apontou que os esforços para a construção de comunidades on -line mais democraticamente em toda a rede social aberta também são aquelas que têm o menor número de recursos quando se trata de ferramentas de moderação.

“… Olhando para Mastodon, analisando outros serviços com base no ActivityPub (protocolo), olhando para o Bluesky nos primeiros dias e depois olhando para os tópicos quando a Meta começou a desenvolvê-lo, o que vimos foi que muitos dos serviços que estavam mais se apoiavam ao controle comunitário.

Ele também viu um “grande retrocesso” na rede social aberta quando se tratava da legitimidade da transparência e da decisão que o Twitter já teve. Enquanto, sem dúvida, muitos na época discordaram da decisão do Twitter de proibir Trump, a empresa explicou sua lógica por fazê -lo. Agora, os provedores de mídia social estão tão preocupados em impedir que os maus atores os joguem que raramente se explicam.

Enquanto isso, em muitas plataformas sociais abertas, os usuários não receberiam um aviso sobre suas postagens proibidas, e suas postagens desapareceriam – não havia sequer uma indicação para outros que o post costumava existir.

“Não culpo as startups por serem startups ou novos softwares por falta de todos os sinos e assobios, mas se o objetivo principal do projeto estava aumentando a legitimidade democrática da governança, e o que fizemos é dar um passo atrás na governança, então isso realmente funcionou?” Roth se pergunta.

A economia da moderação

Ele também trouxe à tona as questões em torno da economia da moderação e como a abordagem federada ainda não foi sustentável nessa frente.

Por exemplo, uma organização chamada IFTAS (Federated Trust & Safety) independente estava trabalhando para criar ferramentas de moderação para o Fediverse, incluindo fornecer ao Fediverse acesso a ferramentas para combater o CSAM, mas ficou sem dinheiro e teve que desligar muitos de seus projetos no início de 2025.

“Vimos isso vindo há dois anos. Iftas o viu chegar. Todo mundo que trabalha nesse espaço está em grande parte voluntário seu tempo e esforços, e isso só vai tão longe, porque em algum momento as pessoas têm famílias e precisam pagar contas e calcular os custos se acumularem se você precisar executar modelos de ML para detectar certos tipos de conteúdo ruim”, explicou. “Tudo fica caro, e a economia dessa abordagem federada para a confiança e a segurança nunca se acrescentou. E, na minha opinião, ainda não.”

Enquanto isso, a Bluesky optou por empregar moderadores e contratar confiança e segurança, mas se limita à moderação de seu próprio aplicativo. Além disso, eles estão fornecendo ferramentas que permitem que as pessoas personalizem suas próprias preferências de moderação.

“Eles estão fazendo esse trabalho em escala. Obviamente, há espaço para melhorias. Eu adoraria vê -los um pouco mais transparente. Mas, fundamentalmente, eles estão fazendo as coisas certas”, disse Roth. No entanto, à medida que o serviço descentraliza ainda mais, Bluesky enfrentará perguntas sobre quando é responsabilidade proteger o indivíduo sobre as necessidades da comunidade, ele observa.

Por exemplo, com doxxing, é possível que alguém não veja que suas informações pessoais estivessem sendo espalhadas on -line por causa de como elas configuraram suas ferramentas de moderação. Mas ainda deve ser a responsabilidade de alguém aplicar essas proteções, mesmo que o usuário não esteja no aplicativo principal de bluesky.

Onde desenhar a linha da privacidade

Outra questão que o Fediverse enfrenta é que a decisão de favorecer a privacidade pode impedir as tentativas de moderação. Embora o Twitter tenha tentado não armazenar dados pessoais que não precisava, ele ainda coletava coisas como o endereço IP do usuário, quando eles acessavam o serviço, identificadores de dispositivo e muito mais. Isso ajudou a empresa quando precisava fazer uma análise forense de algo como uma fazenda russa de trolls.

Os administradores do Federivse, enquanto isso, podem nem estar coletando os registros necessários ou não os veem se acharem que é uma violação da privacidade do usuário.

Mas a realidade é que, sem dados, é mais difícil determinar quem é realmente um bot.

Roth ofereceu alguns exemplos disso em seus dias no Twitter, observando como se tornou uma tendência para os usuários responderem “bot” a qualquer pessoa com quem discordasse. Ele diz que inicialmente estabeleceu um alerta e revisou todas essas postagens manualmente, examinando centenas de instâncias de acusações de “bot”, e ninguém estava certo. Até o co-fundador e ex-CEO do Twitter, Jack Dorsey, foi vítima, retweeting posts de um ator russo que afirmou ser Crystal Johnsonuma mulher negra de Nova York.

“O CEO da empresa gostou desse conteúdo, amplificou -o e não tinha como conhecer como usuário que Crystal Johnson era na verdade um troll russo”, disse Roth.

O papel da IA

Um tópico de discussão oportuno era como a IA estava mudando a paisagem. Roth referenciou pesquisas recentes de Stanford que descobriram que, em um contexto político, os grandes modelos de idiomas (LLMs) poderiam ser ainda mais convincentes do que os humanos quando ajustados adequadamente.

Isso significa que uma solução que depende apenas da análise de conteúdo em si não é suficiente.

Em vez disso, as empresas precisam rastrear outros sinais comportamentais – como se alguma entidade estiver criando várias contas, usando automação para postar ou postar em momentos estranhos do dia que correspondem a diferentes fusos horários, ele sugeriu.

“Esses são sinais comportamentais que são latentes, mesmo em conteúdo realmente convincente. E acho que é aí que você precisa começar isso”, disse Roth. “Se você está começando com o conteúdo, está em uma corrida armamentista contra os principais modelos de IA e já perdeu”.