ChatGPT pode muito bem revolucionar a pesquisa na web, agilizar as tarefas de escritório e refazer a educação, mas o chatbot de fala mansa também encontrou trabalho como um vendedor ambulante de criptografia de mídia social.
Pesquisadores da Indiana University Bloomington descobriram um botnet alimentado por ChatGPT operando no X – a rede social anteriormente conhecida como Twitter – em maio deste ano.
A botnet, que os pesquisadores apelidaram de Fox8 por causa de sua conexão com sites de criptomoedas com alguma variação do mesmo nome, consistia em 1.140 contas. Muitos deles pareciam usar o ChatGPT para criar postagens de mídia social e responder às postagens uns dos outros. O conteúdo gerado automaticamente foi aparentemente projetado para atrair humanos desavisados a clicar em links para os sites de criptografia.
Micah Musser, um pesquisador que tem estudou o potencial para desinformação orientada por IA, diz que o botnet Fox8 pode ser apenas a ponta do iceberg, dado o quão populares modelos de linguagem grande e chatbots se tornaram. “Este é o fruto mais fácil”, diz Musser. “É muito, muito provável que, para cada campanha que você encontrar, haja muitas outras fazendo coisas mais sofisticadas.”
O botnet Fox8 pode ter se espalhado, mas seu uso do ChatGPT certamente não era sofisticado. Os pesquisadores descobriram a botnet pesquisando na plataforma a frase reveladora “Como um modelo de linguagem de IA…”, uma resposta que o ChatGPT às vezes usa para solicitar informações sobre assuntos delicados. Eles então analisaram manualmente as contas para identificar aquelas que pareciam ser operadas por bots.
“A única razão pela qual notamos essa botnet em particular é que ela era desleixada”, diz Filippo Menczerprofessor da Indiana University Bloomington que realizou a pesquisa com Kai-Cheng Yang, um aluno que ingressará na Northeastern University como pesquisador de pós-doutorado no próximo ano acadêmico.
Apesar do tique, o botnet postou muitas mensagens convincentes promovendo sites de criptomoedas. A aparente facilidade com que a inteligência artificial da OpenAI foi aparentemente aproveitada para o golpe significa que chatbots avançados podem estar executando outras botnets que ainda não foram detectadas. “Qualquer bandido muito bom não cometeria esse erro”, diz Menczer.
A OpenAI não respondeu a um pedido de comentário sobre o botnet até o momento da postagem. O política de uso pois seus modelos de IA proíbem seu uso para golpes ou desinformação.
O ChatGPT e outros chatbots de ponta usam o que é conhecido como modelos de linguagem grandes para gerar texto em resposta a um prompt. Com dados de treinamento suficientes (muitos deles extraídos de várias fontes na web), poder de computador suficiente e feedback de testadores humanos, bots como o ChatGPT podem responder de maneiras surpreendentemente sofisticadas a uma ampla gama de entradas. Ao mesmo tempo, eles também podem deixar escapar mensagens de ódio, exibir preconceitos sociais e inventar coisas.
Um botnet baseado em ChatGPT configurado corretamente seria difícil de detectar, mais capaz de enganar os usuários e mais eficaz em manipular os algoritmos usados para priorizar o conteúdo nas mídias sociais.
“Isso engana tanto a plataforma quanto os usuários”, diz Menczer sobre a botnet baseada no ChatGPT. E, se um algoritmo de mídia social detectar que uma postagem tem muito engajamento – mesmo que esse engajamento seja de outras contas de bot – ele mostrará a postagem para mais pessoas. “É exatamente por isso que esses bots estão se comportando dessa maneira”, diz Menczer. E os governos que procuram realizar campanhas de desinformação provavelmente já estão desenvolvendo ou implantando essas ferramentas, acrescenta ele.
