A mesma Inteligência Artificial que promete revolucionar a defesa cibernética está, paradoxalmente, se tornando uma de suas maiores dores de cabeça. Nos últimos anos, testemunhamos a ascensão do que ficou conhecido como "AI slop": um fluxo incessante de textos, imagens e vídeos de baixa qualidade gerados por Modelos de Linguagem Grandes (LLMs). Essa poluição digital, que já contamina redes sociais e até mesmo publicações jornalísticas, encontrou um novo e perigoso campo de atuação: a segurança cibernética. Programas de recompensa por bugs, ou bug bounties, a espinha dorsal da segurança colaborativa, estão sendo inundados por relatórios falsos, mas extremamente convincentes, que descrevem vulnerabilidades que simplesmente não existem.
Esse fenômeno está sobrecarregando equipes de segurança, drenando recursos preciosos e, em casos extremos, forçando o encerramento de iniciativas vitais de segurança. A indústria se vê agora em uma encruzilhada, onde a solução para um problema criado pela IA pode, ironicamente, ser mais IA, dando início a uma nova e complexa corrida armamentista digital.
O Que é o "AI Slop" no Contexto da Cibersegurança?
O termo "AI slop" refere-se a qualquer conteúdo gerado por IA que seja de baixa qualidade, impreciso ou simplesmente inútil. No mundo da cibersegurança, ele se manifesta de uma forma particularmente perniciosa: relatórios de vulnerabilidades. Indivíduos mal-intencionados ou simplesmente equivocados estão utilizando LLMs para gerar textos que imitam perfeitamente o formato e a linguagem técnica de um relatório de bug legítimo. O problema é que a vulnerabilidade descrita é, na maioria das vezes, uma "alucinação" da IA.
Vlad Ionescu, cofundador da RunSybil e ex-integrante da equipe de hacking ético da Meta, descreveu a situação de forma contundente em uma reportagem para o TechCrunch, a fonte original desta análise. “As pessoas estão recebendo relatórios que parecem razoáveis, tecnicamente corretos. E então você acaba mergulhando neles, tentando descobrir, ‘oh não, onde está essa vulnerabilidade?’”, explica Ionescu. “Acontece que foi apenas uma alucinação o tempo todo. Os detalhes técnicos foram simplesmente inventados pelo LLM.”
O cerne da questão reside na própria natureza dos LLMs. Eles são projetados para serem úteis e fornecerem respostas positivas e coerentes. Se um usuário pede para a IA "encontrar uma vulnerabilidade X e escrever um relatório", o modelo fará exatamente isso, independentemente de a vulnerabilidade ser real. O resultado é um documento bem estruturado, com jargão técnico apropriado, mas que descreve uma falha fictícia. Como Ionescu resume, “estamos recebendo um monte de coisas que parecem ouro, mas na verdade são apenas lixo”.
O Impacto Devastador no Ecossistema de Segurança
As consequências dessa enxurrada de relatórios falsos são tangíveis e graves. Para as equipes de segurança, cada relatório precisa ser triado e investigado, um processo que consome tempo e exige a atenção de especialistas altamente qualificados. Quando uma parcela significativa desses relatórios é falsa, o resultado é um desperdício massivo de recursos e um aumento do risco de que vulnerabilidades reais passem despercebidas em meio ao ruído.
O impacto é sentido em todos os níveis. Projetos de código aberto, que muitas vezes operam com recursos limitados, são particularmente vulneráveis. O pesquisador de segurança Harry Sintonen revelou que o projeto Curl, uma biblioteca de software fundamental para a internet, recebeu um relatório falso, mas notou que a equipe experiente "consegue farejar o AI slop a quilômetros de distância". No entanto, nem todos têm essa capacidade ou recursos. Benjamin Piouffle, da Open Collective, confirmou que sua caixa de entrada está "inundada com lixo de IA".
Em um caso mais drástico, o projeto open-source CycloneDX foi forçado a desativar completamente seu programa de bug bounty no início deste ano, citando que os envios eram "quase inteiramente relatórios de AI slop". Essa é uma perda imensa para a comunidade, pois fecha um canal vital para a descoberta de falhas de segurança legítimas.
A Reação das Grandes Plataformas e a Corrida Armamentista da IA
As principais plataformas que intermediam a relação entre hackers éticos e empresas, como HackerOne e Bugcrowd, estão na linha de frente desse problema. Michiel Prins, cofundador da HackerOne, admitiu ao TechCrunch que a empresa viu "um aumento nos falsos positivos — vulnerabilidades que parecem reais, mas são geradas por LLMs e carecem de impacto no mundo real". Ele afirma que esses "envios de baixo sinal" são tratados como spam, mas reconhece que eles geram um ruído que prejudica a eficiência dos programas de segurança.
Casey Ellis, fundador da Bugcrowd, oferece uma perspectiva ligeiramente diferente. Embora veja um aumento geral de 500 envios por semana e reconheça o uso generalizado de IA, ele acredita que isso "ainda não causou um pico significativo em relatórios 'slop' de baixa qualidade". No entanto, ele prevê que "isso provavelmente vai escalar no futuro".
Enquanto isso, outras organizações adotam uma postura de cautela. A Mozilla, responsável pelo navegador Firefox, afirmou não ter visto um aumento substancial em relatórios inválidos e mantém sua taxa de rejeição estável. É notável que eles evitam usar IA para filtrar os relatórios, temendo o risco de descartar um bug legítimo. Gigantes da tecnologia como Microsoft e Meta, que investem pesadamente em IA, preferiram não comentar o assunto, deixando um vácuo de informação sobre como estão lidando internamente com o problema.
Diante de um problema gerado pela tecnologia, a solução mais provável parece ser mais tecnologia. A previsão de especialistas como Ionescu é que o futuro da triagem de bugs dependerá de sistemas alimentados por IA capazes de realizar uma primeira filtragem, separando o joio do trigo.
A HackerOne já deu um passo concreto nessa direção com o lançamento do "Hai Triage", um novo sistema que combina agentes de IA com analistas humanos. A ideia é usar a IA para cortar o ruído, sinalizar relatórios duplicados e priorizar ameaças reais. Os analistas humanos então entram em cena para validar as descobertas da IA e escalar os problemas legítimos.
Isso dá início a uma fascinante, porém preocupante, corrida armamentista. De um lado, hackers (éticos ou não) usando LLMs cada vez mais sofisticados para gerar relatórios. Do outro, empresas e plataformas implementando suas próprias IAs para detectar essas fabricações. A questão que paira no ar é: qual IA prevalecerá?
O "AI slop" em programas de bug bounty é mais do que um simples incômodo; é uma ameaça existencial à economia da segurança colaborativa. Ele desgasta a confiança, esgota recursos finitos e pode, em última análise, tornar o mundo digital menos seguro ao desviar a atenção de ameaças reais. A batalha contra os relatórios falsos é um microcosmo do desafio maior que a IA generativa apresenta: como podemos aproveitar seus imensos benefícios enquanto mitigamos seus riscos igualmente imensos? A resposta ainda está sendo escrita, linha por linha de código, em ambos os lados dessa nova fronteira digital.
(Fonte original: TechCrunch)
