A era da raspagem de dados gratuita por IAs, que treinam modelos com conteúdo alheio sem a devida compensação, pode estar com os dias contados. Em uma jogada que pode redefinir a economia da internet, a Cloudflare, gigante que suporta cerca de 20% de toda a web, lançou o "Pay per Crawl": um marketplace onde sites podem, finalmente, cobrar de bots de IA por cada página "raspada".
O Pedágio para a Informação
Lançado em beta privado, o mecanismo é direto: donos de sites definem um preço por "crawl" (raspagem). Através de um painel, eles podem permitir, bloquear ou cobrar de cada bot de IA individualmente. A mudança mais radical, no entanto, é filosófica e prática: novos sites configurados na Cloudflare agora bloquearão todos os crawlers de IA por padrão. O acesso, antes presumido, agora precisa ser uma permissão explícita. Gigantes da mídia como The Associated Press, Condé Nast e Fortune já aderiram, sinalizando um movimento coeso para retomar o controle.
Por que Esta Mudança é Urgente?
A iniciativa responde a um desequilíbrio predatório. Dados da própria Cloudflare, divulgados pela TechCrunch, revelam a disparidade: para cada referência de tráfego enviada a um site, o bot da OpenAI raspou seu conteúdo 1.700 vezes. O da Anthropic foi ainda mais agressivo, com 73.000 raspagens para uma única referência. Este é um modelo extrativista que ameaça a sustentabilidade dos publicadores, que fornecem a matéria-prima para a IA enquanto veem seu tráfego de fontes tradicionais, como o Google, diminuir.
Análise: Um Novo Contrato para a Web
O maior desafio para o "Pay per Crawl" é claro: convencer as empresas de IA a pagar por algo que sempre obtiveram de graça. A resposta pode vir da força coletiva. Com 20% da web potencialmente fechando as portas, a ameaça de um bloqueio em massa e a necessidade de dados de alta qualidade e legalmente seguros podem forçar a adesão. A Cloudflare também posiciona a ferramenta como essencial para um futuro "agentic", onde IAs autônomas precisarão "comprar" informações para executar tarefas complexas para os usuários. Mais do que uma ferramenta, esta é uma tentativa ousada de forjar um novo contrato econômico para a internet, devolvendo o controle e, crucialmente, o valor ao criador de conteúdo.
(Fonte original: TechCrunch)
