Markdown para Agentes da Cloudflare: O que você precisa sabe

Introdução ao Markdown para Agentes da Cloudflare

No dia de ontem, a Cloudflare anunciou uma nova funcionalidade chamada Markdown para Agentes, que disponibiliza versões amigáveis para máquinas do conteúdo da web, além das tradicionais páginas voltadas para humanos.

• A Cloudflare descreveu a atualização como uma resposta ao aumento dos crawlers de IA e à navegação automatizada.
• Quando um cliente solicita text/markdown, a Cloudflare busca o HTML no servidor de origem, converte na borda e retorna uma versão em Markdown.
• A resposta inclui um cabeçalho de estimativa de token destinado a ajudar os desenvolvedores a gerenciar janelas de contexto.
• As reações iniciais se concentraram nos ganhos de eficiência e nas implicações mais amplas de servir representações alternativas do conteúdo da web.

Funcionamento do Markdown para Agentes

A Cloudflare, que impulsiona cerca de 20% da web, afirmou que o Markdown para Agentes utiliza a negociação de conteúdo HTTP padrão. Se um cliente enviar um cabeçalho Accept: text/markdown, a Cloudflare converte a resposta HTML em tempo real e retorna o Markdown. A resposta inclui Vary: accept, permitindo que caches armazenem variantes separadas.

• A Cloudflare posicionou a funcionalidade como parte de uma mudança na forma como o conteúdo é descoberto e consumido, com crawlers e agentes de IA se beneficiando de um texto estruturado e com menor sobrecarga.
• A Cloudflare afirmou que o Markdown pode reduzir o uso de tokens em até 80% em comparação ao HTML.

Preocupações de Segurança

O consultor de SEO David McSweeney afirmou que a funcionalidade Markdown para Agentes da Cloudflare pode tornar o cloaking de IA trivial, uma vez que o cabeçalho Accept: text/markdown é encaminhado aos servidores de origem, sinalizando efetivamente que a solicitação é de um agente de IA.

• Uma solicitação padrão retorna conteúdo normal, enquanto uma solicitação de Markdown pode desencadear uma resposta HTML diferente que a Cloudflare, então, converte e entrega à IA, conforme demonstrado por McSweeney no LinkedIn.
• A preocupação: sites podem injetar instruções ocultas, dados de produtos alterados ou outros conteúdos exclusivos para máquinas, criando uma "web sombra" para bots, a menos que o cabeçalho seja removido antes de chegar à origem.

Postura de Google e Bing sobre Markdown

Comentários recentes de representantes do Google e Microsoft desencorajaram os editores a criar páginas separadas em markdown para modelos de linguagem de grande escala. O especialista do Google, John Mueller, declarou:

• “Na minha opinião, os LLMs têm sido treinados em – lido e analisado – páginas web normais desde o início, parece certo que não têm problemas em lidar com HTML. Por que eles quereriam ver uma página que nenhum usuário vê? E, se eles verificarem a equivalência, por que não usar HTML?”

O Fabrice Canel da Microsoft acrescentou:

• “Realmente quer dobrar a carga de rastreamento? Nós vamos rastrear de qualquer forma para verificar similaridades. Versões não voltadas para usuários (AJAX rastreável e similares) são frequentemente negligenciadas ou quebradas. O olhar humano ajuda a corrigir o conteúdo visto por pessoas e bots. Gostamos de Schema nas páginas. A IA nos torna ótimos em entender páginas web. Menos é mais em SEO!”

• A funcionalidade da Cloudflare não cria uma segunda URL, mas gera representações diferentes com base nos cabeçalhos de solicitação.

Desafios do Markdown em SEO

O consultor de SEO técnico Jono Alderson observou que, uma vez que uma representação específica para máquinas existe, as plataformas precisam decidir se confiam nela, verificam-na em relação à versão voltada para humanos ou a ignoram:

• “Quando você simplifica uma página em markdown, não remove apenas a desordem. Você remove julgamento e contexto.”
• “No momento em que você publica uma representação apenas para máquinas de uma página, você criou uma segunda versão candidata da realidade. Não importa se você promete que é gerada a partir da mesma fonte ou jura que é 'o mesmo conteúdo'. De fora, um sistema agora vê duas representações e precisa decidir qual realmente reflete a página.”

Conclusão e Considerações Finais

A movimentação da Cloudflare pode tornar a ingestão de IA mais barata e eficiente. No entanto, será que isso pode ser considerado cloaking se você estiver servindo conteúdo diferente para humanos e crawlers? Essa discussão ainda está em andamento.

Para mais informações sobre SEO, acesse nossas seções sobre SEO, Criação de Sites e Tráfego Pago.

Aviso que usamos IA para escrever nossos artigos de blog, garantindo conteúdo de alta qualidade e relevância para nossos leitores. Sempre verifique o conteúdo.