Cloudflare propõe uma conversão automática de HTML para Markdown para agentes de IA

A Cloudflare lança uma funcionalidade que transforma automaticamente páginas web em Markdown para agentes de inteligência artificial. Esta inovação chamada «Markdown for Agents» promete reduzir drasticamente o consumo de tokens, mas levanta questões delicadas sobre práticas de SEO e a transparência do conteúdo web.

Um problema de peso na ingestão de conteúdo pelas IAs

Os sistemas de inteligência artificial enfrentam um grande desafio quando vasculham a web: o HTML é pesado, carregado de elementos supérfluos para uma máquina. Barras de navegação, scripts analíticos, etiquetas CSS, rodapés cheios de dezenas de links… tantos elementos que sobrecarregam as páginas sem trazer valor semântico para os agentes de IA.

A Cloudflare ilustra esse problema com uma metáfora « Fornecer código HTML bruto a uma IA equivale a pagar por palavra para ler uma embalagem em vez do texto no interior ». Concretamente, uma simples etiqueta ## About Us em Markdown custa cerca de 3 tokens, enquanto o seu equivalente em HTML <h2 class="section-title" id="about">About Us</h2> consome entre 12 e 15, sem contar as tags <div>, as barras de navegação e os scripts que não têm qualquer valor semântico.

O Markdown tornou-se rapidamente a linguagem dos agentes de IA graças à sua estrutura explícita que facilita o processamento automático ao mesmo tempo que minimiza o desperdício de tokens.

Um mecanismo de conversão em tempo real

O funcionamento do Markdown for Agents baseia-se na negociação de conteúdo HTTP. Quando um agente de IA envia um pedido com o header Accept: text/markdown, a Cloudflare intercepta a solicitação, recupera o HTML original do servidor de origem e depois converte-o automaticamente em Markdown antes de o transmitir ao cliente.

Para os desenvolvedores que constroem agentes de IA com Workers, a implementação é simples em TypeScript especificando os headers apropriados. A resposta inclui um header x-markdown-tokens que indica o número estimado de tokens no documento Markdown, permitindo aos desenvolvedores gerir melhor as suas janelas de contexto e estratégias de fragmentação de conteúdo.

A Cloudflare, que alimenta cerca de 20% da web mundial, já ativou esta opção no seu blog e na sua documentação para desenvolvedores. Agentes de codificação populares como Claude Code e OpenCode já enviam esses headers de aceitação com os seus pedidos de conteúdo.

A integração dos sinais de conteúdo

As respostas convertidas pelo Markdown for Agents incluem automaticamente o header Content-Signal: ai-train=yes, search=yes, ai-input=yes. Este sinal indica que o conteúdo pode ser usado para o treino da IA, os resultados de pesquisa e o uso por agentes.

Esta implementação insere-se no âmbito dos Sinal de Conteúdos, um framework que a Cloudflare anunciou durante a sua última Birthday Week. Este sistema permite a qualquer pessoa expressar as suas preferências quanto ao uso do seu conteúdo após o seu acesso. A Cloudflare prevê oferecer opções para definir políticas personalizadas de Content Signals no futuro.

As preocupações do mundo do SEO em torno do cloaking

Esta inovação não é unanimidade na comunidade de SEO. A principal crítica diz respeito a o risco de facilitar o cloaking, uma prática de black hat SEO que consiste em servir conteúdo diferente aos robots de indexação e aos utilizadores humanos.

O cabeçalho Accept: text/markdown sendo transmitido ao servidor de origem, torna-se tecnicamente possível para os proprietários de sites injetarem instruções ocultas ou dados modificados destinados apenas às IAs. Esta possibilidade representa uma brecha potencial nos princípios de transparência que regem a web.

As reações do Google e da Microsoft

Os gigantes da pesquisa, em particular o Google e o Bing, tomaram rapidamente posição contra essa prática. John Mueller, do Google, questiona abertamente a pertinência desta abordagem: « Os LLM treinaram-se em páginas web clássicas desde o início; leram-nas e analisaram-nas. Parece óbvio que não têm qualquer problema em processar HTML. Porque é que quereriam ver uma página que nenhum utilizador vê? E se verificam a equivalência, porque não usar o HTML? ».

Fabrice Canel, da Microsoft, adopta uma posição ainda mais firme avisando que O Bing vai rastrear de qualquer forma as duas versões, HTML e Markdown, para verificar a sua similaridade. Esta declaração sugere que os motores de pesquisa poderão implementar mecanismos de controlo para detectar eventuais divergências entre as versões servidas a diferentes tipos de visitantes.

Uma disponibilidade imediata em versão beta

Para ativar o Markdown for Agents, os clientes devem entrar no painel da Cloudflare, seleccionar a sua conta e a sua zona, e depois activar o botão Markdown for Agents nas Ações Rápidas. A funcionalidade está disponível desde hoje em versão beta sem custo adicional para os planos Pro, Business e Enterprise, bem como para os clientes SSL for SaaS.

A Cloudflare também propõe outras métodos de conversão de documentos para Markdown para os desenvolvedores que constroem sistemas de IA que necessitam de uma conversão arbitrária de documentos fora da Cloudflare. O Workers AI oferece uma função AI.toMarkdown() que suporta vários tipos de documentos, não apenas HTML, bem como a sintetização. A API REST Browser Rendering /markdown permite a conversão para Markdown se for necessário renderizar uma página dinâmica ou uma aplicação num navegador real antes de a converter.

Um acompanhamento dos usos através do Cloudflare Radar

Antecipando uma evolução na forma como os sistemas de IA navegam na web, o Cloudflare Radar inclui agora iinformações sobre os tipos de conteúdo para o tráfego de bots e rastreadores de IA. Esses dados estão disponíveis globalmente na página AI Insights e nas páginas informativas individuais de cada bot.

A nova dimensão e filtro content_type exibe a distribuição dos tipos de conteúdo devolvidos aos agentes e rastreadores de IA, agrupados por categoria de tipo MIME. Também é possível visualizar os pedidos de Markdown filtrados por agente ou rastreador específico, como OAI-Searchbot, o rastreador utilizado pela OpenAI para alimentar a pesquisa do ChatGPT. Estes novos dados permitirão acompanhar a evolução do consumo de conteúdo web por bots, rastreadores e agentes de IA ao longo do tempo.

O artigo «Cloudflare propõe uma conversão automática de HTML para Markdown para agentes de IA» foi publicado no site Abondance.