Cómo obtener permiso para los rastreadores de agentes de IA en su sitio web

Los rastreadores de agentes de IA —los bots que obtienen páginas web en tiempo real en nombre de los usuarios que esperan una respuesta— serán bloqueado por defecto en una parte significativa de la web a partir de 15 de septiembreCloudflare Anunciaron el cambio el 1 de julio.Y si bien gran parte de la cobertura se ha centrado en Google, la historia más importante es lo que esto significa para todos aquellos que desarrollan agentes de IA, y lo que Cloudflare ofrece a cambio.

🔐 Nueva clasificación de bots de tres niveles de Cloudflare

Cloudflare ha reemplazado su único interruptor "bloquear bots de IA" con tres categorías distintas, todas las cuales entraron en funcionamiento el 1 de julio para todos los clientes, incluido el nivel gratuito:

• Buscar — Bots que indexan una página para responder a futuras consultas sobre ella.
• Agente — Sistemas automatizados que actúan en tiempo real para un usuario, incluidos el bot de búsqueda de ChatGPT y los agentes que controlan el navegador.
• Capacitación — Rastreadores que incorporan contenido a los pesos de entrenamiento de un modelo.

🔔 A partir del 15 de septiembre: Ambos Capacitación y Agente Los rastreadores web estarán bloqueados de forma predeterminada en cualquier página que muestre anuncios. Buscar Se seguirá permitiendo el uso de vehículos todoterreno.

Los nuevos valores predeterminados se aplican a:

• Dominios que se incorporan recientemente a Cloudflare
• Nuevos sitios configurados por clientes existentes
• Todos los clientes actuales del nivel gratuito — automáticamente, sin necesidad de realizar ninguna acción.

⚠️ Los propietarios de sitios que deseen optar por no participar pueden hacerlo a través de su Configuración de seguridad anterior al 15 de septiembre.

🤖 El argumento principal de Cloudflare

El razonamiento de Cloudflare es sencillo: Un anuncio es prueba de que una página fue creada para un público humano. Un rastreador de búsqueda que redirige a los lectores a un sitio web es una referencia, y esa referencia tiene valor. Un bot de IA que lee la página y le pasa la respuesta directamente a otra persona no lo es.

📌 "Un rastreador de búsqueda que redirige a un lector es una referencia. Un bot que lee la página y le pasa la respuesta a otra persona no lo es." — Justificación de la política de Cloudflare

🌎 ¿Con qué se están topando ahora mismo los rastreadores de agentes de IA?

Las implementaciones basadas en agentes se han construido durante mucho tiempo bajo el supuesto de que la web abierta permanece abierta. Consideremos estos casos de uso comunes:

• A agente de investigación Obtener la página de precios de un competidor
• A herramienta de monitoreo comprobar los anuncios de un proveedor
• A agente de atención al cliente Obteniendo una hoja de especificaciones del fabricante

Ninguno de estos había requerido una licencia hasta ahora. Cloudflare se encuentra frente a una gran parte del tráfico web mundial y, lo que es fundamental, Sus bloques operan a nivel de red. — no como un robots.txt sugerencia que un rastreador puede simplemente ignorar.

Las páginas con publicidad son precisamente las que más desean los agentes: albergan noticias, reseñas, datos de precios y cobertura de productos. El fracaso de un agente empresarial no se traduce en una demanda. Es silencio, o una respuesta construida a partir de lo que aún pudo alcanzar.

🔍 La complicación de Google

Existe un problema importante relacionado con Google. Googlebot realiza el rastreo tanto para búsquedas como para entrenamiento utilizando un único bot. Según la regla más restrictiva, un sitio que bloquea Capacitación también bloquea eficazmente a Googlebot y con ello, su propia visibilidad en los motores de búsqueda.

💬 Director ejecutivo de Cloudflare Mateo Príncipe dijo que la compañía espera que estos cambios "fomentar que los rastreadores de uso mixto separen la búsqueda del uso y la capacitación de los agentes". — una forma educada de decir que la presión es el punto clave.

✅ Obtener permiso: lo que los desarrolladores de agentes deben hacer

Cualquier persona que utilice agentes de IA debería tomar las siguientes medidas ahora:

1. Identifica qué cuentas de Cloudflare se clasificarán como de clase Agente. La clasificación se basa en el comportamiento: si un agente de investigación navega en tiempo real, se le detecta independientemente de si su operador lo considera un rastreador.
2. Cabe esperar una cobertura reducida, no un fallo total. El bloqueo afecta a las páginas con publicidad y deja accesibles las demás, lo que significa que hay lagunas, no bloqueos totales.
3. Buscar el acceso negociado en lugar de reescribir las cadenas de agente de usuario. Ese es el único camino duradero.

📰 Lo que los editores deben comprobar

Los editores se enfrentan a su propia lista de verificación:

1. Primero, verifica tu nivel de Cloudflare. Los clientes actuales del plan gratuito pasarán automáticamente a la nueva configuración predeterminada el 15 de septiembre, un detalle que la mayoría de los medios han omitido por completo.
2. Analice el costo de bloquear la capacitación. Al hacerlo, también te llevas a Googlebot y, con él, tu posicionamiento en los resultados de búsqueda.
3. Observa los mecanismos de monetización. El pago por rastreo está evolucionando hacia el pago por uso. Cerámica.ai ya está pagando a los editores cuando su contenido aparece en los resultados de búsqueda de IA, y Tú.com Se paga cuando un agente accede a contenido premium.

📊 Cloudflare informa que Más de la mitad del tráfico de los rastreadores de IA se dedica a volver a obtener páginas que no han cambiado. — lo que representa un desperdicio por ambas partes que ahora vale la pena eliminar en términos de precio.

⚠️ La debilidad del sistema

Una vulnerabilidad crítica reside en la propia taxonomía. Búsqueda, Agente y Entrenamiento son comportamientos que las empresas de IA declaran sobre sus propios bots. Una empresa que preferiría que sus recorridos de entrenamiento no se clasificaran como Capacitación Tiene un incentivo obvio para tergiversarlas, y el anuncio de Cloudflare no explica qué lo impide.

🕑 El panorama general

El acceso a la web abierta ha sido gratuito e ilimitado durante treinta años. La factura ya está detallada.

Esta es la primera ronda de una batalla de contenido más amplia, y la respuesta sobre la mesa es una tasa, no una pared.

🔒 Los administradores de sistemas que solucionen sus problemas de acceso antes de septiembre tendrán un problema manejable. Quienes se encuentren con un error 403 tendrán que reconstruir la aplicación sobre la marcha.