Cloudflare hoy anunció una nueva característica que te permite señalar a través de robots.txt si tu contenido puede ser utilizado en las Visiones AI de Google (así como para el entrenamiento de IA).
- La nueva Política de Señales de Contenido de Cloudflare está destinada a dar a los editores más control sobre cómo los rastreadores y bots utilizan sus datos, más allá de las directivas tradicionales que solo regulan el rastreo y la indexación.
Cómo funciona. La política agrega tres nuevas directivas legibles por máquina a robots.txt:
search: permiso para construir un índice de búsqueda y mostrar enlaces/misceláneas (búsqueda tradicional).ai-input: permiso para usar contenido como entrada para respuestas generadas por IA.ai-train: permiso para usar contenido para entrenar modelos de IA.
Por ejemplo:
User-Agent: * Content-Signal: search=yes, ai-train=no Allow: /
Cloudflare añadirá automáticamente estas directivas para millones de sitios de clientes que ya utilizan su servicio gestionado de robots.txt.
Sí, pero. Google no se ha comprometido a respetar estas instrucciones.
- El CEO de Cloudflare, Matthew Prince, le dijo a The Information (se requiere suscripción) que Google fue informado sobre las señales de contenido, pero no ha dicho si respetará las nuevas señales.
- Las directivas de robots.txt no son legalmente vinculantes, y Cloudflare reconoció que algunas empresas pueden ignorarlas.
Por qué nos importa. ¿Google o otras compañías de IA cumplirán voluntariamente? Lo dudo. Aún así, esta nueva opción al menos te da una manera de contrarrestar: una manera de decir “sí a la búsqueda, no a las Visiones AI”, un control que simplemente no existía antes. Eso importa porque las respuestas generadas por IA han sido ampliamente criticadas por erosionar el tráfico y proporcionar poco o ningún valor a cambio.
Perspectiva general:
- Cloudflare dice que los bots podrían superar el tráfico humano en Internet para 2029, aumentando las apuestas para dar a los editores herramientas para gestionar cómo se reutiliza su contenido.
- La empresa ha lanzado su Política de Señales de Contenido bajo una licencia CC0 para fomentar su adopción más allá de su propia base de clientes, esperando que se convierta en un estándar más amplio de la industria.
- Pero Cloudflare también señala que las señales por sí solas no son suficientes. Los editores que deseen un control más estricto deben combinarlas con la gestión de bots y reglas de firewall.
En resumen. A menos que Google y otros reconozcan formalmente y adhieran a estas instrucciones, los editores seguirán atrapados en una situación en la que no hay ganadores: mantener el contenido abierto y arriesgar su uso indebido, o cerrarlo por completo.
El anuncio de Cloudflare. Dando a los usuarios opción con la nueva Política de Señales de Contenido de Cloudflare
Search Engine Land es propiedad de Semrush. Seguimos comprometidos a ofrecer cobertura de alta calidad sobre temas de marketing. A menos que se indique lo contrario, el contenido de esta página fue escrito por un empleado o un contratista pago de Semrush Inc.