Cloudflare bloqueará rastreadores de inteligencia artificial que no paguen a editores por su contenido

La nueva política de Cloudflare establece que los rastreadores que mezclan funciones de búsqueda, uso de agentes de IA y entrenamiento de modelos serán bloqueados automáticamente de cualquier página que aloje publicidad, a menos que el propietario del sitio ajuste manualmente la configuración para permitirlos, según anunció la empresa. Estos cambios en la configuración predeterminada se aplicarán a nuevos clientes de Cloudflare, nuevos sitios creados por clientes existentes y todos los clientes gratuitos actuales, según la compañía.

La decisión podría impactar significativamente cómo los proveedores de modelos de IA acceden al contenido web para propósitos de entrenamiento y para alimentar sus servicios de agentes inteligentes.

Cloudflare señala que la mayoría de los propietarios de sitios web desean que su contenido sea descubrible a través de búsquedas y a menudo también mediante servicios de IA, pero quieren protecciones contra que su propiedad intelectual sea regalada gratuitamente, según la empresa.

La compañía apunta específicamente al "motor de búsqueda más grande del mundo" —claramente una referencia a Google— como teniendo acceso a aproximadamente "dos veces más información" que otras empresas de IA porque el gigante de búsquedas dificulta que los clientes permanezcan descubribles sin ser utilizados para IA, según Cloudflare.

Google ha rechazado esta generalización en el pasado, señalando que proporciona un bot llamado Google Extended que permite a los propietarios de sitios optar por no tener su contenido utilizado para entrenamiento y productos y servicios de IA como Gemini Apps y Vertex API, según la empresa. Su uso no impacta la inclusión de un sitio en Google Search. Sin embargo, el Googlebot insignia del gigante tecnológico rastrea para Search, incluyendo características de IA como AI Overviews y AI Mode, según Google.

"Ahora que la mayoría del tráfico en Internet no es humano, debemos ir más lejos y actuar más rápido para que pueda emerger un ecosistema sostenible", dijo el cofundador y director ejecutivo de Cloudflare, Matthew Prince, en su anuncio de la noticia, refiriéndose al reciente hito donde los bots superaron el tráfico humano en línea por primera vez, según Prince. Ese cambio no se esperaba que ocurriera hasta el próximo año.

"Las nuevas herramientas y asociaciones de Cloudflare dan a los propietarios de sitios web mayor visibilidad y oportunidades comerciales y benefician a las empresas de IA que tienen bots con intención clara y transparente. Esperamos que nuestros cambios predeterminados propuestos alienten a los rastreadores de uso mixto a separar la búsqueda del uso de agentes y el entrenamiento", dijo Prince, según la compañía.

Mientras Cloudflare ofrece varios productos para ayudar a los usuarios a lanzar sus propios sistemas de IA, la compañía también ha lanzado una gama de herramientas para dar a los editores más control sobre su contenido en la era de la IA, según la empresa. En años recientes, Cloudflare lanzó herramientas para combatir bots de IA, incluyendo un mercado que permite a los sitios web cobrar a los bots de IA por el rastreo, denominado Pay Per Crawl (Pago por Rastreo), según la compañía.

Este último también está evolucionando hacia "Pay Per Use" (Pago por Uso), dijo la empresa, lo que permitirá a los editores cobrar a las empresas de IA cuando su contenido cree valor, no solo cuando sea obtenido, según Cloudflare.

El cambio también podría ayudar a conservar el ancho de banda y los recursos computacionales de los editores para los proveedores de modelos de IA, ya que los datos de Cloudflare sugieren que más del 50% del tráfico de rastreo de los rastreadores de IA se gasta en volver a obtener páginas sin cambios, según la compañía.

Para poner esto en acción, Cloudflare está trabajando inicialmente con dos socios, Ceramic.ai y You.com, según la empresa. Cuando un editor opta por participar, se le paga cuando su contenido aparece en los resultados de búsqueda de IA de Ceramic o cuando You.com accede a una pieza de su contenido premium, según Cloudflare.

Otras empresas de IA pueden personalizar este modelo según cómo funcionen, dice Cloudflare.

La medida representa un punto de inflexión en la relación entre la industria de la inteligencia artificial y los creadores de contenido, quienes han expresado crecientes preocupaciones sobre el uso no compensado de su trabajo para entrenar modelos de lenguaje y alimentar servicios de IA. Con Cloudflare protegiendo aproximadamente el 20% de todos los sitios web en Internet, según estimaciones de la industria, la nueva política podría forzar a las principales empresas de IA a reconsiderar sus estrategias de recopilación de datos y establecer acuerdos comerciales directos con los editores.

El plazo del 15 de septiembre de 2026 da a las empresas de IA poco más de dos meses para adaptar sus rastreadores y establecer acuerdos de pago con los editores que deseen continuar accediendo a contenido protegido por Cloudflare. La industria tecnológica observará de cerca si otras empresas de infraestructura web siguen el ejemplo de Cloudflare en los próximos meses.