Blog
OpenAI, Google, Microsoft y Anthropic se pusieron de acuerdo para respaldar un estándar unificado que, una vez implementado, permitirá a los editores web rechazar el rastreo de sus contenidos con fines de entrenamiento en inteligencia artificial. Este mecanismo simplifica un proceso que antes requería bloqueos individuales para los rastreadores de cada empresa.
Las cuatro tecnológicas aseguran que optar por no ser rastreado no afectará la visibilidad de un sitio web. Pero a pesar de que puede representar un avance en la gestión de datos, la propuesta carece de un sistema formal de fiscalización o cumplimiento obligatorio y no regula de forma directa el uso de la información en las respuestas de búsqueda generativa.
¿Cómo funciona?
Propuesto ante la Internet Engineering Task Force (IETF) por Kevin Kelley, líder técnico de estándares en Anthropic, este mecanismo evita tener que configurar listas de exclusión individuales para cada rastreador como GPTBot o Google-Extended. En su lugar, permite gestionar preferencias para todos los principales proveedores de IA mediante una única instrucción en el archivo robots.txt.
Los administradores agregan una regla dirigida a este token, y con eso indican a las empresas participantes que el contenido del sitio no debe utilizarse para el entrenamiento de modelos de IA generativa. También es posible permitir o denegar el entrenamiento en rutas o carpetas específicas.
En su blog para desarrolladores, Google indicó: “Cuando un sitio web utiliza este token de política para optar por no participar en el entrenamiento en su archivo robots.txt, Google planea interpretarlo como si el editor hubiera deshabilitado Google-Extended. Otros proveedores de IA pueden manejarlo de manera similar, lo que facilita a los propietarios de sitios web optar por no participar en todos los proveedores o seleccionar los que deseen. Los controles existentes específicos de cada empresa seguirán funcionando junto con esta nueva señal conjunta”.
Como explicó The Verge: “El anuncio llega mientras los editores lidian con la continua oleada de rastreadores de IA que extraen sus sitios e alimentan sus contenidos en modelos de IA. Algunas empresas y organizaciones han intentado combatir el scraping no autorizado con el estándar Really Simple Licensing (RSL) que otorga a los editores la capacidad de cobrar a los rastreadores que visitan sus sitios, y Cloudflare bloqueando por defecto a los rastreadores de IA”.
OpenAI, Google, Microsoft y Anthropic se han comprometido a respaldar esta señal compartida. Google ya había implementado controles similares que permiten a los administradores de sitios web controlar si su contenido aparece en las funciones de búsqueda de IA o se utiliza para el entrenamiento de IA, sin afectar a la visibilidad en los resultados de búsqueda.
Por su parte, Meta ha expresado su apoyo a la idea de crear una señal común, aunque sin confirmar aún su implementación formal. Según indica cellcog.ai, Anthropic ya implementó el soporte para este token y OpenAI prevé incorporarlo en los próximos meses. Google y Microsoft comenzarían a integrarlo a principios de 2027.
El estándar se apoya en el cumplimiento voluntario, por lo que no existen sanciones formales ni mecanismos de verificación independiente para controlar a los rastreadores. Los laboratorios de IA más pequeños y los proyectos de código abierto no están vinculados a este acuerdo a menos que adopten la norma por decisión propia.
Fuente: Xataka México
