Generador de robots.txt

Genere archivos robots.txt estándar para las directivas de rastreadores de motores de búsqueda

Reglas y configuración del rastreador

Todas las acciones predeterminadas para los rastreadores no configuradas (Agente de usuario: *)

Configuraciones orientadas a los principales motores de búsqueda

Robot de Google (Google)

Araña Baidu (Baidu)

Bingbot (Microsoft Bing)

YandexBot (Yandex)

Límite de retraso de rastreo (retraso de rastreo, segundos)

Mapa del sitio URL (mapa del sitio)

Directorios cuyo rastreo está prohibido (no permitir líneas, una por línea)

Subdirectorios que pueden rastrearse específicamente (línea Permitir)

Contenido del archivo robots.txt generado