Gerador Robots.txt

Gere arquivos robots.txt padrão para diretivas do rastreador de mecanismo de pesquisa

Regras e configurações do rastreador

Todas as ações padrão para rastreadores não configuradas (User-agent: *)

Configurações direcionadas ao mecanismo de pesquisa principal

Googlebot (Google)

Baiduaranha (Baidu)

Bingbot (Microsoft Bing)

YandexBot (Yandex)

Limite de atraso de rastreamento (atraso de rastreamento, segundos)

Mapa do site URL (mapa do site)

Diretórios proibidos de rastrear (Proibir linhas, uma por linha)

Subdiretórios que podem ser rastreados especificamente (linha Permitir)

Conteúdo do arquivo robots.txt gerado