Generator pliku robots.txt

Generuj standardowe pliki robots.txt dla dyrektyw robotów wyszukiwarek

Zasady i ustawienia robota

Wszystkie domyślne akcje dla robotów nie są skonfigurowane (User-agent: *)

Ustawienia ukierunkowane na główne wyszukiwarki

Googlebot (Google)

Baiduspider (Baidu)

Bingbot (Microsoft Bing)

YandexBot (Yandex)

Limit opóźnienia pełzania (opóźnienie pełzania, sekundy)

Mapa witryny URL (mapa witryny)

Katalogi, których indeksowanie jest zabronione (Zabroń wierszy, po jednym w wierszu)

Podkatalogi, które mogą być przeszukiwane (wiersz Zezwalaj)

Zawartość wygenerowanego pliku robots.txt