Pembuat Robots.txt

Hasilkan file robots.txt standar untuk arahan crawler mesin pencari

Aturan dan pengaturan perayap

Semua tindakan default untuk crawler tidak dikonfigurasi (Agen pengguna: *)

Pengaturan target mesin pencari arus utama

Googlebot (Google)

Laba-laba Baidu (Baidu)

Bingbot (Microsoft Bing)

YandexBot (Yandex)

Batas penundaan perayapan (Penundaan perayapan, detik)

Peta Situs URL (Peta Situs)

Direktori yang dilarang untuk dirayapi (Larang baris, satu baris per baris)

Subdirektori yang khusus diperbolehkan untuk dirayapi (Allow line)

Isi file robots.txt yang dihasilkan