Trình tạo Robots.txt

Tạo tệp robots.txt tiêu chuẩn cho chỉ thị trình thu thập thông tin của công cụ tìm kiếm

Quy tắc và cài đặt trình thu thập thông tin

Tất cả hành động mặc định dành cho trình thu thập thông tin chưa được định cấu hình (Tác nhân người dùng: *)

Cài đặt nhắm mục tiêu công cụ tìm kiếm chính thống

Googlebot (Google)

Baiduspider (Baidu)

Bingbot (Microsoft Bing)

YandexBot (Yandex)

Giới hạn độ trễ thu thập dữ liệu (Độ trễ thu thập dữ liệu, giây)

Sơ đồ trang web URL (Sơ đồ trang web)

Các thư mục bị cấm thu thập thông tin (Không cho phép các dòng, mỗi dòng một dòng)

Các thư mục con được phép thu thập thông tin cụ thể (Cho phép dòng)

Nội dung của tệp robots.txt được tạo