Trình kiểm tra quy tắc Robots.txt

Xác thực và kiểm tra các quy tắc truy cập đường dẫn trong robots.txt cho trình thu thập thông tin của công cụ tìm kiếm
đầu vào
đầu ra