在线Robots检测

在线解析 robots.txt 文件并检测特定路径及爬虫 User-Agent 是否被允许索引。

要检测的网址路径

测试的爬虫 (User-Agent)

robots.txt 规则内容

检测校验结果报告