Robots 文件检测

输入域名拉取站点 robots.txt，或直接粘贴内容，在本地解析规则并给出说明。

使用说明

• 支持指令：User-agent、Allow、Disallow、Crawl-delay、Sitemap；以 # 开头为注释。
• 域名拉取仅获取公开的 robots.txt，不会扫描站内其他路径。
• 粘贴模式完全本地解析，适合内网站点或无法拉取时使用。
• 解析说明为通用解读，具体爬虫行为以各搜索引擎实现为准。