Robots 文件生成

可视化配置爬虫规则，生成本地标准 robots.txt，可复制或下载到网站根目录。

全局规则
所有爬虫（User-agent: *）
抓取间隔 Crawl-delay

说明：Google、Bing 等通常忽略 Crawl-delay；部分国内爬虫可能参考该值。

分引擎策略（默认=不单独写入）
屏蔽目录（Disallow）

路径建议以 / 开头；目录类建议以 / 结尾。将写入全局 * 规则块。

Sitemap 地址
生成结果

使用说明

  • 「允许」写入空 Disallow（允许抓取）；「拒绝」写入 Disallow: /；「默认」不单独输出该引擎块。
  • 生成在浏览器本地完成，不会上传您的配置。
  • 将文件放到网站根目录（与首页同级），文件名必须为 robots.txt。
  • 规则仅供参考；正式策略请结合各搜索引擎文档复核。