robots.txt 生成器
可视化构建robots.txt文件，控制搜索引擎爬虫对您网站的访问权限。
规则 1
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
关于本工具
robots.txt文件告知合规的网络爬虫哪些页面或区域可以爬取和索引。必须放置在域名根目录下。
使用预设快速配置，或为每个爬虫自定义规则。添加站点地图URL让爬虫自动发现您的XML站点地图。
使用方法
- 选择预设或手动填写User-agent、Allow、Disallow字段。
- 使用"添加规则"按钮为不同机器人添加规则。
- 输入站点地图URL，可选设置爬取延迟。
- 复制输出或下载robots.txt并上传到网站根目录。
使用场景
SEO专家、网站开发者和管理员用于优化抓取预算、保护敏感区域、屏蔽恶意爬虫。
常见问题
- robots.txt能阻止页面出现在搜索结果中吗？ — 它能阻止爬取但不能阻止索引。要阻止索引，请使用noindex元标签或X-Robots-Tag响应头。
- 所有爬虫都遵守robots.txt吗？ — Googlebot、Bingbot等知名爬虫会遵守。恶意爬虫可能会忽略。
- robots.txt应该放在哪里？ — 始终放在域名根目录。示例: https://example.com/robots.txt