Robots.txt 完整配置指南：核心语法与常见错误避坑
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /cfdc38baa0fe.html
📄
Robots.txt 是一个存放在网站根目录的纯文本文件，通过特定指令与搜索引擎爬虫沟通，告知它们哪些内容可以抓取、哪些路径应该绕开。它并非强制性的技术屏障，而是依靠爬虫自觉遵守的协作约定，配置得当既能提升抓取效率，也能减轻服务器的无效负担。
1. Robots.txt 用于何处及边界在哪
当爬虫访问一个站点时，第一件事就是请求根目录下的 robots.txt 文件，以此决定后续的抓取策略。如果没有这个文件，爬虫会默认站点内所有公开内容均可抓取。
在日常运营中，这份文件主要用于处理几类需求：屏蔽后台登录入口、排除低价值页面（如站内搜索结果页或自动生成的标签页）、限制部分路径的抓取以避免服务器压力过大。但必须清醒认识到，守规矩的搜索引擎会遵守这些指令，而恶意程序或采集工具通常视若无物，所以它毫无安全防护作用。
2. 语法核心与指令详解
Robots.txt 的内容由一组组记录构成，每条记录先声明 User-agent 指定适用的爬虫，再列出具体指令。掌握下面几个基础指令，就能应对绝大多数场景：
- User-agent：声明规则适用的爬虫名称，使用 * 表示对所有搜索引擎生效。
- Disallow：指定禁止抓取的路径前缀，例如 Disallow: /temp/ 表示屏蔽整个 temp 目录。
- Allow：声明允许访问的路径，在同一记录内它优先于 Disallow，适用于整体屏蔽目录但单独放行某个文件的情况。
- Sitemap：提供 XML 站点地图的完整网址，方便爬虫快速发现重要页面。
- Crawl-delay：建议爬虫在连续请求之间的等待秒数，但并非所有搜索引擎都识别此指令，部分已不再支持。
2.1 份规范的配置示例
下面是一个结构清晰、便于理解的参考配置：
User-agent: *
Disallow: /cache/
Disallow: /private/
Allow: /private/readme.html
Sitemap: https://www.example.com/sitemap.xml
这段配置表达的意思很明确：所有爬虫都不能访问 cache 和 private 这两个目录，但 private 下的 readme.html 被单独放行，同时提供了站点地图的位置。
3. 高频使用场景与避坑要点
配置本身不难，但实际操作中稍微疏忽就可能适得其反，以下几类场景要格外留意：
- 全站完全开放：如果不需要限制任何路径，Disallow 字段应留空或不写这一行，千万别写成 Disallow: /，那会直接导致全站被禁止抓取。
- 临时整体屏蔽：确实需要短期关闭收录时，可用 Disallow: /，但务必记住及时恢复，并留意搜索引擎可能需要一段时间才能重新索引。
- 屏蔽与放行并存：很多站点在屏蔽整个目录时忘了单独放行某个重要文件，导致关键页面消失。务必确认 Allow 的路径是否在 Disallow 的范围内，且规则顺序无误。
- 注释与空行：使用 # 号添加注释仅用于辅助维护，不影响实际规则；空行用于分隔不同爬虫的记录组，不能随意添加，否则可能解析出错。
4. 配置后的校验与更新习惯
文件上传后并不是一劳永逸，建议定期检查并验证规则的实际效果。具体的操作习惯可以从以下几点入手：
- 修改文件后，先在浏览器中直接访问根域名下的 robots.txt，确认内容显示正常且无乱码。
- 利用各搜索引擎站长平台提供的抓取测试工具，验证特定路径是否被正确允许或拒绝。
- 定期查看服务器日志中爬虫的访问记录，若发现异常抓取，及时排查是否因规则冲突所致。
- 站点结构调整时（例如改版或更换目录名），同步更新 robots.txt，避免规则指向已不存在的路径。
一个常见的坑是：只写了 Disallow 规则，却忘了提供 Sitemap 地址，导致爬虫发现新内容的路径变长，收录速度明显下降。务必在文件中保留 Sitemap 行，并将其更新为当前有效地址。
5. 常见问题
5.1 robots.txt 能阻止搜索引擎收录我的页面吗
能阻止抓取，但不等于阻止收录。更准确地说，禁止抓取通常会导致页面不出现在搜索结果中，但如果其他网站链接了该页面，搜索引擎仍可能仅凭链接信息将其展示出来（通常不显示内容摘要）。若必须彻底从索引中移除，应结合无索引标签或站长平台的删除工具。
5.2 多个 User-agent 规则之间是什么关系
每个 User-agent 组是独立生效的。爬虫只会匹配与自己名称完全相符的那条记录，若没有精确匹配，则可能匹配通配符 * 的那一组。例如百度会读取 User-agent: Baiduspider 下的规则，而不会读取只针对 Googlebot 的记录。建议先写所有爬虫通用的规则，再写特定爬虫的单独规则。
5.3 Allow 和 Disallow 同时出现时到底听谁的
在同一组记录内部，Allow 的优先级高于 Disallow。也就是说，如果 Disallow 屏蔽了整个目录，但 Allow 单独放行了其中某个文件，爬虫会遵循放行指令。但不同引擎的匹配逻辑略有差异，务必用站长工具实际测试后再确认最终效果。
6. 总结
Robots.txt 的配置核心在于明确意图、语法准确、定期维护。建议从最小必要的规则入手，先屏蔽确定无价值的路径，再逐步补充其他限制；每次修改后都验证一遍，并将文件纳入站点改版的维护清单。只要避免全站误屏蔽、记得保留站点地图、及时更新路径，你就能充分发挥这份协议文件的价值。
