robots.txt编写指南：从零掌握搜索引擎抓取规则

📍 WDQWDWQD987AAAAA:216.73.217.143
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /55aab8e14628.html
📄

robots.txt是网站与搜索引擎爬虫之间的第一道沟通桥梁，正确编写它能有效控制抓取范围、保护敏感目录并提升SEO效率。本文围绕robots.txt编写，从基础语法到实战避坑，帮你快速上手。

一、robots.txt编写的基本语法

robots.txt是放在网站根目录下的纯文本文件，核心指令只有几条：

• User-agent：指定规则针对的爬虫，如User-agent: Baiduspider，用*表示所有爬虫。
• Disallow：禁止抓取的路径，如Disallow: /admin/；留空表示允许全部。
• Allow：在Disallow范围内设置例外，如Allow: /admin/public/。
• Sitemap：声明站点地图地址，便于爬虫发现内容。

编写时注意：每个User-agent后的规则独立生效，路径区分大小写，且Disallow只支持前缀匹配，不支持通配符和正则（部分爬虫支持*与$，但不要依赖）。

二、robots.txt编写的实战要点

1. 先放行再屏蔽：用Allow精确放行必要资源（如CSS、JS），避免影响页面渲染。
2. 屏蔽后台与搜索页：如Disallow: /search/、Disallow: /cart/，防止重复内容消耗抓取配额。
3. 不要屏蔽整站：误写Disallow: /会导致网站从搜索结果消失。
4. 结合Sitemap：在文件末尾添加Sitemap: https://www.example.com/sitemap.xml，提升收录效率。

三、常见错误与验证方法

常见错误包括：文件名拼写错误（应为小写robots.txt）、放在子目录而非根目录、规则冲突导致爬虫行为不可预期。编写完成后，建议使用搜索引擎站长平台的robots.txt测试工具验证，并观察服务器日志中的爬虫抓取状态。

总结：robots.txt编写并不复杂，关键在于明确抓取策略、精确控制路径、定期验证效果。掌握以上要点，你就能让爬虫按你的意愿高效工作。