robots.txt编写指南：从入门到精通的完整教程

📍 WDQWDWQD987AAAAA:216.73.216.215
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /cd94c5cb5e19.html
📄

robots.txt编写是每个网站运维人员和SEO从业者都需要掌握的基础技能。正确配置robots.txt文件，既能引导搜索引擎蜘蛛高效抓取，又能保护敏感目录不被索引。本文将带你系统了解robots.txt的编写方法。

什么是robots.txt

robots.txt是存放在网站根目录下的纯文本文件，遵循 Robots 协议，用于告诉搜索引擎爬虫哪些页面可以抓取、哪些不能。它虽然不能阻止恶意爬虫，但能规范主流搜索引擎的抓取行为。

基本语法规则

• User-agent：指定规则适用的爬虫，如 Googlebot、Baiduspider，用 * 表示所有爬虫。
• Disallow：禁止抓取的路径，值为 / 表示禁止全部。
• Allow：允许抓取的路径，可覆盖 Disallow 规则。
• Sitemap：声明网站地图地址，便于蜘蛛发现页面。

编写步骤与示例

1. 创建 robots.txt 文件，编码使用 UTF-8。
2. 按爬虫分组编写规则，每条规则单独一行。
3. 注意大小写敏感，路径以 / 开头。
4. 上传到网站根目录并测试可访问性。

示例：User-agent: * 表示所有爬虫；Disallow: /admin/ 禁止抓取后台目录；Allow: /admin/public/ 允许抓取公开部分；最后用 Sitemap: https://example.com/sitemap.xml 声明地图。

常见误区

很多人在 robots.txt编写时误以为 Disallow 可以阻止页面被索引，实际上它只阻止抓取。若想彻底移除页面，应配合 noindex 标签使用。此外，规则冲突时以更具体的路径优先，测试时建议使用搜索引擎官方工具验证。

掌握 robots.txt编写技巧，能让网站抓取更高效、更安全，是技术SEO不可或缺的一环。