robots txt 配置指南：正确设置网站爬虫规则

📍 WDQWDWQD987AAAAA:216.73.216.208
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /1759830fe90b.html
📄

robots txt 是放在网站根目录的纯文本文件，用来告诉搜索引擎爬虫哪些页面可以抓取、哪些应当避开。正确配置它能减少无效抓取、保护后台目录，并辅助搜索引擎理解站点结构。

robots txt 的基本语法

文件由若干记录组成，每条记录以 User-agent 开头，后接 Allow 或 Disallow 规则。常见写法包括：

• User-agent: * 表示规则适用于所有爬虫。
• Disallow: /admin/ 禁止抓取 admin 目录。
• Allow: /public/ 允许抓取指定路径。
• Sitemap: 声明站点地图地址。

规则按路径前缀匹配，Allow 与 Disallow 同时存在时，通常更具体的规则优先。

常见配置误区

不少站点直接写 Disallow: /，结果导致整站无法被收录。也有站点用 robots txt 阻止 CSS、JS 文件，影响搜索引擎渲染页面。注意：robots txt 只是爬虫协议，不能阻止页面被索引，敏感内容应使用密码或 noindex 标签保护。

编写与检查建议

1. 将文件命名为 robots.txt，放在域名根目录。
2. 测试前先用搜索引擎的 robots 测试工具验证语法。
3. 定期检查是否误屏蔽重要栏目或资源文件。
4. 结合 Sitemap 提交，提升抓取效率。

合理使用 robots txt，既能引导爬虫高效工作，也能避免不必要的抓取压力，是网站技术 SEO 的基础环节。