robotstxt 详解：含义、写法与常见误区

📍 WDQWDWQD987AAAAA:216.73.216.146
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /7dcc68d164ea.html
📄

robotstxt（Robots.txt）是网站根目录下的纯文本文件，用于告诉搜索引擎爬虫哪些页面可以抓取、哪些应当避开。它属于爬虫协议的一部分，虽然不能强制阻止恶意抓取，但对规范收录、保护后台目录和节省服务器带宽有实际作用。

robotstxt 的基本结构

文件由若干条记录组成，每条记录以 User-agent 开头，后跟 Allow 或 Disallow 规则。例如：

常见误区与注意事项

第一，robotstxt 不是安全措施，它只能约束遵守协议的爬虫，不能防止恶意访问。第二，Disallow 阻止的是抓取而非收录，若页面已被外链指向，仍可能出现在搜索结果中。第三，规则按最长匹配优先，Allow 与 Disallow 冲突时以更具体的路径为准。第四，不要用 Disallow 屏蔽 CSS 和 JS 文件，否则会影响搜索引擎渲染页面。

实用建议

建议将 robotstxt 放在网站根目录，使用小写文件名，并保持每行一条规则。上线前可用搜索引擎的 robots 测试工具验证。对于电商或内容站点，应定期检查是否误屏蔽重要栏目，同时通过 Sitemap 帮助爬虫发现有效页面。合理配置 robotstxt，能提升抓取效率并减少无效请求。

图1 图2
nginx