robots txt 怎么用:从基础写法到 SEO 抓取优化实战指南
📍 WDQWDWQD987AAAAA:17.166.150.208
📱 Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
🔗 /bcd59849d555.html
📄
robots txt 是网站根目录下的纯文本协议文件,用来告诉搜索引擎爬虫哪些页面可以抓取、哪些应当回避。它虽然不是强制指令,但对控制抓取预算、保护后台目录、引导蜘蛛发现优质内容有重要作用。正确配置 robots txt,是技术 SEO 的基础工作之一。
robots txt 的基本语法
文件必须命名为 robots.txt,放在域名根目录,例如 https://example.com/robots.txt。常用指令包括:
- User-agent:指定规则适用的爬虫,星号表示所有爬虫。
- Disallow:禁止抓取的路径,斜杠表示全站禁止。
- Allow:在禁止范围内开放特定路径。
- Sitemap:声明站点地图地址,便于爬虫发现页面。
一个简单示例:User-agent: * 下一行写 Disallow: /admin/,再写 Allow: /admin/public/。注意路径区分大小写,规则按最长匹配生效。
常见配置误区
很多站点误用 Disallow: / 导致整站被屏蔽,或把 CSS、JS 文件全部禁止,影响搜索引擎渲染页面。robots txt 只能阻止抓取,不能阻止收录;若页面已被外部链接指向,仍可能出现在搜索结果中。敏感内容应使用密码保护或 noindex 标签,而不是只依赖 robots txt。
SEO 优化建议
- 把后台、购物车、搜索结果页等低价值路径加入 Disallow,节约抓取预算。
- 在文件末尾添加 Sitemap 指令,帮助爬虫快速定位内容。
- 上线前用搜索引擎官方工具测试规则,避免误屏蔽重要栏目。
- 定期检查 robots txt 是否被意外修改,并保留版本记录。
总之,robots txt 要写得精准而克制:只屏蔽真正无需抓取的路径,同时保持对搜索引擎的友好开放。配合站点地图和清晰的网站结构,才能让抓取与收录效率最大化。