企业站 sitemap 与 robots 配置指南，助力蜘蛛抓取

本文从企业站技术SEO的基础环节切入，拆解sitemap和robots.txt两个文件的实际作用、标准写法、常见踩坑和生效验证方法，说明为什么这两个小文件直接影响搜索引擎爬虫能不能顺利发现和抓取网站页面，帮助运营人员把技术底座的这一环理顺。

一、为什么这两个小文件决定了爬虫能不能进门

很多企业网站内容不少，但收录一直上不去。排查了半天，问题不在内容质量，而在最基础的两个文件：sitemap 和 robots。它们就像网站的门牌号和接待指引，爬虫来了找不到门，或者被门口的牌子拦住了，后面所有优化都白费。

1.1 爬虫先"看到"，才有后续

搜索引擎收录一个页面，前提是爬虫先发现这个页面的存在。爬虫顺着链接从首页爬到内页，再从内页爬到详情页，一层层往下走。如果网站内部链接结构零散、有些页面藏得很深，爬虫可能爬几轮都找不到那些重要页面。

sitemap 的作用就是主动告诉爬虫：这是我网站所有重要页面的清单，你按这个列表来抓。robots.txt 的作用是告诉爬虫：哪些地方你可以进，哪些地方别浪费时间。两个文件配合好了，爬虫进来一趟就能高效走完该走的页面。

1.2 两个文件各管一摊，别搞混

sitemap 是"我有这些页面，请你来抓"，是主动递交的清单。robots.txt 是"这里能走、那里别走"，是路线指引。一个负责引路，一个负责导航，功能完全不同，不能互相替代。

有些站长以为 robots 写了 Disallow 就等于屏蔽了页面收录，其实不是。robots 只是告诉爬虫不要抓这个页面，但如果外部有别的网站链向这个页面，搜索引擎依然可能知道它的存在。真正不想被收录的页面，要用 noindex 标签配合处理。

二、sitemap 怎么写，爬虫才愿意按你的清单走

2.1 基本格式不用复杂

sitemap 本质就是一个 XML 文件，列出网站所有需要被抓取的页面地址。不需要花哨的结构，标准格式包含页面地址、最后更新时间、更新频率、页面权重这几项就够了。

举个最简单的结构：每个 URL 节点对应一个页面，loc 标签写完整地址，lastmod 写最后修改日期，changefreq 写这个页面大概多久更新一次，priority 写优先级。priority 值从 0.1 到 1.0，首页通常设 1.0，栏目页 0.8，文章页 0.6 左右就行，不用每个页面都拉到 1.0。

2.2 哪些页面该放，哪些别放

很多人做 sitemap 容易犯一个错误：把整个网站所有页面全塞进去，包括搜索结果页、筛选页、参数页。这些页面内容重复度高，放进去反而会稀释重要页面的抓取权重，爬虫花时间抓了一堆没价值的页面，真正重要的产品页反而轮不到。

正确的做法是：首页、栏目页、产品详情页、重要文章页放进去。搜索结果页、带参数的动态页、标签聚合页、纯功能性的页面（比如登录页、购物车页）不要放。sitemap 是精选清单，不是全站目录。

2.3 放对位置，提交到位

sitemap 文件命名一般用 sitemap.xml，放在网站根目录下。放好之后，除了在百度搜索资源平台和谷歌 Search Console 里手动提交，还可以在 robots.txt 里加一行 Sitemap 声明，让爬虫访问 robots 的时候自动发现 sitemap 的位置。

网站内容更新比较频繁的话，sitemap 也要定期更新。现在很多建站系统自带自动生成 sitemap 的功能，专业的网站建设团队在项目交付时通常会把这个配置一起做好。如果你的网站是几年前搭的、后台没有这个功能，手动生成一个 XML 文件上传到根目录也能用。

三、robots.txt 写不对，等于把蜘蛛拦在门外

3.1 它不是"禁止牌"，是"引导牌"

robots.txt 最常见的误用，就是站长为了图省事，直接写一个 Disallow: / 把所有路径都封了，然后纳闷为什么网站一点收录都没有。这一行代码等于告诉所有爬虫：这个网站哪儿都别来。

robots 的正确用法是精细化引导。告诉爬虫哪些目录可以正常抓取，哪些目录（比如后台管理目录、临时测试目录、带参数的搜索页）不用浪费时间。目的是让爬虫把时间花在有价值的页面上，而不是把它挡在门外。

3.2 几个高频踩坑点

首坑：Disallow 路径写得太宽泛。比如写 Disallow: /product/ 会把整个产品目录都封掉，这就把最重要的页面全挡了。如果只是不想让爬虫抓某个带筛选参数的页面，应该精确到那个参数路径，不要误伤正常页面。

第二个坑：robots 文件编码不对。有些站长用记事本编辑 robots.txt，保存成 UTF-8 with BOM 格式，爬虫读取的时候开头多了几个不可见字符，整份文件就失效了。用纯 UTF-8 无 BOM 编码保存，最稳妥。

第三个坑：改完 robots 立刻观察收录变化，发现没动静就反复改。搜索引擎重新抓取 robots 文件有一个周期，一般几天到一两周。改完之后去站长平台用 robots 检测工具确认配置正确，然后等爬虫下次来访就行，不用每天调。

3.3 robots 和 sitemap 怎么配合

在 robots.txt 最后加一行 Sitemap: https://你的域名/sitemap.xml，爬虫读取 robots 的时候会顺带读到 sitemap 的位置，不用站长再单独去各个平台提交一遍。这是一个很省事的联动配置。

但注意：robots 里 Disallow 的路径，不要在 sitemap 里又把那些页面列出来。一边说"别来"，一边又说"你来吧"，爬虫会困惑，两边配置要保持一致。

四、配完怎么确认真的生效了

配置完两个文件，别急着收工。打开浏览器直接访问 https://你的域名/robots.txt 和 https://你的域名/sitemap.xml，看能不能正常打开、内容对不对。很多时候文件传错目录了，或者文件名大小写不对，线上访问根本 404。

更专业的做法是去百度搜索资源平台的 robots 检测工具，输入一个具体页面地址，看工具返回的抓取判断：是允许还是被拦截了。如果该抓的页面显示被拦，回去检查 robots 里是不是哪条规则误伤了。sitemap 提交之后，站长平台一般会显示提交状态和抓取量，观察一周看数据有没有动。

技术SEO的事情看起来琐碎，但它们决定了前面所有内容工作能不能被搜索引擎看见。SEO优化做到后面拼的往往不是谁发的文章多，而是谁的技术底座更干净、爬虫走得更顺畅。把 sitemap 和 robots 这两个文件理顺，是投入产出比很高的一步。