公司官网内容很全,但搜索“公司名+财报”却搜不到对应页面。问题往往不在内容,而在“门没开好”:robots.txt 拦了路,或 sitemap 没提交。这两个小文件,是官网被搜索引擎高效抓全的前提,却常被忽略。

一、robots.txt 是门禁
robots.txt 告诉爬虫哪些能进、哪些不能进。常见错误是部署时把整站 Disallow,或误把IR、新闻栏目屏蔽,导致核心内容根本不被抓取。
正确做法是只屏蔽真正敏感的(后台、测试目录),开放公开栏目,并为主流搜索引擎分别声明,避免一刀切。
二、sitemap 是地图
sitemap.xml 把全站重要页面列给爬虫,尤其对深层、更新不频繁的内容(如历史公告、PDF落地页),能显著提升被发现概率。
sitemap 应按栏目拆分或带 lastmod 时间戳,让爬虫知道“哪些更新了”,把抓取预算花在刀刃上。
三、提交与索引
生成 sitemap 后,应在搜索引擎的站长平台主动提交,并在 robots.txt 里用 Sitemap 指令指向它,双管齐下加速收录。
提交后关注索引覆盖率报告,看哪些页被排除、为何被排除,及时修正常见问题(如noindex、 canonical冲突)。
四、抓取优先级
对内容多的官网,可用 sitemap 的 priority 与 changefreq 暗示重要性与更新频率,虽非强制,但能辅助爬虫排序。
更可靠的是用内部链接权重:重要栏目多被链接、层级浅,爬虫自然会更频繁地光顾,比单纯调 priority 更有效。
五、常见误区
误区一:以为 robots 能保密——它只是礼貌约定,不能阻止决心访问;真正敏感内容必须鉴权。误区二:sitemap 提交后不更新,导致死链堆积。
对做网站开发建设的团队,robots 与 sitemap 应作为上线 Checklist 的必检项,而不是上线后补,否则收录滞后可能持续数周。
常见问题
Q:改版后旧链接要进sitemap吗?
旧链接若已301到新地址,应在sitemap放新地址、保留重定向;不要同时列新旧,避免重复与混乱。
Q:屏蔽后台会影响SEO吗?
不会,反而应该屏蔽。后台、接口、测试页都不该被收录,屏蔽它们是规范操作。
Q:sitemap多久更新一次?
有内容更新就更新并提交;动态生成的sitemap可在发布时自动刷新,保持与线上一致。
Q:影响GEO吗?
影响。可被抓全、无死链的结构化站点,更可能被生成式引擎稳定引用;门都没开,内容再好也进不去。
robots 与 sitemap 的本质,是帮爬虫省时间、把重点内容送到它面前。把门开对,收录才高效。


