把测试环境和线上做对照,核心不是比较两个页面“看起来一样”,而是确认同一批 URL 在两种环境下提交给搜狗时,返回的抓取信号、可访问性和内容是否一致。建议先明确验收结果:线上哪些 URL 应被搜狗正常抓取并进入索引候选,测试环境则不应产生可被外部抓取的重复内容。然后倒推需要准备的资料、执行任务、责任人和验收标准。
第一次接触这个问题,最容易犯的错是直接去测试环境点“提交”,再拿线上结果对比。搜狗收录提交的对照对象应当是“URL 级别的抓取与收录信号”,而不是后台按钮是否点成功。交付物可以定为一张对照表,至少包含以下字段:
这张表就是验收依据。没有它,测试环境与线上的对照会变成主观判断。
测试环境通常不希望被搜狗抓取。判断方法很直接:用搜狗 spider 的 User-Agent 或普通外部请求访问测试环境 URL,看是否返回内容。如果返回 200 且正文可读,说明它对外是可抓取的,存在与线上重复的风险。
此时应检查测试环境根目录的 robots.txt 是否写了 Disallow: /,以及页面是否输出 <meta name="robots" content="noindex,nofollow">。需要区分两件事:robots.txt 的抓取限制不等于可靠的索引移除。它只是阻止抓取,已经进入索引的 URL 仍可能以无摘要形式出现。若测试环境曾被抓取过,应结合 noindex 和线上 canonical 处理,而不是只改 robots.txt。
反过来,线上环境不应出现测试用的 noindex。验收时要抽查线上重点 URL,确认 meta robots 没有继承测试配置。
搜狗收录提交前,测试与线上应使用同一批 URL 清单。清单来源可以是线上站点地图、栏目页链接或数据库导出的已发布 URL。测试环境则用对应路径拼接测试域名,形成一一映射。
逐项检查以下内容:
站点地图不保证收录,它只是发现 URL 的辅助方式。提交后仍要以搜狗实际抓取和索引结果为准。
假设一个团队第一次做这件事,可以这样分工:开发负责测试环境 robots、noindex 和访问控制;SEO 或运营负责整理线上 URL 清单、站点地图和提交记录;测试负责按对照表逐项核验。验收标准不是“提交成功提示”,而是:
site: 查询或抓取日志核对收录变化,而不是凭感觉判断。如果测试环境与线上共用同一域名但不同路径,对照重点应放在路径级 robots 和 canonical 上;如果使用独立测试域名,则重点确认该域名没有被提交、没有被外链广泛暴露。
不要一上来就全量提交。先选 5 到 10 个线上 URL,按上面的对照表跑一遍测试环境与线上的检查,记录每项结果和负责人。确认测试环境不会干扰线上后,再扩大提交范围。这样既能验证流程,也能在第一次接触时把起点和下一步固定下来。