确认网站死链检查工具的配置实际生效,不能只看保存成功的提示,而要用同一批已知状态的URL做一次对照扫描,检查工具是否按你设定的规则跳过、标记或报告链接。下面用一个假设例子说明完整步骤。
假设你在死链检查工具里配置了两条规则:把/preview/开头的路径加入忽略列表,并把超时时间设为5秒。保存后界面提示成功,但你不确定扫描时是否真的按新规则执行。这时可以构造一组测试链接,让结果直接暴露配置有没有被读取。
/preview/test-ok,该地址实际返回200。/preview/test-404。如果忽略规则生效,前两个地址都不应出现在死链报告里;如果超时生效,慢地址会在约5秒后被标记为超时,而不是等到工具默认的更长时限。结果与预期不符,说明配置没有被应用,或应用的范围与你以为的不同。
很多工具把配置存储和任务执行分开:保存只写入了配置,真正生效要等下一次扫描任务读取。判断时看三个位置:任务详情里是否显示了当前使用的规则集,扫描日志里是否记录了忽略条数,报告里被忽略的链接是否单独归类。若报告只给出最终死链列表,没有任何规则命中记录,就不能凭列表变短推断配置生效。
还要注意配置的作用域。全局忽略、项目级忽略、单次任务覆盖可能同时存在,后者的优先级更高。检查项包括:当前任务是新建还是复用旧模板,规则是绑定到域名还是路径,是否区分大小写。把作用域写清楚,再决定用哪组URL去验证。
对照扫描的做法是:同一批URL,先用旧配置跑一次,再用新配置跑一次,比较两次结果的差异。差异应当只出现在规则覆盖的URL上。如果两次结果完全一致,可能原因有几种:任务复用了缓存结果;规则写错了匹配模式;扫描范围不包含这些URL;工具版本不支持该规则类型。不要认定是单一原因,逐项排除。
一个常见错误是把忽略规则写成完整网址,而工具按路径匹配;另一个错误是忽略了带参数的URL,但规则只匹配了不带参数的路径。此时可以用一条最小规则测试,例如只忽略一个具体路径,确认生效后再扩展为前缀或正则。
死链检查工具判定死链的依据通常是HTTP状态码、超时和重定向链。确认配置生效时,要同时看状态码和请求记录:被忽略的链接是否真的没有发出请求,还是发出了请求但被过滤掉。前者说明规则在请求前生效,后者说明只在报告层过滤,两者对服务器压力和日志的影响不同。
涉及抓取限制时要注意:robots.txt 的抓取限制不等于可靠的索引移除,工具跳过某链接也不代表搜索引擎不会抓取或索引它。站点地图不保证收录,HTTPS 也不保证安全无漏洞或排名。死链检查工具的报告只反映它自己观察到的请求结果,不能替代搜索引擎的抓取诊断。
下一步:挑一个当前配置里的规则,按上面的对照方法跑一次最小验证,把结果与预期不符的那一项单独记录,再调整匹配模式或作用域后重跑。