火车头采集规则如何制定阶段性交付物：先交付什么、怎么查、结果说明什么
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /ba54dec8366d.html
📄
火车头采集规则如何制定阶段性交付物：先交付什么、怎么查、结果说明什么
制定火车头采集规则的阶段性交付物，核心是按“能跑通、能复用、能维护”三层递进：第一阶段只交付一条最小可用规则的配置与测试记录，第二阶段交付可复用的字段映射和分页处理，第三阶段交付异常处理与交接文档。时间和人手有限时，不要一开始就追求全站采集，先把一条列表页到内容页的完整链路跑通，再逐步扩展。
第一阶段：交付一条最小可用规则
这一阶段的目标是证明采集链路成立，而不是采集量。要查的项目和判断标准如下：
- 要查什么：目标页面的列表结构和内容页结构是否稳定。怎么查：用浏览器打开列表页，确认每条记录的链接是否指向独立内容页；再打开任意一条内容页，确认标题、正文、时间等字段在页面源码中有固定位置。结果说明：如果链接和字段位置稳定，可以进入规则配置；如果链接由脚本动态生成，需要先判断是否必须处理动态加载。
- 要查什么：火车头采集器能否正常获取页面源码。怎么查：在规则中配置一个测试网址，执行一次采集测试，观察返回内容是完整HTML还是空内容或验证页。结果说明：返回完整HTML说明基础抓取可行；返回空内容通常意味着需要检查请求头、编码或访问频率，而不是直接判定规则写错。
- 要查什么：最小字段能否正确提取。怎么查：只配置标题和正文两个字段，用一条内容页做测试，核对提取结果与页面实际内容是否一致。结果说明：一致则最小规则成立，可以交付；不一致则先修正采集区域，不要继续增加字段。
本阶段交付物建议包含：一个规则配置文件、一条测试网址、一份测试结果截图或文本记录。适用条件是目标站点结构简单、字段需求不超过五个；如果页面结构频繁变化，应把交付重点放在字段定位方式的可替换性上，而不是固定某一条规则。
第二阶段：交付字段映射与分页处理
最小规则跑通后，第二阶段解决“采得全”和“采得准”。检查项包括：
- 字段映射是否完整。要查什么：列表页需要采集的字段和内容页需要采集的字段是否分开配置。怎么查：逐项对照需求清单，确认标题、链接、发布时间、正文、来源等字段都有对应采集区域。结果说明：字段缺失会导致后续入库失败，应在这一阶段补齐，而不是等到发布环节再补。
- 分页是否连续。要查什么：列表页翻页规律是URL参数递增还是需要点击下一页。怎么查：手动翻到第二页、第三页，观察网址变化；如果网址规律明显，用规则中的分页设置测试连续采集三页。结果说明：三页都能采到且不重复，说明分页处理可用；出现重复或中断，需要检查分页区域定位和去重条件。
- 内容页字段是否受模板影响。要查什么：同一栏目下是否存在多种内容页模板。怎么查：从列表页随机抽取五条内容页，分别测试字段提取。结果说明：如果五条中有字段缺失，说明需要按模板拆分规则或增加兼容定位，不能只用一条样本判断全站可用。
本阶段交付物应包含字段映射表、分页测试记录和抽样测试结果。适用条件是栏目结构相对统一；如果同一站点存在多个差异较大的栏目，应按栏目分别交付，而不是合并成一条规则硬套。
第三阶段：交付异常处理与维护说明
规则能采集不等于能长期使用。第三阶段要交付的是遇到问题时的判断依据：
- 采集为空时查什么。先查目标页面是否仍可正常访问，再查请求返回的是否为验证页或跳转页，最后查采集区域定位是否失效。结果说明：页面不可访问属于外部问题；返回验证页属于访问限制问题；区域定位失效属于规则维护问题。三种原因的处理方式不同，不要统一归为规则错误。
- 采集重复时查什么。查分页起始页码是否重复、查内容页网址是否带不同参数指向同一内容、查去重字段是否唯一。结果说明：如果同一内容有多个网址，应确定以哪个字段作为去重依据；如果分页重复，应调整起始页和翻页步长。
- 字段错位时查什么。查页面源码中目标字段的父级标签是否变化、查是否存在多个相同class的区域。结果说明：错位通常来自定位范围过大，应缩小到更具体的父级区域，而不是直接删除字段。
本阶段交付物建议包含：异常现象与对应排查步骤的简短说明、规则中可替换的参数位置、以及下一次维护时需要优先检查的字段清单。适用条件是规则需要交给其他人继续使用；如果只是个人一次性采集，可以只保留测试记录，但仍建议写明字段定位依据。
时间有限时的交付顺序
如果只有半天时间，按以下顺序执行：先用一条内容页完成标题和正文提取，确认采集器能正常获取页面；再补列表页链接和分页，测试连续三页；最后记录测试网址和字段定位方式。不要先处理图片下载、自动发布或大规模并发，这些环节依赖前面的字段和分页结果，提前处理只会增加排查难度。判断是否可以进入下一阶段的依据是：当前阶段的测试记录能被另一个人按同样步骤复现。
下一步，选一个目标栏目，只配置标题和正文两个字段，完成一次从列表页到内容页的采集测试，把测试网址、字段定位和结果记录在同一份文档中，再决定是否扩展字段和分页。
