爬虫日志分析，批量页面只有一部分被发现时怎样划分对照组
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /164f0af4e899.html
📄
爬虫日志分析，批量页面只有一部分被发现时怎样划分对照组
把“已发现”和“未发现”两组页面按同一批日志时间窗对齐，再比较两组在入口、模板、层级和更新频率上的差异，是划分对照组的起点。不要先按URL前缀切分，那样容易把模板差异误判成目录问题。真正需要隔离的变量通常只有一个：这些页面是否获得了来自站内其他页面的可抓取链接。
先确定对照组的时间边界，而不是URL边界
批量页面部分被发现，最容易被忽略的条件是日志时间窗不一致。抓取工具访问一个页面后，可能隔几天才再次访问同一批URL，因此用“最近一次日志”划分已发现与未发现，会把正在被逐步抓取的页面错误归入未发现组。
可操作的做法是：选定一个明确的观察窗口，例如连续七天。把窗口内至少有一次成功抓取的URL归入已发现组，窗口内没有任何抓取记录的归入未发现组。然后检查未发现组中是否有URL在窗口开始前被访问过。如果有，它们不属于“从未发现”，而属于“发现后未再抓取”，这是两种不同的问题。
这个动作的结果会影响下一步：若未发现组里混入了历史抓取记录，说明问题出在重访频率或页面价值判断，而不是发现路径。此时继续比较入口链接的收益很低，应转向比较更新频率和站内链接深度。
保留、改写还是退出：三种划分策略的适用前提
划分对照组不是只有一种正确方式，取决于你怀疑的遗漏条件是什么。
保留原分组，只增加一个控制变量。适用前提是已发现组和未发现组在模板、层级、内容类型上大体一致，唯一明显差异是入口数量。做法是在两组内各选一批特征接近的URL，只比较“是否有站内正文链接指向”。如果未发现组普遍缺少这类链接，而模板和层级相近，这个变量就值得优先验证。
改写分组，按入口来源重新切分。适用前提是URL前缀与模板不重合，例如同一目录下混有列表页和详情页。此时按“来自列表页的链接”“来自详情页的链接”“仅来自站点地图”重新分组，比按目录分组更能暴露差异。改写分组后，如果站点地图组几乎全部未被抓取，而正文链接组大部分被抓取，说明发现路径的差异比目录结构更关键。
退出当前对照，先处理更基础的条件。适用前提是两组页面在日志中都无法区分，或抓取记录稀少到无法形成稳定比较。此时继续划分对照组只会得到噪声。更合理的动作是先确认这些URL是否被robots.txt限制、是否返回非200状态、是否被规范标签指向其他页面。robots.txt的抓取限制不等于可靠的索引移除，但它会直接改变日志中的访问记录，必须先排除。
用一组可区分原因的证据缩小范围
划分对照组后，需要证据来判断差异是发现路径造成的，还是页面自身条件造成的。以下三类证据可以区分常见原因：
- 入口证据：统计两组页面各自获得多少来自站内其他页面的可抓取链接。如果未发现组普遍为零或仅来自站点地图，而模板和层级与已发现组接近，发现路径是主要嫌疑。
- 状态证据：检查两组URL的HTTP状态码和规范标签。若未发现组大量返回重定向或规范到其他URL，抓取工具可能已将其视为另一页面的变体，日志中自然不会单独出现。
- 更新证据：比较两组页面的内容更新频率。若未发现组长期无变化，而抓取工具对已发现组持续重访，说明差异可能来自页面价值判断，而非从未发现。
这三类证据不需要同时成立。只要入口证据显示两组差异明显，而状态和更新证据接近，就可以把发现路径作为优先验证方向。反之，若状态证据显示未发现组大量异常，应先处理状态问题，再重新划分对照组。
一个注明假设的短例子
假设某站点有2000个详情页，其中1200个在七天日志中有抓取记录，800个没有。按URL前缀划分后，两组都包含列表页和详情页，无法区分。改为按入口来源划分：来自正文链接的页面有1100个被抓取，仅来自站点地图的页面有700个未被抓取，剩余200个混合来源。
此时保留“仅站点地图”和“正文链接”两组，检查它们的模板和层级。如果模板相同、层级相近，唯一差异是入口来源，那么下一步动作是给未发现组增加来自相关正文页的链接，并在后续日志窗口中观察这组URL是否开始出现抓取记录。若增加链接后仍未出现，再检查这些URL是否被规范标签或robots.txt限制。站点地图不保证收录，因此不能把“已提交站点地图”当作已发现组的划分依据。
这个例子的数字仅用于说明比较方法，不代表任何真实站点的抓取比例。关键不是数字本身，而是划分后能否让两组只在一个变量上不同。
划分完成后，怎样判断该保留还是退出
对照组划分是否有效，可以用一个简单标准检验：两组在除目标变量外的其他特征上是否足够接近。如果已发现组全是浅层页面、未发现组全是深层页面，那么层级和入口两个变量混在一起，无法判断哪个在起作用。
此时有两个选择。一是保留分组，但在每组内再按层级配对，只比较同层级下的入口差异。二是退出当前划分，先统一层级再重新分组。选择哪一种，取决于你能否找到足够多的同层级配对样本。若同层级样本太少，配对后每组不足几十个URL，比较结果不稳定，应退出并先扩大观察范围或延长日志窗口。
无论选择哪种，下一步都应把划分依据写下来：时间窗、分组变量、排除条件。这样在后续日志中重复同一划分时，才能判断抓取记录的变化是来自处理动作，还是来自时间窗或分组方式的改变。
