📍 WDQWDWQD987AAAAA:216.73.217.123
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /063d59b0d010.html
📄

重复内容处理 - 怎样收集内容所需的证据

处理重复内容前，先要收集能证明“哪些页面相似、相似到什么程度、哪个版本应保留”的证据。最直接的做法是：把候选页面正文抓取下来，逐段比对文字重合比例，再结合规范标签、收录状态和内部链接指向，形成一份可复核的判断记录。证据不足时不要急着删除或合并，否则可能误伤本来有独立价值的页面。

假设例子：三个页面疑似重复，先收集什么

假设某站点有三个页面都在讲同一款产品的安装方法，分别由不同编辑在不同时间发布。此时不要先下结论，按下面顺序收集证据。

1. 抓取三个页面的正文，去掉导航、页脚、广告等公共部分，只保留主体内容。
2. 把正文按段落切分，标记完全相同的段落、只改了几个词的段落、以及独有段落。
3. 记录每个页面的标题、H1、规范标签指向、发布时间和最近修改时间。
4. 查三个页面是否都被搜索引擎收录，以及站内有哪些链接分别指向它们。

完成这一步后，通常会看到两种情况：一种是正文高度重合、独有内容极少，适合合并或保留一个版本；另一种是主体相似但各自包含独有的参数表、图示或适用条件，这时更合理的做法是保留并互相区分，而不是直接删除。

文字重合比例怎么算才可用

不必追求某个固定百分比阈值，因为不同内容类型差异很大。可执行的方法是：先按段落统计完全相同的段落数，再统计仅做同义词替换的段落数，最后看独有段落占比。

• 完全相同段落占比高，且独有段落几乎没有：重复风险高，优先考虑合并。
• 同义改写段落多，但独有信息少：这类改写通常不产生新价值，仍按重复处理。
• 独有段落占比明显，且能回答不同搜索意图：保留，并通过标题和内链区分。

常见错误是把“改了几个词”当成原创。机械换写不改变信息本身，读者和检索系统看到的仍是同一份内容，证据上应归入重复一侧。

除了正文，还要收集哪些页面级证据

正文相似只是判断的一部分，页面级信号同样关键。

• 规范标签：检查每个页面的规范标签指向自己还是指向别的页面，指向不一致会直接影响保留决策。
• 收录状态：确认哪些页面已被收录，未被收录的页面在合并时处理方式不同。
• 内部链接：统计站内有多少链接指向每个版本，链接集中的版本通常更适合作为保留目标。
• 外部引用：如果有其他站点链接到某个版本，删除该版本会造成链接失效，需要先做跳转。

这些证据要放在同一张表里对照，而不是只看正文相似度就下结论。

两种处理方案的比较与适用条件

收集完证据后，常见选择是“合并并设置跳转”与“保留多个版本并做区分”。

• 合并并跳转：适用于正文高度重合、独有信息少、且其中一个版本已有收录和链接的情况。执行时把其他版本的内容中有价值的部分并入保留版本，再设置跳转。
• 保留并区分：适用于各版本有独立适用条件、独立数据或面向不同地区与场景的情况。执行时改写标题和开头，明确各自适用范围，并用内链互相指向。

判断结果取决于独有信息量，而不是页面数量。若两个版本只是措辞不同，合并更稳妥；若删掉任一版本都会让读者丢失必要信息，就应保留并区分。

可执行的检查清单

1. 导出候选页面的正文纯文本，去掉公共模板部分。
2. 逐段标记相同、改写、独有三类，算出各自段落数。
3. 记录每个页面的规范标签、收录状态、内链数量和外部引用。
4. 根据独有信息量选择合并或保留，并写下选择理由。
5. 处理完成后复查跳转是否生效、保留页面是否仍能回答原搜索意图。

下一步可以任选一组疑似重复页面，按上面的清单跑一遍，先只收集证据、不做修改，等对照表完成后再决定处理方案。