网站上重复或相似的内容会使人工智能搜索引擎难以解读您的意图信号。
重复内容会降低您在人工智能搜索中的曝光率。微软的 Fabrice Canel 和 Krishna Madhavan解释说，当内容重复时，人工智能系统难以解读信号，这会降低“正确版本被选中或被概括的可能性”。
这与重复或近似重复的内容如何影响传统搜索排名的情况类似。Bing 和 Google 的 AI 搜索依赖于相同的底层信号，因此重复内容会模糊用户意图，并造成用户对哪个版本更重要的困惑。
重复内容与人工智能搜索的问题。以下是必应博客文章中的一些要点，解释了为什么重复或非常相似的内容会导致这些内容在人工智能搜索结果中显示出现问题：
- AI 搜索建立在支持传统 SEO 的相同信号之上，但增加了额外的层次，尤其是在满足用户意图方面。
- 当多个页面重复相同的信息时，人工智能系统就更难解读这些意图信号，从而降低了选择或总结正确版本的可能性。
- 当多个页面以相似的措辞、结构和元数据涵盖同一主题时，人工智能系统难以判断哪个版本最符合用户的意图。这会降低您偏好的页面被选为权威参考资料的概率。
- LLM（链接长度模型）会将近似重复的 URL 归为一类，然后选择一个页面来代表该类 URL。如果页面之间的差异很小，模型可能会选择过时的版本，或者选择并非您想要突出显示的版本。
- 营销活动页面、受众群体细分和本地化版本可以满足不同的用户意图，但前提是这些差异具有实际意义。如果不同版本重复使用相同的内容，模型就缺乏足够的信号来将每个页面与用户的独特需求相匹配。
- 人工智能系统偏爱新鲜、及时的内容，但重复内容会减缓信息更新的速度。当网络爬虫访问重复或低价值的URL而非更新后的页面时，新信息可能需要更长时间才能到达支持人工智能摘要和比较的系统。更清晰的意图有助于模型理解应该信任哪个版本并将其呈现，从而增强人工智能的可见性。
内容分发。很多人没有意识到，内容分发——即你发布在自己网站上并允许他人转载的内容——也会带来问题。至少按照微软的定义，内容分发属于重复内容。
- 微软写道：“当你的文章在其他网站上转载时，不同域名之间可能会存在完全相同的副本，这使得搜索引擎和人工智能系统更难识别原始来源。”
如何减少重复内容？对于联合发布的内容，您可以尝试要求联合发布合作伙伴：
- 将他们网站上发布的内容的规范标签添加到您网站上的原始版本中
- 你可以要求他们修改内容，使其不要太相似。
- 你可以要求他们将该内容设置为 noindex，这样搜索引擎就抓取不到它了。
微软还指出，“当多个版本的营销活动页面针对同一目标，且仅在标题、图片或受众信息等细微之处有所不同时，这些页面就可能变成重复内容。” 因此，您需要格外注意内部网站的页面组织结构和 URL 结构。
- 选择一个主要活动页面来收集链接和互动数据。
- 对于不代表明确搜索意图的变体，请使用规范标签。
- 仅当意图发生明显变化时才保留单独的页面，例如季节性优惠、本地化定价或以比较为中心的内容。
- 合并或 301 重定向不再具有独特用途的旧版或冗余的营销活动页面。
本地化页面。是的，本地化也可能导致内容重复。如果多个页面内容相同，只是城市或地点不同，它们就过于相似，可能会引发问题。
- 微软写道：“当区域或语言页面几乎相同，并且没有为每个市场的用户提供有意义的差异时，本地化就会产生重复内容。”
为了解决这个问题，微软建议：
- 通过有意义的更改进行本地化，例如术语、示例、法规或产品详情。
- 避免使用同一种语言创建多个用途相同的页面。
- 使用 hreflang 定义语言和区域目标
其他技术性SEO问题。技术问题也可能导致重复内容。同一个页面可能会出现多个URL，从而分散搜索信号。搜索引擎通常可以解决这个问题，但你不应该完全依赖它们。
确保每条内容都有清晰的 URL，从而掌控局面。常见原因包括 URL 参数、HTTP 与 HTTPS 版本、URL 大小写、末尾斜杠、打印友好页面、测试或暂存站点以及类似变体。
为了解决这个问题，微软建议：
- 使用 301 重定向将各种变体合并为一个首选 URL。
- 当需要保持多个版本均可访问时，请使用规范标签。
- 在全站范围内强制执行一致的URL结构。
- 阻止抓取或索引暂存或存档 URL。
我们为何关注这个问题？重复内容在搜索引擎优化（SEO）中并非新话题，而且这个问题会从传统搜索延续到人工智能搜索。许多人都有处理重复或几乎相同内容的经验，也深知这会对索引和排名产生负面影响。