编辑：这有所不同。您可能遇到复杂的问题，也可能像使用规范、noindex 或 301 重定向一样简单。不要试图通过 robots.txt 阻止不需要的页面，因为这不会从索引中删除页面，而只会阻止这些页面被抓取。 重复的内容和页面搜索引个游戏规则的改变者，它对一些网站造成了巨大的损害。
如果我提供一般性建议
我会说首先使用干净链接 – 根据网站的复杂性，您可能会考虑 301、规范标签 欧洲手机号码列表 甚至 NOINDEX。不管怎样，先摆脱他们吧！ 我是怎么找到它的？ Screaming Frog > 内部爬行 > 哈希标签列 基本上，Screaming Frog 将根据源代码创建一个唯一的十六进制数字。
如果您有匹配的哈希标签
则您有重复的源代码（完全相同的重复内容）。准备好爬网后，请使用 Excel 将其过滤掉（此处包含完整说明）。 2) 重复的文本内容 在多个页面上使用相同的文本不应构成犯罪，但在 Panda 上发布后最好完全避免这种情况。我不想在这里失望，但没有确切的科学来查找重复的文本内容。
或者便宜一点把它贴在图像上
也可以。 我是怎么找到它的？我使用了 http://www.copyscape.com，但您也可以将文本复制 它可以是个人叙述 并粘贴到 Google 搜索中 3）分页导致的重复 第 1 页、第 2 页、第 3 页…您明白了。随着时间的推移，由于这些漂亮的页面链接，网站可能会积累数千甚至数百万的重复页面。
修复：一般建议是使用 N
OINDEX、FOLLOW 指令。 （这告诉Google不要将此页面添加到索引中，而是抓取该页面）。另一种方法可能是使用规范标签，但这一切都取决于分页存在的原因。例如，如果您有一个分为 3 页的故事，您肯定希望将它们全部编入索引。
然而这些示例页面非常薄
并且“可能”被 Google 视为低质量。 我是怎么找到它的？ Screaming Frog > 内部链接 > 检查分页参数 消費者數據 打开页面，您将快速确定它们是否是自动生成的薄页面。一旦您知道了 URL 的分页参数或结构，您就可以像这样检查 Google 的索引：site:example.com inurl:page= 时间到了！我想做的事情有很多，但我对 1 小时的时间限制很严格。
非常感谢勇敢的志愿者为这篇文
章提出了他们的网站。有一个网站没有晋级，主要是因为他们在技术上做得很好，而且，嗯，我没有发现任何技术故障。 是时候让社区向我开枪了！ 我做得怎么样 我可以做得更好吗？ 有什么我忘记的超级棒的工具吗？ 对于志愿者网站还有其他建议吗？ 感谢您的阅读，如果您想聊天并分享您的秘密，可以通过 Twitter @dsottimano 与我联系；） 斯蒂芬妮·张 作者：斯蒂芬妮·张 2012 年 2 月 6 日 阅读时间 5 分钟 构建技术 SEO 流程 搜索引擎优化技术 作者的观点完全是他自己的观点（除了不太可能发生的催眠事件），并且可能并不总是反映穆斯的观点。