抓取您的网站并修复它们。 索引和爬行 1）检查处罚。 ，所以我们可以继续前进。在尝试挑剔其他问题之前，您应该花 2 秒进行检查。 我是怎么做到的？ Google 搜索查询确切的主页 URL 和品牌名称。如果它没有出现，您需要进一步调查。
我总是这样做以便了解开发人
员在 SEO 方面的清晰程度，并更深入地了解网站。你不会详细检查这些标签，除非 亚洲手机号码清单 你有理由（例如，应该排名的页面没有被排名） 我将合并这一部分，因为它需要的不仅仅是快速浏览，尤其是在较大的网站上。
首先也是最重要的是检查
robots.txt 并查看一些被阻止的目录，尝试确定它们被阻止的原因以及哪些机器人正在 为了帮助您永不满足 阻止它们。接下来，让 Screaming Frog 加入进来，因为它的内部爬网报告将自动检查每个 URL 的元数据（noindex、标头级别 nofollow 和 follow），并为您提供规范的 URL（如果有）。
如果您要抽查某个网站
您应该做的第一件事就是了解正在使用哪些标签以及它们使用这些标签的原因。 以Webrevolve为例，他们选择NOINDEX，FOLLOW他们所有的博客作者页面。 这是一个猜测，但我认为这些页面不会增加太多价值，并且通常在搜索结果中不可见。
如果这些是有价值的
流量驱动的页面，我会建议他们删除 NOINDEX，但在这种情况下，我相信他们做出 消費者數據 了正确的选择。 他们还实现了自服务的规范标签（是的，我刚刚编造的），基本上每个页面都会有一个指向自身的规范标签。我通常对这种做法没有问题，因为它通常使开发人员更容易。
示例：页面数与排名的页面数 我们
真正想知道的是 Google 索引了多少页面。有两种方法可以做到这一点，通过使用 Google 网站管理员工具提交站点地图，您将获得有关实际索引的 URL 数量的统计信息。
或者您可以在没有访问权限的情况下完成此操作，但效率要低得多。这就是我要检查的方式… 运行尖叫青蛙爬行（确保遵守 robots.txt） 做一个网站：查询 获取“几乎总是准确的”结果数量，并将其与爬网中的总页数进行比较。 如果数字不接近，例如 CVCSports（206 个索引页面 vs. 469 个），您可能需要进一步研究。
我现在可以告诉你，CVCSports 有 206 个页面（不包括被 robots.txt 屏蔽的页面）。只要做得这么快，我就能看出有些可疑的事情正在发生，我需要更深入地观察。 言归正传，CVCsports 在导致此问题的子域上拥有该域的多个副本。