最好的情况是其中一些也可能被索引。 问题是，完全没有内部或外部链接的页面实际上永远不会对任何重要的事情进行排名。然后，让它们被抓取并不存在什么骗局。 使用 XML 站点地图可能还有许多其他充分的理由，但此时最重要的一点是，您不能用 XML 站点地图替换网站上正确的、基于文本的链接导航！ 谷歌爬虫现在带有移动代理 您可能已经听说过谣言谷歌以“移动优先索引”的名义重新组织了他们的抓取。 此前，谷歌的抓取是基于桌面代理的——然后在索引中使用它。 从现在开始，大多数爬行将通过智能手机代理完成，因此移动用户获取的内容将用于索引。
因此他们看到桌面计算机用户会看到什么
这意味着在实践中，您的网站针对移动设备进行良好优化现在比以往任何时候都更加重要。因为 Google 通过移动代理看到的内容构成了索引的基础。 因此，如果您选 美国 Whatsapp 号码 择向移动用户显示较少的内容，那么需要索引的内容也会较少，需要排名的内容也会较少。 抓取预算并不像许多人想象的那么重要 您可能已经听说过“抓取预算”这个词，但如果没有，让我简单解释一下。 Google 没有无限数量的资源，因此会尽力节省爬行时间，以免爬行超出对他们及其用户有利的范围。 这意味着您无法完全确定 Google 是否抓取了您网站上的所有页面以及它们出现和更新的频率。
如果您的网站非常大
但实际上，它对于绝大多数网站来说意义不大。如果您的网站页面少于100万个，您完全不必担心。即使它更大一点，也很少会引起问题。 但是，拥有数百万个页面 菲律宾电话号码列表 那么肯定有理由应对抓取预算挑战。 但是尽管谷歌的爬行资源有限，但他们实际上可以处理非常大的网站的爬行。我曾与客户合作过，他们已经对数亿页进行了索引。对于一些客户，我们体验到了高达每秒 250 页的抓取速度！ 因此，如果您的网站“仅”有 5-10,000 个页面，Google 可以在不到 1 分钟的时间内处理完整的抓取！ 但正如我所说，谷歌优先考虑他们的抓取。
