影响谷歌抓取网页频率的因素有哪些？优化抓取预算有这几个妙招

优化电商网站的抓取预算，可能会影响谷歌的网络爬虫访问制定页面的频率，这也意味着更新内容会更快地出现在谷歌搜索结果中。对于谷歌来说，抓取预算也就是该公司的搜索引擎爬虫Googlebot能够并想要抓取的指定站点上的页面数量。Googlebot在业内也称为谷歌机器人或探测器，被用来抓取网站内容，然后再将其编入到索引数据库中。

需要注意的是，Googlebot抓取网站页面的频率并不影响该页面在指定搜索查询中的排名。但优化抓取预算可能会引导Googlebot发现网站上较为重要的内容。反过来，这可能会影响其中一些页面的排名，尤其是在没有索引的情况下。

2017年，谷歌的研究人员Gary Illyes描述了谷歌是如何决定一个指定网站的抓取预算的，即包含三个部分：抓取限制、抓取需求和其他因素。

抓取限制——为了不降低用户访问网站的体验，谷歌限制了指定网站的最大抓取频率，如果有迹象表明Googlebot正在影响网站的性能，它就会放慢抓取速度，减少访问网站页面的频率。这可能意味着有些页面根本没有索引，相反，如果Googlebot得到服务器的快速响应，它可能会增加访问的频率和强度。

抓取需求——即使抓取速度没有受到限制，如果没有索引的需求，Googlebot的活跃程度也会降低。索引需求可以采取两种形式，对于流行的网站而言，谷歌会想要确保它已经索引到了最新的内容。

其次，谷歌不希望索引陈旧。因此如果Googlebot访问一个站点已经有一段时间了，即使它不受欢迎，也会有相对较大的抓取需求。

其他因素——内容质量和网站结构也很重要。建议避免低质量的内容、某些类型的分面导航、重复或类似的内容。低质量的页面将会消耗抓取预算的很大一部分，这将抢占网站上的有价值的页面抓取活动。

如何优化抓取预算？

用于优化抓取预算的方法也有助于搜索引擎的优化。以下是五个技巧，可以帮助你的电商网站优化爬行预算。即使你的网站没有抓取预算问题，这些方法也同样有利于SEO。

1、优先考虑Googlebot抓取的内容。让Googlebot屏蔽网站的部分内容，例如一些政策页面、感谢页面、广告着陆页等等。反之，尽可能的增加包含在谷歌索引中的产品页面数量。因此，使用robots.txt和nofollow指令可能对爬行预算优化大有帮助。

2、确保拥有一个优秀的网站地图。网站地图是谷歌发现URL的主要方式之一。虽然不能保证谷歌会抓取或索引指定的页面，但是网站地图可以为你提供帮助。你的网站地图应该是一致的，对于大型网站而言则应该是动态的。

3、减少错误和重定向链。当Googlebot访问网站上的一个页面时，会收到一个状态码200（意思是一切正常）或者一个永久重定向码301。但是要确保一个重定向不会导致链中的另一个重定向。

4、提高网站性能。如果谷歌机器人密集地抓取服务器，则说明其效率正在下降，那么它的速度就会减慢，在这种情况下，在指定时间内抓取的URL数量肯定会减少，因此提高网站性能与爬行预算优化密不可分。

5、保持更新。应该定期更新和整理，为产品细节页面、博客文章和陈旧的内容增加新内容。

（编译/雨果网 宋淑湲）

【特别声明】未经许可同意，任何个人或组织不得复制、转载、或以其他方式使用本网站内容。转载请联系：editor@cifnews.com