阻止 Googlebot 访问网站的特定部分

[rUparaHmaN012]

您无法阻止Google抓取HTML 页面的某些部分。有两种可能的策略可以解决这个问题，但是，它们都不能提供该问题的最佳解决方案。

第一种方法是使用data-nosnippet HTML属性，它可以防 科特迪瓦 电话号码 止文本显示在搜索片段中。第二种选择是使用iframe或 JavaScript，其来源被 robots.txt 阻止。然而，这两种方法都有各自的缺陷。使用机器人化的 iframe 或 JavaScript 文件可能会导致难以诊断和解决的抓取和索引问题。

更改 Googlebot 抓取网站的速度
如果 Google 向您的网站发送过多请求，可能会降低您的服务器速度。在这种情况下，您可以限制Googlebot 抓取您网站的速度。您可以对根级站点执行此操作。要设置速度，请使用浏览速度设置页面，您可以在其中限制速度。
以在不降低用户体验
您的网站有多重要？
如果您运营一个大型新闻网站，并且不断更新搜索引擎用户想要了解的内容，那么您的网站将会被频繁抓取（我敢说是不断地）。

如果您经营一家小餐馆，只有几十个链接，每季度更改一次菜单，并且在此背景下不被 Google 认为重要（您可能是该地区一家知名餐馆，但从抓取预算来看您并不重要），那么预算就会很低。

当您的网站因 Googlebot 过度抓取而面临可访问性问题时，您可以使用 robots.txt 文件来紧急阻止抓取。但是，您不应长时间阻止访问该网站，否则可能会对您的浏览体验产生负面影响。还需要记住的是，更改可能需要长达 24 小时才能生效。然后在抓取速度设置页面调整抓取速度，几天后，当 Google 调整速度时，你就可以再次从 robots.txt 文件中删除该阻止。