查看主页的源代码

[fomayof928@mowline]

最后，让我们确保我没有任何明显的抓取错误。转到“抓取 > 抓取错误”，您应该会看到如下概述： 我收到了两个“未找到”（404）错误，但这其实并不糟糕。我有点担心我最初的 WordPress“Hello World”帖子会弹出来，所以让我们点击它： “错误详细信息”在这里不是特别有用，所以我将直接转到“链接自”并查看损坏的 URL 是否在页面上（非问题）和主页上。



这个链接现在已经消失了。因此，Google 抓取该网站的速度有点太快了，应该自行处理该问题。 （3）Moz分析 虽然 Google 网站管理员工具中有很多有用的信息，但只从一个角度（尤其是 Google 的角度）获取故事可能会有缺点。



让我们在 Moz Analytics 中查找抓取问题，从“搜索 > 抓取诊 丹麦号码数据 断”开始。在页面底部，我发现了以下摘要： 问题按优先级从高到低（从左到右）排序，但这次我的任务非常简单。



我遇到了 38 次“缺少元描述标签”错误。这不仅是因为错误而出现的问题，还因为我真的不希望抓取网站的 38 个页面。因此让我们深入研究并查看几个示例页面... 对该网站进行快速抽查后发现，这些页面实际上没有自定义元描述。



虽然现在这不是一个主要任务，但我很快就会将它们添加到我的主页上。 至于抓取的 38 个页面，似乎 Moz Analytics 正在抓取我的评论/回复页面。查看源代码，这些页面上有两个元机器人指令和一个 rel=canonical 标签，这可能会给爬虫程序带来一些麻烦。



这可能不是一个大问题，但让我们通过在评论/回复 URL 参数上使用带有“inurl:”的“site:”运算符来确保 Google 不会索引这些页面。在 Google 中输入以下内容... …未找到文档结果。