Google Search Console “为什么页面没有被索引” 常见原因

​Google Search Console 的“页面索引报告”是帮助网站管理员了解网站在 Google 搜索结果中表现的重要工具。而许多网站管理员会发现，有些页面明明已经创建，却始终无法被 Google 索引，或者多次使用“验证工具”都无法解决该问题，这篇指南整理了中文搜索社区常见“网页未被编入索引”的原因，帮助网站管理员进一步了解产生错误的原因。

Why pages aren't index

网站管理者可以通过“Google Search Console – 索引 – 网页索引”查看报告，里面则会列出每一条未被 Google 编入索引的 URLs，该板块列出了5个细分维度，分别是：
  1. 原因 – 某个网址无法编入索引的原因。
  2. 来源 – 表格中的来源值会显示问题的来源是 Google 还是网站。
  3. 验证 – 站长是否已请求验证此问题的修正效果。
  4. 趋势 – 影响网址的增幅情况。
  5. 页面数 – 影响网址的具体数量

​这里需要重点讲解第2和3点，有时候显示的问题来源是 Google，不一定代表就是你无法解决的，例如“已抓取 – 当前未编入索引”和“已发现 – 目前未编入索引”也是站长们可以优化，这部分在下面的内容会介绍，而第三点，许多站长们都会直接点击“验证”按钮，但过段时间会发现，未索引的页面数并没减少（变化），这个功能需要谨慎使用，不要滥用导致 Google 不信任你的“调整”。接下来是我整理的 GSC 常见未被编入索引的原因：

已发现 – 目前未编入索引（Discovered – currently not indexed）

Google 已发现相应网页，但尚未抓取该网页。这通常意味着，Google 想要抓取该网址，但这样预计会导致网站过载；因此，Google 重新安排了抓取时间。这就是该网页的上次抓取日期在报告中为空的原因。——Google 官方解释
这表示，
  1. Google 发现了该页面；
  2. 但该页面可能存在一些问题，现已经在队列中，Google决定重新安排时间抓取；

 

已抓取 – 当前未编入索引（Crawled – currently not indexed）

Google 已抓取相应网页，但尚未将其编入索引。日后，该网页可能会被编入索引，也可能不会被编入索引；无论如何，您都无需重新提交该网址以供抓取。——Google 官方解释
这表示，
  1. Google 可以访问该页面;
  2. Google 花了一些时间来抓取页面;
  3. 爬取后，Google 决定不将其纳入索引;
导致上述的两种原因可能有，
  • 抓取优先级
  • 服务器性能
  • 网站架构设置
  • 网页内容价值
针对上述两种情况，网站管理者可以尝试，
  1. 内容质量问题——确保每个页面都包含唯一的内容。常见的低质量的页面有以下类型：过时的内容（如旧新闻文章），由网站内的搜索框生成的页面，通过应用过滤器生成的页面，重复内容，自动生成的内容，用户生成内容。最好通过Robots阻止此类页面。
  2. 内部链接问题——Googlebot 会跟踪您网站上的内部链接以发现其他页面并了解它们之间的联系。因此，请确保您最重要的页面经常在内部链接。
  3. 抓取预算——这种情况会出现在大型网站中，当页面数量超过百万，网站存在技术问题，容易造成抓取预算不足或浪费，常见抓取预算的问题有：低质量的内容， 内部链接结构差，实施重定向的错误，服务器超载等。
  4. 网站内部——确保提交给Google的XML站点地图中只有规范版本。
  5. 抓取优先级——给 Google 一些时间处理，因为有些页面可能只是在等待抓取。

 

重复网页 – Google 选择的规范网页与用户指定的不同（Duplicate, Google chose different canonical than user）

相应网页被标记为一组网页的规范网页，但 Google 认为另一网址更适合作为规范网页。Google 已将其认为是规范网页的那个网页（而非该网页）编入索引。——Google 官方解释
这表示，
  1. Google 在你的网站上发现了两个或多个相同或非常相似的网页；
  2. Google 抓取时发现了该网页的Canonical标签；
  3. Google 认为另一个网页更适合规范网页（系统评估）；
  4. Google 忽视了该网页的规范标签，并决定不索引它；
导致上述的原因可能有，
  • 网站出现对重复内容的指向信号（强烈）

 

重复网页 – 用户未选定规范网页（Duplicate without user-selected canonical）

相应网页与其他网页重复，但并未指明首选的规范网页。Google 已选择另一网页作为该网页的规范网页，因此该网页不会在 Google 搜索中显示。——Google 官方解释
这表示，
  1. Google 在你的网站上发现了两个或多个相同或非常相似的网页；
  2. Google 抓取时在页面上未发现canonical标签；
  3. Google 认为另一个网页更适合规范网页（系统评估）；
  4. Google 决定不索引该页面；
导致上述的原因可能有，
  • 多个重复/相似内容网页没有实施规范化
针对上述两种情况，网站管理者可以尝试，
  1. 确保rel=”canonical”链接仅在核心页面上实施；
  2. 增强网站核心页面内部信号（站点地图/内部链接）；

 

网页会自动重定向（Page with redirect）

这是一个会重定向到另一网页的非规范网址。所以，该网址不会被编入索引。——Google 官方解释
这表示，
  1. Google抓取该网页时已被重定向至新页面；
  2. Google决定不索引该页面；
导致上述的原因可能有，
  • 网站的链接结构调整
  • 页面调整（例如产品下架，旧内容移除）
针对上述情况，网站管理者可以尝试，
  1. 检查这部分URL是否是正确/错误设置为重定向；
  • 是 – 保留它；
  • 不是 – 分析为何这部分页面会被设置为重定向，重定向逻辑制定错误？CMS内部错误？若查不到详细原因，可在文章中留下评论 或在 中文搜索社区进行提问。

 

已编入索引，尽管遭到 robots.txt 屏蔽（Indexed, though blocked by robots.txt）

该网页虽尽管遭到网站的 robots.txt 文件屏蔽，但已被编入索引。Google 始终都会遵从 robots.txt 中的规则，但如果有其他网页链接到该网页，这并不一定能够阻止该网页被编入索引。Google 不会请求和抓取该网页，但我们仍然可以使用与被屏蔽的网页关联的网页中的信息，将该网页编入索引。由于存在 robots.txt 规则，Google 搜索结果中显示的任何与该网页相关的摘要可能会非常有限。——Google 官方解释
这表示，
  1. Google从其他网页跟随并访问了该网页；
  2. Google评估该网页满足索引标准，决定索引该网页；
  3. 该网页在SERPs中显示非常有限；
导致上述的原因可能有，
  • 内部/外部有存在指向该链接的信号
针对上述的情况，网站管理者可以尝试，
  1. 评估这部分 URL 是否真的应该被编入索引；
  • 页面需要被索引 – 删除阻止抓取 URL 的 Disallow 指令；
  • 页面不需要索引 – 不应使用 Robots.txt 来控制索引，请改用noindex 标记。

 

网址已被 robots.txt 屏蔽（Blocked by robots.txt）

此网页被网站的 robots.txt 文件屏蔽了。——Google 官方解释
这表示，
  1. Google遵循了该网站的robots设置；
  2. Google无法正常访问该网页；
导致上述的原因可能有，
  • robots.txt 中的 Disallow 指令阻止了该网址
针对上述的情况，网站管理者可以尝试，
  1. 检查 robots 的 disallow 指令是有意还是错误地添加
  • 有意的 – 保留它；
  • 无意的 – 删除阻止抓取给定页面的 Disallow 指令。

 

Blocked due to access forbidden (403)（ 由于禁止访问 (403) 而被屏蔽）

HTTP 403 表示用户代理提供凭据，但未被授予访问权限。不过，Googlebot 从未提供凭据，因此您的服务器错误地返回此错误。该网页不会被编入索引。——Google 官方解释
这表示，
  1. Google尝试抓取访问该网页；
  2. 由于网站服务器设置，拒绝了 Google 的访问请求；
导致上述的原因可能有，
  • 网站服务器错误设置
针对上述的情况，网站管理者可以尝试，
  1. 联系主机服务商进行协助处理；
  2. 检查.htaccess 文件；
回到前面所说的，只有经过上述的调整后，网站管理者才可以在 GSC 中 点击“验证”按钮，而不是滥用该功能。以上是常见未被编入索引的情况，若没有列出的，可以参考 Google 官方文档

 

发表评论

您的电子邮箱地址不会被公开。 必填项已用 * 标注