我已经发布了一个网站,由于不取决于我的误解,我不得不在索引之前屏蔽所有页面。这些页面中的某些页面已经在社交网络上链接了,因此为了避免不良的用户体验,我决定将以下代码插入“ robots.txt”中
User-agent: *
Disallow: *
我在网站管理员工具上收到了“严重问题”警报,对此我有点担心。以您的经验,只要有可能,还原原始的“ robots.txt”就足够了吗?如果持续很长时间(如果确实如此,我该如何解决),当前情况可能会在网站上留下后果(罚款或类似内容)?很抱歉,这个问题听起来有点笼统,但是我找不到特定的答案。提前致谢。
发生“严重问题”是因为Google无法使用robots.txt配置为您网站上的页面编制索引。如果您仍在开发网站,则具有此robots.txt配置是标准过程。网站站长工具将您的网站视为正在生产中,但是听起来您仍在开发中,因此在这种情况下,这是一个错误肯定的错误消息。
拥有robots.txt配置不会对搜索引擎排名产生长期的负面影响,但是搜索引擎能够访问您的网站的时间越长,排名就会越好。对于Google来说,大约3个月的稳定爬网将为它赢得某种可信赖的地位。因此,它的确取决于域名,以及该域名先前是否已被Google索引以及使用了多长时间,但是至多仍然没有长期的后果,您最多还需要等待3个月才能“赢得Google的信任” “ 再次。
大多数社交网络会在用户共享时读取robots.txt文件,另一方面,搜索引擎的索引编制速度会有所不同,从几小时到几周不等的时间即可检测到robots.txt文件中的更改并更新索引。
希望能对您有所帮助,如果您可以提供有关您所处情况的更多详细信息,我可能会进一步提供帮助,但这至少可以回答您的问题。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句