删除后,可能会禁止robots.txt上的整个网站产生后果吗?

乔治

我已经发布了一个网站,由于不取决于我的误解,我不得不在索引之前屏蔽所有页面。这些页面中的某些页面已经在社交网络上链接了,因此为了避免不良的用户体验,我决定将以下代码插入“ robots.txt”中

User-agent: *
Disallow: *

我在网站管理员工具上收到了“严重问题”警报,对此我有点担心。以您的经验,只要有可能,还原原始的“ robots.txt”就足够了吗?如果持续很长时间(如果确实如此,我该如何解决),当前情况可能会在网站上留下后果(罚款或类似内容)?很抱歉,这个问题听起来有点笼统,但是我找不到特定的答案。提前致谢。

tpbapp

发生“严重问题”是因为Google无法使用robots.txt配置为您网站上的页面编制索引。如果您仍在开发网站,则具有此robots.txt配置是标准过程。网站站长工具将您的网站视为正在生产中,但是听起来您仍在开发中,因此在这种情况下,这是一个错误肯定的错误消息。

拥有robots.txt配置不会对搜索引擎排名产生长期的负面影响,但是搜索引擎能够访问您的网站的时间越长,排名就会越好。对于Google来说,大约3个月的稳定爬网将为它赢得某种可信赖的地位。因此,它的确取决于域名,以及该域名先前是否已被Google索引以及使用了多长时间,但是至多仍然没有长期的后果,您最多还需要等待3个月才能“赢得Google的信任” “ 再次。

大多数社交网络会在用户共享时读取robots.txt文件,另一方面,搜索引擎的索引编制速度会有所不同,从几小时到几周不等的时间即可检测到robots.txt文件中的更改并更新索引。

希望能对您有所帮助,如果您可以提供有关您所处情况的更多详细信息,我可能会进一步提供帮助,但这至少可以回答您的问题。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

使用备用GCC版本编译内核可能会产生什么后果?

可能会产生BigInteger值冲突?

findViewById()可能会产生NullPointerException

在MSVC中压缩后可能会损坏数据吗?(C ++)

http可能会损坏下载吗?

鼠标可能会影响光标吗?

可能会递归使用Component吗?

宏可能会损坏文件吗?

IntelliJ - 模块 xx 从 Maven 导入。重新导入后,对其配置所做的任何更改可能会丢失吗?

Android抽屉布局可能会产生空指针异常

警告:方法调用 getAssets 可能会产生 nullpointerexception

方法调用可能会产生NullPointerException异常改造身体

springboot拆箱redisTemplate。可能会产生NullPointerException

取消引用可能会产生“ java.lang.NullPointerException”

方法调用可能会产生java NullpointerException

方法调用“ toString”可能会产生“ java.lang.NullPointerException”吗?

保留旧内核的安装可能会很危险吗?

TcpClient可能会读取其本身写的内容吗?

MySQL触发器可能会自动失败吗?

事务备份可能会导致操作死锁等吗?

禁止Javac警告“ ...是内部专有API,在将来的版本中可能会删除”

在内置坞站中交换 HDD 会产生不良后果吗?

我有一个方法调用'simpleEditText.getText()'可能会产生'java.lang.NullPointerException'错误,并希望将其删除

在表上引入FOREIGN KEY约束可能会导致循环或多个级联路径,即使在完全删除受影响的字段之后也是如此

可能的电源浪涌问题:可能会导致UI问题吗?

Robots.TXT禁止语法

被robots.txt禁止:scrapy

Android的工作室:拆箱的“XXX”可能会产生“显示java.lang.NullPointerException”

Kotlin数据类中的循环引用可能会产生堆栈溢出错误