我想禁止索引robots.txt中的header.php。档案网址：
https://example.com/header.php
但是我不确定什么是正确的：
Disallow: /header.php
要么
Disallow: header.php
中指定的URL路径robots.txt应始终以斜杠（即相对于根）开头。
如果指定了[path]值，则相对于从中提取了robots.txt文件的网站的根目录（使用相同的协议，端口号，主机和域名）可以看到。路径值必须以“ /”开头以指定根。路径区分大小写。
因此，您应该写：
Disallow: /header.php
但是，这可以防止爬网，如果链接到该URL ，也不一定可以防止编制索引。虽然，我怀疑这只是一个HTML片段（？），所以在这种情况下，应该执行阻止爬网的工作。（但是请注意，如果包含许多包含项，则最好将它们包含在子目录中，而只需阻止该子目录即可。）
上线之前，请robots.txt在Google的robots.txt测试器中测试您的文件。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句