我知道文件robots.txt用于阻止第三方索引内容站点的Web爬网程序。
但是，如果此文件的目的是界定站点的私有区域或保护私有区域，那么这是尝试使用robots.txt隐藏内容的意义，是否可以在GitHub存储库中看到所有内容？
我的问题是使用自定义域扩展示例。
是否有动机在robots.txtGitHub页面内使用文件？是还是不是？又为什么呢
备选方案1：
要使该内容有效地隐藏起来，那么将需要为网站付费是要获得一个私有存储库。
的目的robots.txt不是要划定私有区域，因为机器人甚至无法访问它们。取而代之的是，如果您有一些垃圾或任何您不想被搜索引擎索引的杂项。
举例来说。我编写用于娱乐的Flash游戏，并使用GitHub Pages允许游戏检查更新。我将此文件托管在GHP上，其所有内容为
10579
2.2.3
https://github.com/iBug/SpaceRider/tree/master/SpaceRider%202
它包含三部分信息：新版本的内部编号，新版本的显示名称和下载链接。因此，当由搜寻器索引时，它肯定是无用的，因此当我拥有索引时robots.txt，我会避免被索引。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句