我试图找到如何阻止搜寻器访问我的链接的方法，如下所示：
site.com/something-search.html
我想阻止所有/ something- *
有人能帮我吗？
User-agent: *
Disallow: /something-
这会阻止所有路径以开头的URL /something-，例如，可从http://example.com/robots.txt以下位置访问的robots.txt ：
http://example.com/something-http://example.com/something-foohttp://example.com/something-foo.htmlhttp://example.com/something-foo/bar仍将允许以下URL：
http://example.com/somethinghttp://example.com/something.htmlhttp://example.com/something/本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句