网络抓取工具是否遵循robots.txt网址或标签

我有一个主要基于javascript的网站。具体来说，没有<a>标签。单击某些按钮后，会将内容动态插入DOM树中，然后使用javascript更改URL以表示更新。

因此，我的问题是，如果我的链接列表中有robots.txt，允许的网络爬虫（Google，Bing等）将直接访问中的链接robots.txt，还是他们会遵循a下载的网站中显示并允许的链接robots.txt？

因为在第二种情况下，Web爬网程序将找不到在下载的/站点和robots.txt文件中都出现的任何URL 。