Robots.txt文件务必放到网址的网1449;根目录。
放到根目录的 Robots.txt 文档百度搜索引擎不可以抓取到,因此不容易起一切功效。
例如:
http://网站域名/robots.txt 合理
http://网站域名/BBS/robots.txt 失效
假如你不可以操纵网站根目录的 robots.txt,则你能根据在根目录网页页面中应用标识阻拦网页页面被百度收录。