十年品牌建站公司
开启企业移动互联网营销新时代
18175863383
275194004
网络推广
robots.txt文件放在哪里?
来源： 本站 类别：网络推广 阅读：
2792 时间:2014-11-29
robots.txt文件应该放置在网站根目录下。
robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
相关文章
