[中国站长站]
要想控制各搜索引擎的爬虫对你的网站的访问，你就得在网站的robots.txt文件里写明有关的规则。比如，你允许爬虫访问你的哪些目录，禁止爬虫访问哪些内容。Google自己也有爬虫即Googlebot，如果你有些目录不想让它访问但你又不熟悉robots.txt文件的编写，现在可以利用Google网站管理员工具新增的robots.txt文件生成器了。 [中国站长站]
进入控制台>工具>生成 robots.txt就可以看到有关选项： 站.长.站
中国.站长站
你可以允许或禁止某种Googlebot访问你的某些目录或文件，十分方便。你要做的只是填写目标目录或文件： _com
[中国站长站]
生成新的robots.txt文件后，还可以使用工具里的"分析 robots.txt"来分析它。 站长.站
文章整理：西部数码--专业提供域名注册、虚拟主机服务
http://www.west263.com
以上信息与文章正文是不可分割的一部分,如果您要转载本文章,请保留以上信息，谢谢!
