手机站
网通分站
电信主站
密 码:
用户名:
当前位置 : 主页>网站运营>搜索优化>列表

网站robots.txt文件配置错误,让我的站点丧失抓起良机!

来源:互联网 作者:west263.com 时间:2008-04-02
西部数码-全国虚拟主机10强!40余项虚拟主机管理功能,全国领先!双线多线虚拟主机南北访问畅通无阻!免费赠送企业邮局,.CN域名,自助建站480元起,免费试用7天,满意再付款! P4主机租用799元/月.月付免压金!

国外的检查robots.txt文件合法性的在线验证工具地址是:http://tool.motoricerca.info/robots-checker.phtml。不过要注意,使用这个工具,请把robots.txt里的汉字注释清除(我的广州空调维修站点就是吃这个亏了!!!),它识别不了汉字;如果有汉字在里面的话,它就不认为这是一个robots.txt文件了。

如果robots文件验证通过的话,一般会显示以下结果:
Analyzing file http://www.piaoyi.org/robots.txt
No errors found in this robots.txt file
Hide empty and comments lines:

The following block of code DISALLOWS the crawling of the following files and directories: /inc/ to all spiders/robots.
Line 1 # robots.txt for www.gz-kongtiao.cn
Line 2 User-agent: *
Line 3 Disallow: /inc/

另外,Google网站管理员工具也可以在线验证robots文件,google是支持中文注释的。要分析网站的 robots.txt 文件,请按以下步骤操作:
(1)使用 Google 帐户登录 Google 网站管理员工具。
(2)在"控制台"中,点击所需网站的网址。
(3)点击工具,然后点击分析 robots.txt。

最后我要说的是:如果有什么问题,请您给我留言,留言地址是http://www.gz-kongtiao.cn/guest/。谢谢合作!

责任编辑:稻草

文章整理:西部数码--专业提供域名注册虚拟主机服务
http://www.west263.com
以上信息与文章正文是不可分割的一部分,如果您要转载本文章,请保留以上信息,谢谢!