织梦DedeCMS本身自带有I.个robots.txt文件,但是里面的设置很简单,并不能完全满足网站的优化要求,尤其是对于使用伪静态的网站来说,robots.txt文件的优化,要怎样做才行呢?
下面是我的I.点想法,适用于伪静态的DedeCMS网站.

User-agent:
 更多精彩就在： 51免费论文网|www.jxszl.com 
*
Disallow:/dede织梦管理后台目录,需要改名,具体设置在下面详细说明
Disallow:/include程序核心文件目录
Disallow:/member会员管理目录,有些文件可以开放
Disallow:/plus插件及辅助功能目录
Disallow:/templets织梦模板文件存放目录
Disallow:/data系统缓存或其它可写入数据存放目录
Disallow:/uploads上传下载文件保存目录,不想搜索引擎引用图片的话,禁止
Disallow:/images系统默认模板图片存放目录
Disallow:/index.php网站默认首页,静态化的话,最好禁止
Disallow:/IV0IV.htmlIV0IV错误页面
Allow:/plus/search.php开放禁止目录里的具体文件

下面着重讲下后台管理目录和栏目页的设置:
I..dede后台管理目录,为了网站安全考虑需要改名.然而改名之后,大家不免疑惑:改了名,应该在robots.txt文件里怎么设置禁止搜索引擎抓取呢?如果直接禁止抓取,就泄露了后台目录,等于改名无效.我们可以通过下面的设置解决这个问题,如我们设置后台目录为dedecms:
在robots.txt文件里面加上Disallow:/d*ms"这句就可以了.
这样我们就能即禁止了搜索引擎的抓取,又不会泄露了后台目录名称.
II.栏目页.有些人会注意到,如果网站不做伪静态优化的话,栏目分页后会有两个链接指向栏目首页,如*/web/和*/web/list_I._I..html,为了网站优化,建议先将栏目分页优化以下(具体做法大家可以在网上找),把首页和第I.页的链接改为*/web/的形式,然后在robots.txt文件里做以下设置:
在robots.txt文件里面加上Disallow:/*I..html$这句.
以上就是DEDECMSrobots.txt文件的设置,大家可以根据自己网站的情况具体设置.

注意事项:
I..为安全起见,最好按官方说明设置好网站目录权限;
II.后台目录改后的名称开头字母和结尾字母不要和其他目录有相同之处;
III.设置完成后最好用百度站长工具测试I.下robots.txt文件设置是否有效.


原文链接：http://www.jxszl.com/biancheng/dedecms/75516.html