经典案例
  • 东莞
市天罡仪器设备网站关键词优化排名
  • 深圳
卓锐货架整站优化案例
  • 东莞
长安卓锐货架网站整站优化案例
  • 妙视界
  • 广州
市坊森室内装饰有限公司
  • ArtsRouge
  • Management
  • 爱艺
术咖啡会所

东莞 网站优化:Robots搜索 引擎协议写法和注意事项

发布于:2016-11-30 11:06来源:未知 作者:xqdseo 点击:

        Robots.txt是放一些网站上不想让搜索引擎抓取收录的文件,需要我们自己知道网站哪些文件是不想被收录的,比如一般网站的后台就没有必要收录以及会员信息页面等。东莞 网站优化-新起点seo通过 以下五点来和大家分享是的Robots搜索 引擎协议写法和注意事项。
东莞
网站优化:Robots搜索
引擎协议写法和注意事项

一, 什么是Robots协议?
1>网站 和搜索引擎的协议文件
2>蜘蛛 爬行网站的第一个要访问的文件

二.Robots有什 么作用?
1>屏蔽 网站内的死链接。
3>屏蔽 搜索引擎蜘蛛抓取站点内重复内容和页面。
3>阻止 搜索引擎索引网站隐私性的内容

三.Robots语法:
1>User-agent定义 搜索引擎类型:
(1)百度 蜘蛛:Baiduspider
(2)谷歌 蜘蛛:Googelebot
(3)360蜘蛛:360Spider
(4)Soso蜘蛛:Sosospider
(5)有道 蜘蛛:YoudaoBot
(6)搜狗 蜘蛛:SohpiNews Spider 等

2>Disallow禁止 抓取收录地址:
(1)禁止 整站:写法 User-agent: Baiduspider Disallow: /
(2)禁止 一个文件夹:写法 User-agent: Baiduspider Disallow: /data
(3)禁止文件:写法 User-agent: Baiduspider Disallow: /jianzhan/list_1.html
(4)禁止 动态路径: 本来 是动态路径,后面又修改成静态路径,导致两个不同路径同时能访问一个页面,我们可以把动态路径禁止,动态 链接的一个标准符号就是“?”因此 禁抓动态Url命令 写作:Disallow: /*?*

3>Allow定义 抓取收录地址:写法 Allow: /data/common.inc.php

4>语法符合:
(1)/单个 符合搜索引擎认为是根目录:写法:Disallow: /*.php$
(2)*能匹配0或者 所有英文字符:自由主题
(3)$结束符

四.什么 情况下用Robots
1>统一 路径,动态和静态 www.wglseo.com/
2>搜索链接
3>标签链接
4>中文链接
5>根据 情况,不想让网站收录的文件,隐私文件,会员注册等

五.使用Robots注意事项
1>符合 使用的细节[/ : 空格 大小写]
2>生效时间[几天 或者两个月以内]
3>不要 随便屏蔽整站
以上内容由东莞 网站优化-新起点seo整理发布

------分隔线----------------------------
------分隔线----------------------------
友情链接:    乐赢彩票_安全购彩   富贵彩票---首页_欢迎您   天天爱彩票计划   趣彩彩票_安全购彩   GT彩票---首页_欢迎您