SEO实战培训:如何正确书写robots协议文件

SEO实战培训  2017-08-21 17:29  评论 0 条

SEO实战培训:robots协议正确的写法详解及注意事项,百度学过SEO网站优化的人都应该知道,在SEO网站优化中robots协议文件的书写将直接影响网站关键词排名。正所谓,细节决定成败,robots协议文件要怎么写?今天张浩浩SEO优化就给大家介绍一下robots协议正确的写法详解及注意事项。

 

一、robots协议t是干什么用的

一个网站中有很多个文件,其中包含了后台程序文件、前台模板文件、图片等等。这之中有一些东西我们是不希望被百度蜘蛛抓取的,怎么办呢?搜索程序考虑到了这一点,蜘蛛在抓取网站页面之前会先访问网站根目录下的robots协议文件,如果robots协议文件存在那就按照robots协议限定的范围进行抓取,如果不存在,则默认为可以抓取全部。

二、robots协议在seo中在作用

如果搜索引擎出现一个页面同时被抓取两个网址,这样会分散网页的权重,如果我们写好robots协议就可以避免这样的情况产生。robots协议在seo中在作用就是屏蔽不必要的页面抓取,为有效页面赢得蜘蛛抓取的机会。由于屏蔽不必要页面抓取从而可以页面权重,节省网络资源;最后我们可以将网站 地图放在里面,方便蜘蛛抓取网页。

三、哪些文件是可以用robots协议屏蔽的

网页中的模板文件、样式表文件以及后台的某些文件即使呗搜索引擎抓取了也没什么作用,反而是浪费网站资源,这类文件可以屏蔽;如果网页中的某些特定页面比如联系我们、公司内部某些不需要公开的照片这些都可以根据实际情况进行屏蔽。

四、robots协议写法详解及注意事项

以张浩浩SEO优化网为例,robots协议文件如下:

User-agent:*     //允许所有搜索引擎蜘蛛抓取

Disallow:/wp-    //不允许抓取url中带wp-的网址

Allow:/wp-content/uploads/  //允许抓取wp-content/uploads/目录下的文件

Disallow:/*?*     //不允许抓取url中带?的网址

Disallow:/feed Disallow: /trackback

Disallow: /index.php? Disallow: /*.php$  //不允许抓取url中以.php结尾的网址

Disallow: /*.css$

Disallow: /date/

Sitemap: http://www.seozhh.com/sitemap.xml //网站地图

Sitemap: http://www.seozhh.com/sitemap_baidu.xml

User-agent:*  这样的记录只能有一条。*代表所有引擎蜘蛛,如果仅仅只针对某个搜索引擎可以这样写果User-agent:Baiduspider(Baiduspider百度蜘蛛)表示只下面规则都是针对百度蜘蛛的。

Disallow: 描述不需要被索引的网址或者是目录。比如Disallow:/wp-不允许抓取url中带wp-的网址;要注意的是Disallow: /date/与Disallow: /date是不一样的;前者仅仅是不允许抓取date目录下的网址,如果data目录下还有子文件夹,那么子目录是允许抓取的,后者可以屏蔽date目录 下所有文件,包括起子文件夹。

Allow:描述不需要被索引的网址或者是目录。功能跟disallow相反,特别注意的是Disallow与Allow行的顺序是有意义的,robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。

使用”*”和”$”:Baiduspider支持使用通配符”*”和”$”来模糊匹配url。”$” 匹配行结束符。”*” 匹配0或多个任意字符。

五、特别注意事项

在写robots协议文件时语法一定要用对,User-agent、Disallow、Allow、Sitemap这些词都必须是第一个字母大写,后面的字母小写,而且在:后面必须带一个英文字符下的空格。

网站上线之前切记写robots协议件禁止蜘蛛访问网站,如果不会写就先了解清楚写法之后再写,以免给网站收录带来不必要的麻烦。

robots协议文件生效时间在几天至一个月之间,站长自身无法控制。但是,站长可以在百度统计中查看网站robots协议文件是否生效。

robots协议写法详解及注意事项就写到这里,如果你写完之后感觉有疑问,你可以用百度站长工具进行测试,确保robots协议书写正确这样才能起到效果。

原文地址:http://www.seozhh.com/seopeixun/76.html
版权声明:本文由张浩浩SEO优化网(www.seozhh.com)收集于网络不代表本站观点,如果你还想了解更多关于 网站SEO优化 和 百度SEO优化 以及 SEO优化培训 的文章,你还想要免费试用更多 SEO优化工具,欢迎访问张浩浩 SEO优化 网。
PREVIOUS:已经是最后一篇了

发表评论


表情