安庆网站建设
 网申首页   联系我们   加入收藏

联系安庆网络公司

网申公司
服务项目
联系我们
网站: 0556-8778040
短信: 0556-5371498
商务: 18714896998
邮箱: wm218@qq.com
地址: 安庆市石化亿和商务写字楼B座309室
当前位置: 首页 > 网站SEO
安庆网络公司解析robots文件编写技巧
Loading...

  安庆网络公司经过多年的经验总结,得出以下几点技巧:

      robots.txt编写的顺序问题
  举个最简单的例子,如果你想让自己a文件中的b.html被抓取,那么你怎么编写呢?是
  allow:/a/b.html disallow:/a/ 还是disallow:/a/ allow:/a/b.html这样?
  在robots.txt编写规则中,它并不执行树状分析结构,换句话说编写时并不应该把母文件夹放在最前,而是遵循一种就近原则,如果我们把母文件夹放在前面,蜘蛛会认为这个途径被封闭了,不能访问,而我们最终的目的却是访问,这样一来,目标和实际就大相迳庭了。
  robots.txt编写的开放性问题
  很多站长,尤其是新手站长对于robots.txt的理解过于片面,他们认为既然robots.txt可以规定蜘蛛的访问途径,那我们何必不开放,把所 有文件都设置成可访问,这样一来网站的收录量不久立即上升了,其实问题远远没有我们想象的简单,大家都知道网站中一些固定的文件是不必传送给搜索引擎访问 的,如果我们把网站“全方位开放”,后果就是加大网站服务器负载,降低访问速度,减缓蜘蛛的爬行率,对于网站收录没有一点用处,所以对于固定不需要访问的 文件,我们直接disallow掉就可以了。
  一般情况下,网站不需要访问的文件有后台管理文件、程序脚本、附件、数据库文件、等等。
  robots.txt编写的重复性问题
  我们每天都在写着原创内容,然后更新到自己的网站中,大家想过没有我们这样做的目的是什么?当然是为了讨搜索引擎的好,大家都知道搜索引擎很看重原创内 容,对于原创内容的收录很快,相反,如果你的网站中充斥着大量的复制内容,那么我只能遗憾的告诉你,网站的前途一片渺茫。不过这也从另一个方面告诉我们要 积极的利用robots文件禁止重复页面的代码,降低页面的重复度,但是在编写robots文件时一定要记得
  在user-agent后加入某个搜索引擎,例如user-agent:baiduspider disallow:/,如果没有加入,编写成user-agent: * disallow: /形式,则是对网站所有内容的“屏蔽”。
  robots.txt编写的meta问题
  在 robots.txt编写规则中,有一个取最强参数法则,而且如果网站以及页面标签上同时出现robots.txt文件和meta标签,那么搜索引擎就会 服从两个规则中较为严格的一个,即禁止搜索引擎对于某个页面的索引,当然如果robots.txt文件和meta标签不是出现一个文件中,那么搜索引擎就 会遵循就近原则,就会索引meta标签前的所有文件。
  robots.txt编写的细节性问题
  1.反斜杠的插入
  还是以disallow:/a/b.html为例,在编写该语句的时候,如果忘记加入了反斜杠,则是对全部内容进行开放,这与编写语句的想法相悖,因为反斜杠的意义是根目录。
  2.空格的出现
  空格的出现就很好理解了,因为搜索引擎对于这个特殊符号的出现并不识别,它的加入只会使语句失去应有的效用。

安庆百度推广,安庆百度优化,安庆百度竞价 安庆网站摧广,安庆企业建站,安庆域名注册 安庆雅虎推广,安庆网站优化 安庆服务器托管,安庆虚拟主机,安庆网站空间 安庆网站建设 安庆短信群发,安庆短信群发公司
安庆百度推广 安庆谷歌摧广 安庆雅虎推广    安庆门户网站 安庆短信群发  安庆软件开发
 
网申介绍 | 网申新闻 | 联系网申 | 安庆网站制作 | 安庆网站推广 | 安庆短信群发 | 安庆装饰工程 | 安庆广告设计 | 安庆软件开发

版权所有: © 2002-2013 安庆网申文化传媒有限公司™   公司地址:安徽省安庆市石化亿和商务写字楼B座309室 (石化医院正面向北200米)

商务合作:18714896998 在线咨询: 点击这里给我发消息 公司邮箱:wm218@qq.com 皖ICP备11013986号 www.aqsos.com网站PR查询