发现robots.txt文件 如何设置robots.txt文件

robots.txt文件是搜索引擎的口令牌,因此设计要相当谨慎,有很多细节我们需要注意的,如果我们没有注意这些细节,后果无法估计。robots.txt文件是搜索引擎进入我们的站点后首先访问的文件,现在我们就来看看设置robots文件该注意哪些。  错误一:Allow与disallow顺序颠倒  首先我们来看一段robots.txt语句:  User-agent: *  Allow: /  Disallow: /abcd/  这段语句初看我们可以得到目的是告诉搜索引擎在abcd目录下面的页面不能抓取,但是其他所有的页面可以。但是这段语句的实际效果如何呢?效果是背道而驰的,为什么呢?我们知道搜索引擎蜘蛛对于robots文件中的规则的执行是从上到下的。这将会造成Disallow语句失效,正确的做法,是要把Disallow: /abcd/置于Allow: /前才能发挥我们想要的效果。  错误二:屏蔽某一个页面时,页面名前没有带上斜杠“/”  我想这一点很多站长也很容易忽视掉,打个比方,我们想要对搜索引擎屏蔽在根目录下的abcd.html这一页面,有的人在robots上可能会这么写:Disallow: abcd.html,表面上看可能没什么问题,但是笔者想要问一下你先告知搜搜引擎屏蔽的这一页面在什么目录下面?如果我们不带上的话,搜索引擎蜘蛛无法识别是在哪一个页面。正确的写法是:Disallow: /abcd.html,这样才能真正的屏蔽位于根目录下面的abcd.html这一页面。  错误三:屏蔽的后面没有跟上斜杠“/”  同样举个例子,比如我们想屏蔽/abcd/这一目录下面的页面,有的人可能会这样写Disallow: /abcd。这样写是否有问题呢?这样写依然有问题,而且问题很大条。这样虽然可以屏蔽掉/abcd/这一目录下面的所有页面。但是这也会传递给搜索引擎这样的信息,那就是屏蔽开头为/abcd的所有页面。效果等同于是Disallow: /abcd’*。这个错误将会给站点照成很大的影响。正确的做法是,在想要屏蔽的目录后面切记需要加上斜杠“/”。

发现robots.txt文件 如何设置robots.txt文件
  

爱华网本文地址 » http://www.413yy.cn/a/8104400103/262545.html

更多阅读

Win7如何设置默认文件打开方式 win7恢复默认打开方式

Win7如何设置默认文件打开方式——简介很多用户都遇到过程序“错乱”的情况,比如原本想用Win7下的图片预览查看一张图片,如果Win7中安装了两款可以打开图片的软件,系统就有可能把这两款软件搞混,双击图片文件后却在做图软件里打开了它。

如何设置共享文件夹 xp共享文件夹怎么设置

如何设置共享文件夹——简介通过设置共享文件夹可实现资源的充分利用,尤其对于处于同一局域网中的用户,通过设置共享文件夹来实现资源共享是最基本的方式。下面就来看一下设置共享文件夹的方式。如何设置共享文件夹——方法/步骤如何

xp系统如何设置共享 xp文件共享权限设置

xp系统如何设置共享——简介很多网友都在反映,如何将电脑设置成共享电脑,方便别人进入自己的电脑进行文件的操作,今天小编就教大家如何将自己的电脑设置共享。xp系统如何设置共享——工具/原料电脑

局域网文件共享设置 如何设置局域网共享

如何设置局域网共享――简介设置局域网共享方法有很多种,下面我们使用手动的方法来实现文件共享。确保共享文件的几个计算机出于同一个局域网,否则无法共享文件,好了,我们看看具体的实现过程。如何设置局域网共享――工具/原料操作系统

声明:《发现robots.txt文件 如何设置robots.txt文件》为网友慾上九天分享!如侵犯到您的合法权益请联系我们删除