每一个网站背后都有一个故事!  会员中心 会员登录   设为首页 设为首页   加入收藏 收藏百万站   百万学院 百万学院  
 
 
您当前位置:百万站 > 乐园 > 百万学院 > 推广优化
»点此完善

百万站官网资料-文件robots.txt的写法

文件robots.txt的写法

1、什么是robots.txt文件

搜索引擎有自己的搜索习惯,当它对一个网站进行搜索时,哪些目录和文件要看,哪些不用看,它有自己的算法。我们也可以自己建立一个 robots.txt文件,告诉搜索引擎的机器人哪些可以被收录,哪些不需要收录。这样可以节约自己网站的资源,进步被搜索引擎收录的效率。

2、robots.txt放置位置

robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。

3、robots相关语法

1.User-agent: 适用下列规则的周游器(搜索引擎)
  该项的值用于描述搜索引擎robot的名字。在robots.txt文件中,假如有多条User-agent记录,就说明有多个robot会受到 robots.txt的限制,对该文件来说,至少要有一条User-agent记录。假如该项的值设为*,则对任何robot均有效。
● Google爬虫名称: Googlebot
● 百度(Baidu)爬虫名称:Baiduspider
● 雅虎(Yahoo)爬虫名称:Yahoo Slurp
● 有道(Yodao)蜘蛛名称:YodaoBot
● 搜狗(sogou)蜘蛛名称:sogou spider
● MSN的蜘蛛名称(微软最新搜索引擎Bing蜘蛛名也是这个):Msnbot

2.Disallow: 拒尽访问的目录或文件
  该项的值用于描述不希看被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。
例如:
Disallow:/seo.html 表示禁止robot访问文件 /seo.html

3.Allow:答应访问的目录或文件
该项的值用于描述希看被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的 URL是答应robot访问的。
例如:
Allow:/hibaidu/ 表示答应robot访问目录 /hibaidu/

4.使用通配符*和$:

   $ 匹配行结束符。
   * 匹配0或多个任意字符。
   ? 匹配1个任意字符

5.robots.txt文件里还可以直接包括在sitemap文件的链接。
Sitemap: http://meishi.worldxml.com/rss/list.aspx?t=6&s=109&p=1

robots.txt文件用法举例

1)、拦截所有的机器人访问网站
User-agent: *
Disallow: /

2)、允许所有的机器人访问网站
User-agent: *
Allow: /
3)、禁止所有机器人访问特定目录:
User-agent: *
Disallow: /public/
Disallow: /images/
Disallow: /temp/
Disallow: /include/
4)、禁止特定搜索引擎蜘蛛访问特定目录(这里我们以百度蜘蛛为例说明)
User-agent: Baiduspider
Disallow: /test/
上面的robots.txt语法示例的意思是禁止百度蜘蛛爬行根目录下的test目录

5)、仅禁止Baiduspider抓取.jpg格式图片
User-agent: Baiduspider
Disallow: .jpg$  
6)、仅允许访问以.htm为后缀的URL。
User-agent: *
Allow: .htm$
Disallow: /  
7)、禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*

5.常见robots.txt写法错误

1)、把多个禁止命令放在一行中:

   错误地写法
   Disallow: /css/ /cgi-bin/ /images/
   正确的写法
   Disallow: /css/
   Disallow: /cgi-bin/
   Disallow: /images/  

2)、表示目录时,忘记了斜杠/

   错误的写法
   User-agent: Baiduspider
   Disallow: css
   正确的写法
   User-agent: Baiduspider
   Disallow: /css/

6、robots meta网页标签写法

使用Robots META标签

Robots META标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots META标签也是放在页面的<head></head>中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
Robots META标签的写法:
Robots META标签中没有大小写之分,name=Robots表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=BaiduSpider。 content部分有四个指令选项:index、noindex、follow、nofollow,指令间以,分隔。
INDEX 指令告诉搜索机器人抓取该页面;
FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下往;
Robots Meta标签的缺省值是INDEX和FOLLOW,只有inktomi除外,对于它,缺省值是INDEX,NOFOLLOW。
这样,一共有四种组合:
<META NAME=ROBOTS CONTENT=INDEX,FOLLOW>
<META NAME=ROBOTS CONTENT=NOINDEX,FOLLOW>
<META NAME=ROBOTS CONTENT=INDEX,NOFOLLOW>
<META NAME=ROBOTS CONTENT=NOINDEX,NOFOLLOW>
其中
<META NAME=ROBOTS CONTENT=INDEX,FOLLOW>可以写成<META NAME=ROBOTS CONTENT=ALL>;
<META NAME=ROBOTS CONTENT=NOINDEX,NOFOLLOW>可以写成<META NAME=ROBOTS CONTENT=NONE>
目前看来,尽大多数的搜索引擎机器人都遵守robots.txt的规则,而对于Robots META标签,目前支持的并未几,但是正在逐渐增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE还增加了一个指令archive,可以限制GOOGLE是否保存网页快照。例如:
<META NAME=googlebot CONTENT=index,follow,noarchive>
表示抓取该站点中页面并沿着页面中链接抓取,但是不在GOOLGE上保存该页面的网页快照。

J 囵 圈 协ёжзий
клм㊋ ㊌

J 囵 圈 协ёжзий
клм㊋ ㊌


欢迎您访问百万站
上一站:  个人站长如何借助小米的“饥饿营销”推广网站
当前推荐网站:  文件robots.txt的写法
下一站:  谈谈新站如何成为百度的宠儿


申明:本资料由百万站会员提供,转载请注明出处,资料来源百万站网站知识库:http://www.baiwanzhan.com/site/t126571/.
文件robots.txt的写法 感谢您的支持!

»如果您觉得'文件robots.txt的写法'相关资料不全,请点此协作更新!
复制本页网址,与您QQ/MSN上的好友分享,就是您对百万站最大的支持!
踩踩此网站0
支持此网站0
(提示:顶到百万站首页,分享给更多网友!)  
现在有0人对'本文'发表评论 »查看全部评论

您的姓名: * 可选项,留空即为匿名发表
评论内容:
剩余字数:  * 按 Ctrl + Enter 发送.
           
百万站温馨提示:资料由百万站会员自行发布,请大家自辩真伪;评论只需提交一次,请耐心等候审核通过,方可显示.
»网友留言

文件robots.txt的写法

贡献者:baiwanzhan2012点击数: 累积有5235人浏览
所属类别:推广优化主页标签:robots 
参考网址:http://www.baiwanzhan.com/site/t126571/
导航目录:乐园 > 百万学院 > 推广优化
内容简介:搜索引擎有自己的搜索习惯,当它对一个网站进行搜索时,哪些目录和文件要看,哪些不用看,它有自己的算法。我们也可以自己建立一个 robots.txt文件,告诉搜索引擎的机器人哪些可以被收录,哪些不需要收录。
2019,与百万网友携手打造百万站!
百万站-百万优秀网站的大本营!我们深信:每一个优秀网站的背后都有一个值得我们解读的故事。
合 作 伙 伴