网络营销知识

网络营销知识

首页 > 网络营销知识 > robots的写法(非常详细)

robots的写法(非常详细)

3年前 热度:1155 ℃

懂一点SEO的人都知道,在SEO网站优化中robots.txt文件的编写直接影响网站优化的成果。正所谓,细节决定成败,robots.txt文件要怎么写?今天壹网互联在这里花一点时间,专门为大家献上史上最详细的robots文件的写法解析。

一、为什么要写robots.txt文件,它的作用是什么?

robots.txt是用来告诉搜索引擎网站上哪些内容可以被访问、哪些不能被访问。当搜索引擎访问一个网站的时候,它首先会检查网站是否存在robots.txt,如果有则会根据文件命令访问有权限的文件。

每个网站需要根据自身的要求写好robots.txt文件,robots.txt文件长什么样子?我们可以看看几个网站的robots.txt文件。

1451203-d24b520360e7d35d.jpg

淘宝robots.txt文件

1451203-4606c8adde929a4e.jpg

百度robots.txt文件

而一个网站为什么要写robots.txt,主要有四点:

1、保护网站安全

2、节省流量

3、禁止搜索引擎收录部分页面

4、引导蜘蛛爬网站地图

二、robots.txt的写法与步骤

1、定义搜索引擎

用User-agent:来定义搜索引擎,其中*表示所有,Baiduspider表示百度蜘蛛,Googlebot表示谷歌蜘蛛。

也就是说User-agent:*表示定义所有蜘蛛,User-agent:Baiduspider表示定义百度蜘蛛。

2、禁止与允许访问

Disallow: /表示禁止访问,Allow: /表示允许访问。

在写robots.txt时需特别注意的是,/前面有一个英文状态下的空格(必须是英文状态下的空格)。

初次建站的时候常用robots举例说明:

禁止所有搜索引擎爬取:

User-agent: *
Disallow: /

3、禁止搜索引擎访问网站中的某几个文件夹,以a、b、c为例,写法分别如下:

Disallow: /a/

Disallow: /b/

Disallow: /c/

3、禁止搜索引擎访问文件夹中的某一类文件,以a文件夹中的js文件为例,写法如下:

Disallow: /a/*.js

4、只允许某个搜索引擎访问,以Baiduspider为例,写法如下:

User-agent: Baiduspider

Disallow:

5、禁止访问网站中的动态页面

User-agent: *

Disallow: /*?*

6、只允许搜索引擎访问某类文件,以htm为例,写法如下:

User-agent: *

Allow: .htm$

Disallow: /

7、禁止某个搜索引擎抓取网站上的所有图片,以Baiduspider为例,写法如下:

User-agent: F

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

三、robots.txt文件存放位置

robots.txt文件存放在网站根目录下,并且文件名所有字母都必须小写。

四、特别注意事项

在写robots.txt文件时语法一定要用对,User-agent、Disallow、Allow、Sitemap这些词都必须是第一个字母大写,后面的字母小写,而且在:后面必须带一个英文字符下的空格。

网站上线之前切记写robots.txt文件禁止蜘蛛访问网站,如果不会写就先了解清楚写法之后再写,以免给网站收录带来不必要的麻烦。

robots.txt文件生效时间在几天至一个月之间,站长自身无法控制。但是,站长可以在百度统计中查看网站robots.txt文件是否生效。


TAGS:
发表评论
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

相关文章

新站秒排技术7天上首页独家揭秘!

新站秒排技术7天上首页独家揭秘!

上一篇我们讲述了“利用老域名让企业新网站快速收录排名”这篇文章不再侧重讲老域名为何可以快速提升新站收录和排名,我们侧重讲整个SEO体系如果通过独特的方式进行新站秒排的。还是老样子,咱们直接上案例,这次...

国内企业网站微信公众号影响排名的因素和排名靠前解决方案

国内企业网站微信公众号影响排名的因素和排名靠前解决方案

  自微信推出公众号搜索功能以来,排名规则一直深受大家的关注,但腾讯至今对于排名规则没也给出官方参考,那么影响微信公众号排名的因素到底有哪些?根据我多年微信公众号运营的经验,我们总结了以下几条对排名影...

利用老域名让企业新网站快速收录排名

利用老域名让企业新网站快速收录排名

这篇文章不是壹网互联原创文章,转载于网络上谋篇文章笔者针对搜索引擎研究将近8年时间,而思路基本上都是从逆向思维来解决搜索引擎排序问题,比如本文所要阐述的问题则是为何你原创了那么多却没有排名,而我抄袭的...

如何做好企业网站seo的关键字排名?

如何做好企业网站seo的关键字排名?

如何做好企业网站seo的关键字排名?随着网络的发展,网站的数量已经数以亿计,互联网上的信息量呈爆炸性增长,加大了人们寻找目标信息的难度,而搜索引擎的出现给人们寻找信息带来极大的便利,已经成为不可或缺的...

如何提高企业网站外链来源?

如何提高企业网站外链来源?

企业网站外链的广泛度也是衡量一个企业网站优化好不好以及网站权重的方法。如果一个网站有1000个外链,但是全部(或者大部分来源于一个网址)。那么这样的网站会比较危险。因为一旦来源的这个网站关闭或者是删除...

流量统计区分来路小技巧

流量统计区分来路小技巧

在网络营销中,我们会使用一些付费广告来进行企业的宣传、产品的宣传推广,往往付费宣传都是多渠道同时进行的,那如何分析我投放这个广告,花了多少钱,一共带来多少个ip?多少流量呢?这里壹网互联的阿达交大家一...

百度收录带图片是如何实现的?借用官方站长平台lee的

百度收录带图片是如何实现的?借用官方站长平台lee的

在网站自然排名优化中,有很多网络营销运营的朋友会发现,有些同行竞争对手网站带有图片收录,看起来要专业很多,并且能提高客户的搜索点击量,比较显眼!那么百度收录带图片是如何实现的?这里引用官方站长平台le...

从细节把握企业网站的稳定自然排名

从细节把握企业网站的稳定自然排名

对于很多人来言,网站优化人员只不过是利用一点技巧或者手段来实现排名目地的职业技能。实际上,做好一个网站的优化工作,重点就是一个过程,在网站操作过程中又渗透着各种细节处理,而垃圾站侧是迎合搜索引擎的程算...