申永祥学习室

什么是robots.txt协议文件?

SEO > 网站优化 > SEO学习 > 申永祥 发布于 2015年09月21日 | 阅读(952)

什么是robots.txt协议文件:robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

什么是robots.txt协议文件?

当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来 确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

robots.txt文件特点:必须放置在一个站点的根目录下,而且文件名必须全部小写。

robots.txt文件在SEO中作用:鉴于网络安全与隐私的考虑,搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt, 网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录,或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果该文件不存在,那么爬虫就沿着链接抓取,如果存在,爬虫就会按照该文件中的内容来确定访问的范围。

robots.txt文件的格式:

User-agent: 定义搜索引擎的类型。

Disallow: 定义禁止搜索引擎收录的地址。

Allow: 定义允许搜索引擎收录的地址。

格式如:

User-agent: * Disallow: /index.html Disallow: /index.php? Disallow: /html/ allow:/search.html

robots.txt文件的写法:

User-agent: * 这里的“*”代表的所有的搜索引擎种类,“*”是一个通配符。允许所有的搜索引擎来收录,包括百度、google、yahoo等 。

Disallow: /web/ 这里定义是禁止爬寻web目录下面的目录。

Disallow: /dedecms/ 这里定义是禁止爬寻dedecms目录下面的目录 。

Disallow: /ppc/ 这里定义是禁止爬寻ppc目录下面的目录 。

Disallow: /SEO 是屏蔽A目录下的所有文件,包括文件和子目录,还屏蔽 /SEO*.*的文件。

Disallow: /seo-study/*.htm 禁止访问/seo-study/目录下的所有以".htm"为后缀的URL(包含子目录)。

Disallow: /*?* 禁止访问网站中所有带“?”的URL

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。

Disallow:/dedecms-label/arclist.html 禁止爬取dedecms-label文件夹下面的arclist.html文件。

Allow:/linxige/ 这里定义是允许爬寻linxige目录下面的目录。

Allow: /seo 这里定义是允许爬寻seo的整个目录。

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

Allow: .gif$ 允许抓取网页和gif格式图片。

常用的搜索引擎类型有: (User-agent区分大小写) 1.google蜘蛛:Googlebot,2.百度蜘蛛:Baiduspider,3.360蜘蛛:360Spider, 4.yahoo蜘蛛:Yahoo!slurp,5.alexa蜘蛛:ia_archiver,6.bing蜘蛛:MSNbot,7.altavista蜘蛛:scooter,8.lycos蜘蛛: lycos_spider_(t-rex) ,Soso蜘蛛:Sosospider, Google Adsense蜘蛛:Mediapartners-Google,有道蜘蛛:YoudaoBot等

如想了解更多关于robots文件内容的作用写法,请相信查看百度官方关于robots文件的解读: http://www.baidu.com/search/robots.html

通过robots.txt可以删除被收录的内容:

1、当你的网页已被收录,但想用robots.txt删除掉,一般需要1-2个月。

2、结合Google网站管理员工具,你可以马上删除被Google收录的网页。

3、结合百度的站长平台,通过这里可以尽快删除被百度收录的页面:http://www.baidu.com/search/badlink_help.html

使用robots.txt应遵循几个原则:

1、不要屏蔽首页的后缀,比如:index.php,index.html 等;

2、不要写太多带星号的,尽量简洁一些,我们看百度和Google的robtos.txt带星号的写法几乎没有,太多带星号的,就可能存在误伤;

3、不用什么都屏蔽,某些页面即使被收录了也不影响什么的,就建议可以不用屏蔽。

注:搜索引擎遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,我们会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。

转载请注明来源:申永祥博客,(QQ/微信:790799899)原文地址:http://www.shenyongxiang.com/seo-study/93.html

声明:博客内容除标记原创字样以外内容,均来自网络转载,版权归原作者所有,如涉及版权问题请及时联系处理。

上一篇:什么是301重定向? 下一篇:什么是nofollow标签?