申永祥学习室

百度蜘蛛抓取规则分析(一招让百度蜘蛛迷路)

SEO > 网站优化 > SEO分析 > 申永祥 发布于 2017年05月15日 | 阅读(184)

排名是硬道理,那么收录就是关键,没有收录绝对是没有排名,那么在收录之前我们要搞清楚百度蜘蛛是怎么来到你网站的,又是如何收录,那么我们今天教大家一招,让百度蜘蛛在你网站迷路!

百度蜘蛛抓取

要想搞清楚百度蜘蛛的爬行思路,那么我们要分析百度蜘蛛是从哪几个渠道来到你网站的,那么经过我的分析,个人认为,百度蜘蛛主要从这三个方面来爬行你的站点的。

搜索引擎提交

当我们建好网站以后,我们会把网站的链接主动提交到搜索引擎,经过我们这样一提交,那么搜索引擎知道你的站点,这才考虑收录,当然如果我们首页被收录了以后,我们会做网站地图,然后提交到搜索引擎,做的多一点的人会做主动提交功能来实现自动提交到搜索引擎,那么这样一来搜索引擎能够很快的知道你的网站。

浏览器偷窥

当我们建好站点以后,我们将网页不发给然后人,仅仅使用浏览器打开一下,那么这一下浏览器可以偷窥到你的网址链接,从而主动提交到搜索引擎,达到收录的效果,那么这一证据,360曾测试过百度搜索引擎,360的工作人员建了一个站点,仅仅使用百度浏览器打开,第二天居然网页被收录了。如果说不是百度浏览器偷窥到这个站点的域名,百度没有其他渠道可以抓取到这个链接的。

外链抓取

那么第三个也就是我们发布的外链,搜索引擎会抓取一些已经收录的站点,从别人的站点上看到了你的网址,从而来到你的站点抓取你的网站,达到收录的效果,所以我们做SEO的经常发布外链,当然发布外链不仅仅是让搜索引擎收录,本文仅仅只是介绍收录。所以外链的其他作用,这里就不多做介绍了。

如何让百度蜘蛛迷路

那么我们了解到百度蜘蛛是通过上面三个渠道抓取你的站点,我们也可以很好的让百度蜘蛛在你的站点迷路,迷路是什么意思呢,简单的说就是让蜘蛛来到你网站,根本出不去,可以抓取到更多的页面。

方法一:在首页建立很多个锚文本内链,因为一个网站最容易被抓取的是首页,那么我们将首页的权重分散到任何页面,在首页建立很多个内链,这样可以将首页的蜘蛛很好的分散到其他页面,但首页的权重相对也会降低,这样首页基本是做不了排名的。并且首页的锚文本链接每天更换。

百度蜘蛛抓取

这是曾经我在黑帽淘宝客站点上看到的一种SEO思路,首页没有任何关键词排名,内页600万个,关键词600万个,首页每天不断更换关键词,不断让百度蜘蛛抓取新的页面。而新的页面底部也会很多个锚文本,这样下去,百度蜘蛛是非常容易在你的站点迷路。目前这种形式优化的站点也有非常多,只是没有那么明显。我们可以看得出门户网站基本比企业网站收录的多,为什么呢,因为门户网站首页推荐的链接比企业网站多,所以内页收录相对较多。当然这排除企业网站内容比门户网站内容少的情况下。

方法二:建立蜘蛛池程序,让蜘蛛池程序不断将百度蜘蛛带入你的站点,蜘蛛池的原理很简单,其实就是通过泛域名建立页面让搜索引擎抓取泛域名,然后泛域名引蜘蛛到你的新站点上,这样的泛域名非常多,几乎上万个一天,所以引蜘蛛的效果非常好。

百度蜘蛛抓取

但是,目前很多小域名,百度根本不放在眼里,所以就算你建立了再多的泛域名,可能蜘蛛也不会抓取,因此如果你能够拿到大型网站的泛域名权限,建立蜘蛛池不断引蜘蛛到你的站点,那么效果会非常好,当然拿不到大型网站的泛域名解析权限,可以先养一段时间你的域名,这样也可以出现很好的效果。

作者:冯耀宗 来源:冯耀宗博客

转载请注明来源:申永祥博客,(QQ:2320500181)原文地址:http://www.shenyongxiang.com/seo-da/2335.html

声明:博客内容除标记原创字样以外内容,均来自网络转载,版权归原作者所有,如涉及版权问题请及时联系处理。

上一篇:SEO将被AI人工智能颠覆,你准备好了吗? 下一篇:混迹SEO圈《西游记》四小强,你想象不到,原来是这样子的...