服务与支持   | 全国电话咨询热线: 0633-8368638

【免费营销推广,免费SEO】搜索引擎蜘蛛的抓取方式

来源:原创发布时间2017-11-01
       搜索引擎蜘蛛即Spider,我们通常称它为机器人,是一种能够自己抓取网站,下载网页的程序。它可以访问互联网上的网页、图片、视频等内容,喜欢收集对用户有用的内容,而且如果他觉的你好的话,会定期来看你哦,我们要做的事情就是把它们伺候好,顺其意投其好。蜘蛛的抓取原理,首先让我们开始从第一个问题解读蜘蛛的工作原理:

【免费营销推广,免费SEO】搜索引擎蜘蛛的抓取方式
 
一.为什么搜索引擎蜘蛛需要不停的抓取页面,需要不停的收集站长们的网站信息?
 
       这是因为搜索引擎在互联网中它是起着为用户提供信息供给服务的媒介,但是它本身并不具备信息产生功能,所以它才需要不断的在互联网上进行收集信息以供用户查阅,来达到它特有的互联网生存盈利模式。站长们建设网站需要找寻用户,而同样的用户也需要通过搜索引擎来找到所需的网站,搜索引擎在其中不过是起到一个中介的作用,并非是信息产生器,所以它必须不断的抓取互联网信息。
 
第二个问题:
 
二.蜘蛛是通过那些链接来抓取互联网信息?
 
有三种链接:
 
1.      url路径(站长们的域名);
 
2.      锚文本;
 
3.      超链接;
 
       在这里,笔者发现有相当数量的新手站长并不清楚url路径和超链接的区别,url代表仅仅是一个域名,它在页面上的体现形式是不能直接通过点击跳转进入另外一个页面,而超链接则相反,众所周知,它是一个链接,它是可以通过直接点击跳转进入另外一个页面,这便是url路径与超链接的区别。蜘蛛抓取页面时首先会对各位站长的url路径进行收集,然后对其分类,在这里就得涉及到域名的特性,那什么是域名的特性呢?没错,就是它的后缀,它分为.com,.cn,.org,.net等,搜索引擎会把网站里的链接收集起来带到自己的服务器进行分析。
 
作为判断各位站长网站优秀与否最为直观的方式,便要看关键词排名了,而影响关键词的排名因素的,最为重要的便是seoer耳熟能详的两点:
 
1.      内容
 
2.      外链
 
在这里咱们的第三个问题就出现了:


【免费营销推广,免费SEO】搜索引擎蜘蛛的抓取方式
 
三.当搜索引擎分析一个网站时,是先判断内容呢,还是先判断外链?
 
       答案是它会优先判断外链,搜索引擎蜘蛛会把你的所有外链全部下载到它的服务器里进行分析,然后以此为依据逐个抓取,以判断这些外链是否相关,如果页面相关,那么从对方网站传递过来给你的网站的权重就会很高。
 
四.为什么百度并未收录我网站的所有页面,只是收录我的页面的一部分呢?
 
       蜘蛛是根据外链来抓取判断网站页面,它并不会爬行网站的所有页面。
 
五.为什么需要大量的布局外部链接和链接诱饵?
 
因为这样的做的好处有两点:
 
1.  这样做可以大大的增加网站的权重。
 
2. 可以增加网站页面的收录机会,因为很多时候搜索引擎没有收录网站页面的情况都是在蜘蛛并非记录内页路径的情况下,也许蜘蛛多来爬行几次你的网站,发现了此页面的路径,于是便被收录了呢!
 
       搜索引擎以百度而言,它会把把抓取到的网站分为非常优秀,优秀,中等,差以及非常差五个等级,并以此为依据分别对不同级别的网站进行不同次数的抓取,被搜索引擎视为优秀的网站自然蜘蛛来的次数也多,而一些评分很低的网站蜘蛛则来的次数很少,甚至根本就不会光临。但是在这里可能会有一些朋友有一点误区:他认为评分好的网站排名也高,其实这是不正确的,就像前面说的一样,评分的高低只是说明了蜘蛛来抓取你网站的频率高低,而对关键词排名其决定性作用的不过是外部锚文本链接而已,外部锚文本分布的广度和质量这才是对你关键词排名起着决定性作用的因素。


 
 
六.页面上的什么东西是蜘蛛不会抓取的呢?
 
      蜘蛛抓取的原理:爬行你的网页,并下载源代码,然后回到自己的服务器上进行分析,这样一来作为百度虽然庞大但毕竟并非无穷的数据库而言,容量太过庞大的数据蜘蛛是不会抓取的,比如说JS,视频,MP3,flash以及框架。这些都是蜘蛛不会抓取的内容。
 
七.当蜘蛛抓取网站,优先抓取的是什么?
 
       答案是robots,它是网站的协议,当蜘蛛访问你的网站时,它会优先的访问这个路径,而此路径的作用在于告诉蜘蛛网站内什么东西是可以抓取的,什么东西是不能被抓取的,这是一个用户协议,倘若站长朋友并非设置此文件,那么蜘蛛将会默认为在这个网站任何东西都是可以被抓取的。下面便是robots一些基本的用法:



 
【免费营销推广,免费SEO】搜索引擎蜘蛛的抓取方式 

1.User-agent: *
 
Disallow: /sitemap/ (禁止蜘蛛抓取文本网页)
 
2.User-agent: *
 
Disallow: /admin/ (禁止蜘蛛抓取admin目录下所有文件)
 
3.User-agent: *
 
Disallow: .jpg$(防止盗链)
 
4.User-agent: *
 
Disallow: /(禁止二级域名的抓取)


集客网【免费营销推广,微信分销,品牌包装炒作,免费微信营销,北京SEO,深圳SEO,广州SEO,天津SEO,杭州SEO,免费SEO,上海SEO,免费SEO优化,青岛SEO,网站建设】版权所有,转载请注明出处;
 

相关文章
  • 预约专家

    为您提供一对一解决方案
    立即预约
  • 售前咨询

    周一至周五9:00——17:30
    立即咨询
  • 联系方式

    0633-8368638>

    全国7×24小时热线服务
  • 免费报价

    专属专业顾问1对1报价
    免费报价
免费咨询
公司名称
手机号码
所在城市
联系人
先生 女士
邮箱地址
我们会尽快联系您,等待期间需要获取更多信息,请继续访问联系我们。感谢您对集客网产品及服务的支持。