欢迎您访问北大青鸟昌平校区

400-870-7892

全国咨询热线

您现在所在位置: 北大青鸟 > 网络学院

简单分析搜索引擎蜘蛛的爬取策略

来源:北大青鸟昌平校区 | 更新时间:2017-06-29 23:32:06

搜索引擎蜘蛛每天是怎么样去爬取我们的网的呢?针对这些你有多少的了解?那搜索引擎蜘蛛的爬取过程又是怎么样的呢?在搜索引擎蜘蛛系统中,待爬取URL队列是很关键的部分,需要蜘蛛爬取的网页URL在其中顺序排列,形成一个队列结构,调度程序每次从队列头取出某个URL,发送给网页下载器页面内容,每个新下载的页面包含的URL会追加到待爬取URL队列的末尾,如此形成循环,整个爬虫系统可以说是由这个队列驱动运转的。同样我们的网站每天都要经过这样一个队列,让搜索引擎进行爬取的。

那么待爬取URL队列中的页面URL 的排列顺序是如何来确定的呢?上面我们说了将新下载页面中的包含的链接追加到队列尾部,这固然是一种确定队列URL顺序的方法,但并非唯一的手段,事实上,还可以采纳很多其他技术来实现,将队列中待爬取的URL进行排序。那么究竟搜索引擎蜘蛛是按照什么样的策略进行的爬取呢?以下我们来进行更深入的分析吧。

第一、宽度优化遍历策略

宽度优化遍历是一种非常简单直观且历史很悠久的遍历方法,在搜索引擎爬虫一出现就开始采用了。新提出的抓取策略往往会将这种方法作为比较基准,但应该注意到的是,这种策略也是一种相当强悍的方法,很多新方法实际效果不见昨比宽度优化遍历策略好,所以至今这种方法也是很多实际爬虫系统优先采用的爬取策略。网页爬取顺序基本是按照网页的重要性排序的。之所以如此,有研究人员认为,如果某个网页包含很多入链,那么更有可能被宽度优化遍历策略早早爬到,而入链这个数从侧面体现了网页的重要性,即实际上宽度优化遍历策略隐含了一些网页优化级假设。

第二、非完全pagerank策略

PageRank是一种著名的链接分析算法,可以用来衡量网页的重要性。很自然地,可以想到用PageRank的思想来对URL优化级进行排序。但是这里有个问题,PageRank是个全局性算法,也就是说当所有网页下载完成后,其计算结果才是可靠的,而爬虫的目的就是去下载网页,在运行过程中只能看到一部分页面,所以在爬取阶段的网页是无法获得可靠的PageRank得分的。对于已经下载的网页,加上待爬取的URL队列中的一URL一起,形成网页集合,在此集合内进行PageRank计算,计算完成之后,将待爬取URL队列里的网页按照按照PageRank得分由高低排序,形成的序列就是爬虫接下来应该依次爬取的URL列表。这也是为何称之为“非完全PageRank”的原因,。

第三、OPIC策略( Online Page Importance Computation)

OPIC的字面含义是“在线页面重要性计算”,可以将其看做是一种改进的PageRank算法。在算法开始之前,每个互联网页面都给予相同的现金,每当下载了某个页面P后,P就将自己拥有的现金平均分配给页面中包含的链接页面,氢自己的现金清空。而对于待爬取URL队列中的网页,则根据其手头拥有的现金金额多少排序,优先下载现金最充裕的网页,OPIC从大的框架上与PageRank思路基本一致,区别在于:PageRank每次需要迭代计算,而OPIC策略不需要迭代过程。所以计算速度远远快与PageRank,适合实时 计算使用。同时,PageRank,在计算时,存在向无链接关系网页的远程跳转过程,而OPIC没有这一计算因子。实验结果表明,OPIC是较好的重要性衡量策略,效果略优于宽度优化遍历策略。

第四、大站优化策略

大部优化策略思路很直接:以网站为单位来选题网页重要性,对于待爬取URL队列中的网页根据所属网站归类,如果哪个网站等待下载的页面最多,则优化先下载这些链接,其本质思想倾向于优先下载大型网站。因为大型网站往往包含更多的页面。鉴于大型网站往往是著名企业的内容,其网页质量一般较高,所以这个思路虽然简单,但是有一定依据。实验表明这个算法效果也要略优先于宽度优先遍历策略。

第五、网页更新策略

互联网的动态是其显著特征,随时都有新出现的页面,页面的内容被更改或者本来存在的页面删除。对于爬虫来说,并非将网页抓取到本地就算完成任务,也要体现出互联网这种动态性。本地下载的网页可被看做是互联网页的镜像,爬虫要尽可能保证其一致性。可以假设一种情况:某 个网页已被删除或者内容做出重大变动,而搜索引擎对此惘然无知,仍然按其旧有内容排序,将其作为搜索结果提供给用记,其用户体验度之糟糕不言而喻。所以对于已经爬取的网页,爬虫还要负责保持其内容和互联网页面内容的同步,这取决于爬虫所彩用的网页更新策略。网页更新策略的任务是要决定何时重新爬取之前已经下载过和网页,以尽可能使得本地下载网页和互联网原始页面内容保持一致。常用的网页更新策略有三种:历史参考策略,用户体验度策略和聚类抽样策略。

(1)什么是历史参考策略?

历史参考策略是最直观的一种更新策略,它建立于如下假设之上:过去频繁更新的网页,那么将来也会频繁更新,所以为了预估某个网页何时进行更新,可以通过参考其历史更新情况来做出决定。

从这一点可以看出,我们网站的更新一定要有规律的进行,这样才能让搜索引擎蜘蛛更好的来关注你的网站,把握你的网站,很多人在更新网站的时候,不知道为什么要做规律性的更新,这就是真正存在的原因。

(2)什么是用户体验度策略?

这个很明显,大家都知道。一般来说,搜索引擎用户提交查询结果后,相关的搜索结果可能成千上万,而用户没有耐心去查看排在后面的搜索结果,往往只盾前三页搜索内容,用户体验策略就是利用搜索引擎用户的这个特点来设计更新策略的。

(3)聚类抽样策略

上面介绍的两种网页更新策略严重依赖网页的历史更新信息,因为这是能够进行后续计算的基础。但在现实中为每个网页保存历史信息,搜索系统会增加 额外的负担。从另外一个角度考虑,如果是首次爬取的网页,因为没有历史信息,所以也就无法按照这两种思路去预估其更新周期,聚类抽样,策略即是为了解决上述缺点而提出的。网页一般具有一些属性,根据这些属性可以预测其更新周期,具有相信属性的网页,其更新周期也是类似的。

通过以上对搜索引擎蜘蛛的爬取过程以及爬取策略进行了简单的了解之后,你是否应该有些考虑了?试着对自己的网站进行改变了?以上的一些原因说明了搜索引擎的更新是有规律以及有章法进行的,要想更能适应搜索引擎的更新原则和蜘蛛爬取原则,我们就应该从更基础的入手去进行全面的分析和总结。

<
  • 北大青鸟网络工程师课程怎么样?

    蒋晴晴同学问:老师您好,我现在想学习网络工程师课程,因为现在的待遇不是很好,网络工程师的待遇听说不错,但是不太了解北大青鸟网络工程师课程怎么样? 选择北大青鸟,北大青鸟是中国非常大计算机职业培育机构,主要培训互联网软件精英,旨在提升学员技术...详细

  • 网络营销工程师薪资待遇怎么样?

    魏敏同学问:老师你好,我今年就要高中毕业了,可是感触自己很迷惘,也不知道以后该如何走,我想学习一门行业技术,希望老师可以介绍一下学校环境,谢谢老师了。 魏敏同学你好,因为现在的就业市场竞争残酷,越来越多的工作公司已经更偏重于,可以为工作公司...详细

  • 为什么学习计算机技术?前景才是王道

    你为什么学IT因为工资高啊 大家应该都知道,近几年高校不断在扩招,毕业生的人数一年比一年多,再加上出国留学回来的以及没找到工作的往届生,还有社会职场转行或辞职或待业人士。就业形势非常严峻,竞争更是异常激烈。 其实现如今,众多企业在用人方面,除了看学历、...详细

  • 北大青鸟就业怎么样?昌平北大青鸟怎么样?

    北大青鸟教材与传统教材的编排方式不同,北大青鸟课程采用真实的项目贯穿每一门课程。理论课上老师会通过一个案例、项目的讲解引出技术内容,要求学员在上机课自己逐步完成一个类似的项目。...详细

  • 北大青鸟电脑培训学校怎么样?

    北大青鸟电脑培训学校怎么样?针对这个问题,每个人都有自己的评判标准,也会众说纷纭。毕竟北大青鸟是中国最大的IT人才培训机构,是IT职业教育的领导品牌,在国内的IT培训市场的市场占有率连续七年第一。所谓树大招风,北大青鸟有这样傲人的成绩,自然也会遭到其他同行...详细

  • 北大青鸟电脑培训学校怎么样

    随着毕业高峰期的来临,最近很多同学都在我们官网咨询如何选择培训机构的问题,...详细

  • 石家庄裕华区北大青鸟怎么样?

    苏同学问:老师您好,我去年大学毕业了,现在在一家公司上班,工作倒是不累,也没有加班的情况,我这人天生就喜欢忙碌,我想让每天的生活过得充实一些,所以我打算利用业余时间去学习计算机,上网查了一下,总体反映北大青鸟还不错,我想问一下老师您石家庄裕华区北大青...详细

  • 辛集市北大青鸟怎么样?计算机基础差可以学会吗?

    张同学问:老师您好,我今年18岁,刚好高中毕业,我大学考得不理想,打算学习一门技术。都说学计算机挺好的,我在网上搜到了不少的计算机培训学校,对北大青鸟的整体评价还是很好的。我想问问老师辛集市北大青鸟怎么样?我只会一些简单的办公软件,像我计算机基础这么...详细

  • 北大青鸟就业怎么样呢

      北大青鸟作为一家职业技能培训学校,这是一个永恒的考验。北大青鸟就业怎么样呢?北大青鸟是国内第一家IT培训机构,我们的目标便是帮助学员实现高薪就业,通过深入企业,调查企业岗位员工所需的基本素质和职业技能,然后根据调查结果改变现有的教学方案,培养企业...详细

  • 北大青鸟住宿条件怎么样?

    北大青鸟住宿环境 北大青鸟住宿怎么样? 北大青鸟校区位于北京市中心,往南700出,所处地理环境优越,周围2、4号地铁围绕,通行30多条公交线路,交通便利。学校四周有餐饮小吃一条街,味道可口,价格相对较为便宜,方便学生日常生活。...详细

  • 走属于自己的路

    每人的人生路都不一样,那么为什么有的人会成功,有的人则是默默无闻的做些细小的工作。成功的人,都在思考,怎样才能使自己成功,选择适合自己的路是不容易的,在慢慢的摸索中,时间或长或短,都是值得我们期待的。 中国的沪杭高速铁路开通了,引起了日媒的...详细

  • 带上惊喜看世博

    中国在本届世博会开幕前就曾向世界许诺办一届成功、精彩、难忘的世博会。为兑现这个承诺,中国自2002年成功申办世博会起,便一往无前踏上创纪录之旅,开创世博历史上多个之最,为159岁高龄百年盛会注入全新的中国力量。 本届世博会创下参加规模之最中国的盛...详细

  • 桌面之争何时休

    最近,360和QQ之间的争夺战成为抢人眼球的新闻,后来金山、百度、遨游、可牛等四家公司联合QQ一起抵抗奇虎360的一些做法,想要发起行业自律,平静这一番争论。 腾讯利用自己的资源优势,凡是登录QQ的人,就会出现一个弹窗新闻,以引起广大网民的注意。而奇虎...详细

  • 北大青鸟:发展就是要与时俱进

    2010年10月19日,乐酷天正式上线。 乐酷天商城是由全球最大的中文搜索引擎百度与全球B2B2C网络购物平台模式的开拓者和领导者日本乐天集团合资建立的电子商务公司,目标为打造中国超大型网络购物商城,为中国消费者提供正宗高质量的商品和服务,引领中国网络...详细

  • 北大青鸟,超越无限

    北京时间10月1日18时59分57秒,中国在西昌卫星发射中心用长征三号丙运载火箭,将嫦娥二号卫星成功送入了太空。 10月6日上午,在经历了星箭分离、卫星入轨、中途修正,约112小时后,高速飞行的嫦娥二号卫星即将迎来探月征程上的一次严峻考验近月制动。 这是一...详细

  • “我爸是某某”背后的意义

    李某在国内一所大学的校园里醉酒驾车导致一死一伤,被人拦下后高呼我爸是某某,迅速成为媒体热议的焦点。 李某在撞人后丝毫没有意识到要下车救人,反而加速开车继续前行,直到从宿舍返回的途中被这所大学的学生们拦下,李某下车之后,完全没有理会伤者,而是...详细

  • 简简单单就好

    人们都在追求成功,而成功有时离我们其实很近,就看你是如何抓住它的。简简单单的成功是最有效果的。 最近我看到这样的小故事,说的就是简单的生活,更容易获得成功。 小鸟和老鹰是好朋友,它们都有远大的生活抱负。在太平洋东岸生活久了,它们决定飞往太平...详细

  • 走自己个性化的路

    最近看到有篇报道《朝鲜禁止模仿韩服饰,严格管制宋惠乔发型》。朝鲜当局对居民哈韩行为实行严格管制,禁止模仿韩国服饰、化妆方法,以及发型。朝鲜当局下达指示严管韩国伤风败俗风潮。宣传说,它麻痹人们的自主意识,是一切社会罪恶的温床。朝鲜纠察队经常...详细

  • 北大青鸟:就业实践最重要

    在二十世纪六、七十年代中国的文化大革命运动后期,中国共产党组织大量城市知识青年离开城市,在农村定居和劳动的政治运动,这就是我们俗称的上山下乡运动。那个年代的知识青年在黄土地上播撒着知识,又能从实践中获得经验。在今天看来,也是一个可以借鉴的...详细

  • 北大青鸟:通讯方式的转变

    前几天突然心血来潮,想给远方的同学写一封信,信是很快就写好了,可是遇到了一个难题。买信封让我跑了好远的路,都有点想要放弃了,心想,再走一家超市,如果还没有,我就不打算寄出去了。出乎意料的是,在这家不起眼的小商店里,还真的有信封和邮票,还是...详细

热门话题

在线客服

ONLINE SERVICE

联系电话

18210170187

返回顶部