欢迎您访问北大青鸟昌平校区

400-870-7892

全国咨询热线

您现在所在位置:北大青鸟 >网络学院 >

简单分析搜索引擎蜘蛛的爬取策略

来源:北大青鸟昌平校区 | 更新时间:2017-06-29

搜索引擎蜘蛛每天是怎么样去爬取我们的网的呢?针对这些你有多少的了解?那搜索引擎蜘蛛的爬取过程又是怎么样的呢?在搜索引擎蜘蛛系统中,待爬取URL队列是很关键的部分,需要蜘蛛爬取的网页URL在其中顺序排列,形成一个队列结构,调度程序每次从队列头取出某个URL,发送给网页下载器页面内容,每个新下载的页面包含的URL会追加到待爬取URL队列的末尾,如此形成循环,整个爬虫系统可以说是由这个队列驱动运转的。同样我们的网站每天都要经过这样一个队列,让搜索引擎进行爬取的。

那么待爬取URL队列中的页面URL 的排列顺序是如何来确定的呢?上面我们说了将新下载页面中的包含的链接追加到队列尾部,这固然是一种确定队列URL顺序的方法,但并非唯一的手段,事实上,还可以采纳很多其他技术来实现,将队列中待爬取的URL进行排序。那么究竟搜索引擎蜘蛛是按照什么样的策略进行的爬取呢?以下我们来进行更深入的分析吧。

第一、宽度优化遍历策略

宽度优化遍历是一种非常简单直观且历史很悠久的遍历方法,在搜索引擎爬虫一出现就开始采用了。新提出的抓取策略往往会将这种方法作为比较基准,但应该注意到的是,这种策略也是一种相当强悍的方法,很多新方法实际效果不见昨比宽度优化遍历策略好,所以至今这种方法也是很多实际爬虫系统优先采用的爬取策略。网页爬取顺序基本是按照网页的重要性排序的。之所以如此,有研究人员认为,如果某个网页包含很多入链,那么更有可能被宽度优化遍历策略早早爬到,而入链这个数从侧面体现了网页的重要性,即实际上宽度优化遍历策略隐含了一些网页优化级假设。

第二、非完全pagerank策略

PageRank是一种著名的链接分析算法,可以用来衡量网页的重要性。很自然地,可以想到用PageRank的思想来对URL优化级进行排序。但是这里有个问题,PageRank是个全局性算法,也就是说当所有网页下载完成后,其计算结果才是可靠的,而爬虫的目的就是去下载网页,在运行过程中只能看到一部分页面,所以在爬取阶段的网页是无法获得可靠的PageRank得分的。对于已经下载的网页,加上待爬取的URL队列中的一URL一起,形成网页集合,在此集合内进行PageRank计算,计算完成之后,将待爬取URL队列里的网页按照按照PageRank得分由高低排序,形成的序列就是爬虫接下来应该依次爬取的URL列表。这也是为何称之为“非完全PageRank”的原因,。

第三、OPIC策略( Online Page Importance Computation)

OPIC的字面含义是“在线页面重要性计算”,可以将其看做是一种改进的PageRank算法。在算法开始之前,每个互联网页面都给予相同的现金,每当下载了某个页面P后,P就将自己拥有的现金平均分配给页面中包含的链接页面,氢自己的现金清空。而对于待爬取URL队列中的网页,则根据其手头拥有的现金金额多少排序,优先下载现金最充裕的网页,OPIC从大的框架上与PageRank思路基本一致,区别在于:PageRank每次需要迭代计算,而OPIC策略不需要迭代过程。所以计算速度远远快与PageRank,适合实时 计算使用。同时,PageRank,在计算时,存在向无链接关系网页的远程跳转过程,而OPIC没有这一计算因子。实验结果表明,OPIC是较好的重要性衡量策略,效果略优于宽度优化遍历策略。

第四、大站优化策略

大部优化策略思路很直接:以网站为单位来选题网页重要性,对于待爬取URL队列中的网页根据所属网站归类,如果哪个网站等待下载的页面最多,则优化先下载这些链接,其本质思想倾向于优先下载大型网站。因为大型网站往往包含更多的页面。鉴于大型网站往往是著名企业的内容,其网页质量一般较高,所以这个思路虽然简单,但是有一定依据。实验表明这个算法效果也要略优先于宽度优先遍历策略。

第五、网页更新策略

互联网的动态是其显著特征,随时都有新出现的页面,页面的内容被更改或者本来存在的页面删除。对于爬虫来说,并非将网页抓取到本地就算完成任务,也要体现出互联网这种动态性。本地下载的网页可被看做是互联网页的镜像,爬虫要尽可能保证其一致性。可以假设一种情况:某 个网页已被删除或者内容做出重大变动,而搜索引擎对此惘然无知,仍然按其旧有内容排序,将其作为搜索结果提供给用记,其用户体验度之糟糕不言而喻。所以对于已经爬取的网页,爬虫还要负责保持其内容和互联网页面内容的同步,这取决于爬虫所彩用的网页更新策略。网页更新策略的任务是要决定何时重新爬取之前已经下载过和网页,以尽可能使得本地下载网页和互联网原始页面内容保持一致。常用的网页更新策略有三种:历史参考策略,用户体验度策略和聚类抽样策略。

(1)什么是历史参考策略?

历史参考策略是最直观的一种更新策略,它建立于如下假设之上:过去频繁更新的网页,那么将来也会频繁更新,所以为了预估某个网页何时进行更新,可以通过参考其历史更新情况来做出决定。

从这一点可以看出,我们网站的更新一定要有规律的进行,这样才能让搜索引擎蜘蛛更好的来关注你的网站,把握你的网站,很多人在更新网站的时候,不知道为什么要做规律性的更新,这就是真正存在的原因。

(2)什么是用户体验度策略?

这个很明显,大家都知道。一般来说,搜索引擎用户提交查询结果后,相关的搜索结果可能成千上万,而用户没有耐心去查看排在后面的搜索结果,往往只盾前三页搜索内容,用户体验策略就是利用搜索引擎用户的这个特点来设计更新策略的。

(3)聚类抽样策略

上面介绍的两种网页更新策略严重依赖网页的历史更新信息,因为这是能够进行后续计算的基础。但在现实中为每个网页保存历史信息,搜索系统会增加 额外的负担。从另外一个角度考虑,如果是首次爬取的网页,因为没有历史信息,所以也就无法按照这两种思路去预估其更新周期,聚类抽样,策略即是为了解决上述缺点而提出的。网页一般具有一些属性,根据这些属性可以预测其更新周期,具有相信属性的网页,其更新周期也是类似的。

通过以上对搜索引擎蜘蛛的爬取过程以及爬取策略进行了简单的了解之后,你是否应该有些考虑了?试着对自己的网站进行改变了?以上的一些原因说明了搜索引擎的更新是有规律以及有章法进行的,要想更能适应搜索引擎的更新原则和蜘蛛爬取原则,我们就应该从更基础的入手去进行全面的分析和总结。

<
  • 北京哪个电脑培训学校好?

    北京哪个电脑培训学校好?在这个网络时代,很多人都想通过学好电脑知识来找一份工资待遇好一点的工作。由于电脑知识比较广泛,需要学习的方向很多,因此建议学电脑的人选择...详细

  • 北大青鸟计算机学校有什么优势

    现在的行业竞争非常激烈,要想学到真知识和过硬技能,就快快到最具优势的北大青鸟昌平校区学习吧。预知详情,请点击下文...详细

  • 北大青鸟计算机专业的就业方向

    想拿高薪,想拥有更好更宽广的就业机会吗?北大青鸟昌平校区网络营销专业圆你就业梦。...详细

  • 北京北大青鸟网络工程师就业好吗?

    张磊同学:老师好,我是我今年高中毕业,自己想找个行业技术培训的地方比较好好培训自己为的是将来自己能用有个好的工作,听问北京北京 北大青鸟 不错,所以我想问问 北京...详细

  • 北京北大青鸟哪家好

    北京北大青鸟哪家好?北大青鸟昌平校区从开办以来,已经为社会输送了大批的人才,并受到各个企业的赞誉,学校内先进的课程体系,强劲的师资力量,优秀的办学模式都是促进学员成才...详细

  • 北大青鸟benet5.0网络工程师课程特点

    BENET网络工程师培训 BENET网络工程师培训--培养目标 : BENET产品定位的目标是就业岗位(网络工程师)的核心技能点。作为产品的培养目标,即培养学员能够纵横职场的6大就...详细

  • 北大青鸟学校哪个好?

    很多学生在选择 北大青鸟 学校的时候,都要对比一下看看 北大青鸟学校 哪个好? 北大青鸟学校哪个好?不能听人说,而要自己去考察,北大青鸟学校哪个好?只有亲自来看过的人才...详细

  • 北大青鸟学费多少?有没有什么收费的标准?

    老师您好!我是一名高中生,因为文化课成绩不是很好,所以我对考重点大学是没太大希望的,所以想学计算机技术,靠自己的能力挣钱,不知道北大青鸟学费是什么?有没有什么收...详细

  • 关于北大青鸟学费是多少?学校怎么样?

    我是北大青鸟的一名在读生、关于 北大青鸟学费多少 的问题,相信是所有想来北大青鸟的人都关心的问题。很多人在没来之前应该已经了解了很多关于学IT方面的学校、会觉得北大...详细

  • 北大青鸟学校怎么样、学费是多少?

    吉勇哲同学问:你好老师您好,我由于成绩不理想,没能考上大学。但是我对电脑、网络这方面比较感兴趣,所以我想学习电脑技术。听说北大青鸟还不错,所以我想来北大青鸟学习...详细

  • 北大青鸟云计算课程

    1、采用微电影形式,使用真实的硬件服务器进行演练,网络原理采用了Flsh动画形式,实现快速入门; 2、能够掌握计算机网络、安全及Liunx系统基础知识,会进行Liunx系统管 ...详细

  • 北大青鸟BCUI专业详细介绍

    北大青鸟职业教育《U世界薪技能BCUI 2.0》新专业线上发布会 专业概述:BCUI2.0 全称:北大青鸟认证的全链路UI设计专业 培养目标: 养成严谨、规范的工作习惯 具备审美情趣...详细

  • 北大青鸟学士后Java软件工程师

    Java做为一种全球开发者最多的一种独立的开发工具,不光有着强大的应用范围,同时在其各种就业岗位上,薪资也一直是位居前列的。从而吸引了如此之多的软件开发人员参与进来...详细

  • 北大青鸟昌平校区都有什么课程?

    现在有很多学员想学习IT行业技术可是因为自己有工作所以想问北大青鸟昌平校区有什么课程? 首先老师要对想通过培训来进步自己的行业技术水准从而进入互联网网络这一行的同...详细

  • 北大青鸟昌平校区:转角,阳光依旧精彩

    每一位来到北大青鸟昌平校区的学员一进门就能看到,教育改变生活就几个大字。可见,这几个字对于北大青鸟的重要意义,也正因为坚信着这个理念,多年来,北大青鸟昌平校区为...详细

  • 北大青鸟网络工程师培训系列课程

    全国人民耳熟能详的北大青鸟,拥有课程是面向全社会的系统化、职业化、北大青鸟IT培训的课程北大青鸟昌平校区是全国三甲校区。 为了满足社会大众合学员的学习需求,适应新...详细

  • 教育规范化成为北大青鸟致胜关键

    现如今,想要在这个发展迅速的复社会找到立足之处,能不能更好的完善自己是解决问题的关键。而且善于从别的人身上发现优点会是未来的生存之道,所以,提升自己成为更好生存...详细

  • 北大青鸟网络工程师课程怎么样?

    蒋晴晴同学问:老师您好,我现在想学习网络工程师课程,因为现在的待遇不是很好,网络工程师的待遇听说不错,但是不太了解北大青鸟网络工程师课程怎么样? 选择北大青鸟,...详细

  • COT与专业课的完美融合,打造职场精英

    随着企业和网络的发展,企业对用人方面要求也在逐渐提高,并不是指要求高学历,而是更多的要求员工的工作经验和能力,这些才是用人单位比较看重的。所以在大学里学到的知识...详细

  • 北大青鸟Java软件开发为大学生成功就业增添胜利筹码

    在招聘会上,大量的求职者都想要能够在这里结束自己的求职生涯,找到一份好工作。因此很多人进行了精心的准备。但是最后的结果,那些经过精心准备的应届毕业生成功入职的人...详细

热门话题

在线客服

ONLINE SERVICE

联系电话

18210170187

返回顶部