欢迎您访问北大青鸟昌平校区

400-870-7892

全国咨询热线

您现在所在位置:北大青鸟 >网络学院 >

搜索引擎网页去重算法分析

来源:北大青鸟昌平校区 | 更新时间:2017-06-29

相关统计数据表明:互联网上近似重复的、网页的数量占网页总数量的比例高达29%,完全相同的网页大约占网页总数量的22%.研究表明,在一个大型的信息采集系统中,30%的网页是和另外70%的网页完全重复或近似重复的。: L) M* J" P9 ?% |$ c 即:互联网的网页中相当高的比例的网页内容是近似相同或完全相同的!8 f1 e$ B% z# ]8 a5 b 搜索爬虫抓取会产生网页重复的类型: 1.多个URL地址指向同一网页以及镜像站点 如:www.sina.com 和www.sina.com.cn 指向同一个站点。, ^" n4 m4 ^. u) C# c 2. 网页内容重复或近似重复% f' Q+ F+ T' G; v5 _ f 如抄袭、转摘的内容,垃圾信息等 网页内容近似重复检测的两种应用场合:" U. F A( ^8 F" v- U 一:在用户搜索阶段 目标是根据与用户给定的查询词找到已有索引列表中近似重复的文档,并排序输出。: D0 \- `5 l8 n 二:爬虫抓取发现阶段& u: J3 @. K8 L8 ~; l: t9 g 对一个新的网页,爬虫程序通过网页去重算法,最终决定是否对其索引。& x8 _" S5 D7 x$ q3 |4 C, s3 F/ s9 I8 }( G! W 近似重复网页类型,根据文章内容和网页布局格式的组合分为4种形式: 一:两篇文档在内容和布局格式上毫无区别,则这种重复称为完全重复页面。, v; s) E8 K; _ 二:两篇文档内容相同,但布局格式不同,则这种重复称为内容重复页面。5 }' b0 K' \. ~# {, {2 q 三:两篇文档有部分重要的内容相同,并且布局格式相同,则这种重复称为布局重复页面。6 A/ s6 g2 |& d 四:两篇文档有部分重要内容相同,但布局格式不同,则这种重复称为部分重复页面。, u: ?# C+ d% w* y6 R9 F+ i( M- q4 [%+ w5 u3 W; C+ L7 R* C* _5 f 9 U/ g6 S9 Q" F9 w! U 重复网页对的不利影响: 正常情况下,非常相似的网页内容不能或只能给用户提供少量的新信息,但在对爬虫进行抓、索引和用户搜索 会消耗大量的服务器资源。 重复网页对搜索引擎的好处:- o6 A5 p' K/ g! L; U 如果某个网页重复性很高,往往是其内容比较比较受欢迎的一种体现,也预示着该网页相对比较重要。应予以优先收录。当用户搜索时,在输出结果排序时,也应给与较高的权重。" {1 m5 |$ n5 v5 @8 o' N 重复文档的处理方式:! O) ~! R2 `6 s- T 1.删除 2.将重复文档分组6 f! K3 D" J: G& F. t2 c 搜索引擎近似重复检测流程: : I- L% N, S- H/ x/ q2 a SimHash文档指纹计算方法 : 1)从文档中提取具有权值的 特征集合来表示文档。如:假设特征都是由词组成的,词的权值由词频TF 来确定。% Z& J% L. j/ j- Q, l7 ^8 A7 J: z 2)对每一个词,通过哈希算法生成N位(通常情况是64位或更多)的二进制数值,如上图,以生成8位的二进制值为例。每个词都对应各自不同的二进制值。. i% Y7 i; S/ T9 P# D3 P7 _ 3)在N维(上图为8维)的向量V中,分别对每维向量进行计算。如果词相应的比特位的二进制数值为1,则对其特征权值进行加法运算;如果比特位数值为0,则进行减法运算,通过这种方式对向量进行更新。 4)当所有的词都按照上述处理完毕后,如果向量V中第i维是正数,则将N位的指纹中第i位设置为1,否则为0。 Jacccard相似性计算方法: 如上图,A和B代表2个集合,集合C代表集合A和B相同的部分。 A集合包含5个元素,B集合包含4个元素,而两者相同的元素有2个,即集合C的大小是2. Jaccard计算两个集合相同的元素占总元素的比例。 如图中,集合A和集合B共有7个不同的元素,相同元素个数2个,所以集合A和集合B的相似性为:2/7 在实际应用中,集合A 和 集合B 的特征都会经过哈希计算,转化成N位(64位甚至更多)的二进制数值,从而将集合A和B的相似性比较转化为二进制数值的比较,称为“海明距离”的比较。两个位数相同(如均为64位)相同位置上不同的二进制数值的个数称为“海明距离”。9 b) g. _. {6 F8 V/ w0 e& _9 Q 对给定的文档A,假设经过特征抽取--哈希指纹运算后的二进制数值是:1 0 0 0 0 0 1 0- A$ M* H% {+ ^! ~' S 对给定的文档B, 假设经过特征抽取—哈希指纹运算后的二进制数值是:0 0 1 0 0 0 0 1) R5 P! e) v1 B. H; E1 经过比较,文档A 和 B的 第1位、第3位、第7位、第8位四个位置的数值不同,即海明距离为4. 两个文档的二进制位数不同的个数越多,海明距离越大。海明距离越大,说明两个文档不相似性越大,反之,则越小。 不同搜索引擎可能会以不同的海明距离值 来判断两个网页内容是否近似重复。相关分析认为,一般情况下,对一个64位的二进制数值来说,将海明距离<=3作为判断是否近似重复的标准比较合理.

<
  • 北大青鸟网络工程师课程怎么样?

    蒋晴晴同学问:老师您好,我现在想学习网络工程师课程,因为现在的待遇不是很好,网络工程师的待遇听说不错,但是不太了解北大青鸟网络工程师课程怎么样? 选择北大青鸟,...详细

  • 网络营销工程师薪资待遇怎么样?

    魏敏同学问:老师你好,我今年就要高中毕业了,可是感触自己很迷惘,也不知道以后该如何走,我想学习一门行业技术,希望老师可以介绍一下学校环境,谢谢老师了。 魏敏同学...详细

  • 关于北大青鸟学费是多少?学校怎么样?

    我是北大青鸟的一名在读生、关于 北大青鸟学费多少 的问题,相信是所有想来北大青鸟的人都关心的问题。很多人在没来之前应该已经了解了很多关于学IT方面的学校、会觉得北大...详细

  • 北大青鸟学校怎么样、学费是多少?

    吉勇哲同学问:你好老师您好,我由于成绩不理想,没能考上大学。但是我对电脑、网络这方面比较感兴趣,所以我想学习电脑技术。听说北大青鸟还不错,所以我想来北大青鸟学习...详细

  • 北大青鸟计算机学校怎么样、学费是多少?

    毛中汉同学问:北大青鸟昌平校区的老师你好!虽然我一直都在努力学习,但是成绩并不理想,我担心自己毕业后找不到工作。老师我该怎么办?现在大学生就业真的和我担心那样吗?...详细

  • 北大青鸟好不好就业怎么样?学费是多少?

    罗飞韬同学问:北大青鸟昌平校区的老师好!我今年十七岁,目前还在一所高中就业,可是我实在是不想读书了,觉得很多东西都学不会。一直怕父母担心和不同意我这么做,希望老...详细

  • 北京昌平北大青鸟环境好不好?

    北大青鸟昌平校区,毕业之后选择职业人生物有所值! 昌平校区温馨, 学习浓郁的气氛围绕着我们,昌平北大青鸟的老师的讲课生动幽默,引人入胜,同学们相处的很融洽,网络梦...详细

  • 市场营销课程培训怎么样?

    对于现在的社会而言,我们年轻人想要富有,唯一能做的就是找准市场,抓住时机和机遇, 自己创业当老板。如果你的想法正是这些的话,现在就要开始了解和学习一些相关课程了...详细

  • 北大青鸟就业怎么样呢

      北大青鸟作为一家职业技能培训学校,这是一个永恒的考验。北大青鸟就业怎么样呢?北大青鸟是国内第一家IT培训机构,我们...详细

  • IT行业发展前景到底怎么样?

    对于一些理工科生,思维逻辑好,对自己未来的路很迷茫,同时又没关系,没背景,不怕吃苦,不怕持续学习,那么我建议你首选 IT 行业,而且首选编程,不管是薪资还是行业的未...详细

  • 就业路上,职业培训先行

    在中国,现阶段的大学生普遍遭遇了就业难危机,这个阴影在很长时间都无法摆脱。要想成功闯过这个险滩,选择合适的职业培训,就已经成功了一半了。 除了区域人才一体化、订...详细

  • 高质量就业

    每到秋季,是收获的季节,也是职场人重新选择工作的季节。求职者都希望最近的工作最好,薪资最高,这一切的收获,要靠自己的努力才能得来的,不是跳槽就能解决的问题。我们...详细

  • 入职名企不再遥不可及

    名企是求职者首选的对象,但不是每个人都有机会进入名企。一般来说,名企招聘人才的标准会比一般的公司严格许多。但是,这些似乎都挡不住求职者的脚步,尤其是一些IT企业更...详细

  • 金融危机影响下的大学生就业

    金融危机带来的影响反映在方方面面,无论是企业、工厂还是普通的百姓,都能够以不同的方式感受到金融危机带给我们的种种不利影响。 就拿高校的大学毕业生来说,对他们的影...详细

  • 大学生变成另类农民工

    说到农民工,大家的第一感觉可能就是那些背井离乡,生活在城市的最底层,拿着最低的工资的人。其实这样的观念早已过时了,现在的农民工是一个城市的发展不可或缺的人,一旦...详细

  • 防不胜防的网络黑客

    电脑网络用户一见黑客这样的字眼,就马上会想到自己的电脑还安全吗?不知有没有人在你好不毫不知情的情况下,通过远程的系统或者代码的控制,窃取了你电脑里的一些私密东西...详细

  • 北大青鸟:发展就是要与时俱进

    2010年10月19日,乐酷天正式上线。 乐酷天商城是由全球最大的中文搜索引擎百度与全球B2B2C网络购物平台模式的开拓者和领导者日本乐天集团合资建立的电子商务公司,目标为打...详细

  • 桌面之争何时休

    最近,360和QQ之间的争夺战成为抢人眼球的新闻,后来金山、百度、遨游、可牛等四家公司联合QQ一起抵抗奇虎360的一些做法,想要发起行业自律,平静这一番争论。 腾讯利用自...详细

  • 带上惊喜看世博

    中国在本届世博会开幕前就曾向世界许诺办一届成功、精彩、难忘的世博会。为兑现这个承诺,中国自2002年成功申办世博会起,便一往无前踏上创纪录之旅,开创世博历史上多个之...详细

  • 走属于自己的路

    每人的人生路都不一样,那么为什么有的人会成功,有的人则是默默无闻的做些细小的工作。成功的人,都在思考,怎样才能使自己成功,选择适合自己的路是不容易的,在慢慢的摸...详细

热门话题

在线客服

ONLINE SERVICE

联系电话

18210170187

返回顶部