欢迎您访问北大青鸟昌平校区

400-870-7892

全国咨询热线

您现在所在位置:北大青鸟 >网络学院 >

搜索引擎网页去重算法分析

来源:北大青鸟昌平校区 | 更新时间:2017-06-29

相关统计数据表明:互联网上近似重复的、网页的数量占网页总数量的比例高达29%,完全相同的网页大约占网页总数量的22%.研究表明,在一个大型的信息采集系统中,30%的网页是和另外70%的网页完全重复或近似重复的。: L) M* J" P9 ?% |$ c 即:互联网的网页中相当高的比例的网页内容是近似相同或完全相同的!8 f1 e$ B% z# ]8 a5 b 搜索爬虫抓取会产生网页重复的类型: 1.多个URL地址指向同一网页以及镜像站点 如:www.sina.com 和www.sina.com.cn 指向同一个站点。, ^" n4 m4 ^. u) C# c 2. 网页内容重复或近似重复% f' Q+ F+ T' G; v5 _ f 如抄袭、转摘的内容,垃圾信息等 网页内容近似重复检测的两种应用场合:" U. F A( ^8 F" v- U 一:在用户搜索阶段 目标是根据与用户给定的查询词找到已有索引列表中近似重复的文档,并排序输出。: D0 \- `5 l8 n 二:爬虫抓取发现阶段& u: J3 @. K8 L8 ~; l: t9 g 对一个新的网页,爬虫程序通过网页去重算法,最终决定是否对其索引。& x8 _" S5 D7 x$ q3 |4 C, s3 F/ s9 I8 }( G! W 近似重复网页类型,根据文章内容和网页布局格式的组合分为4种形式: 一:两篇文档在内容和布局格式上毫无区别,则这种重复称为完全重复页面。, v; s) E8 K; _ 二:两篇文档内容相同,但布局格式不同,则这种重复称为内容重复页面。5 }' b0 K' \. ~# {, {2 q 三:两篇文档有部分重要的内容相同,并且布局格式相同,则这种重复称为布局重复页面。6 A/ s6 g2 |& d 四:两篇文档有部分重要内容相同,但布局格式不同,则这种重复称为部分重复页面。, u: ?# C+ d% w* y6 R9 F+ i( M- q4 [%+ w5 u3 W; C+ L7 R* C* _5 f 9 U/ g6 S9 Q" F9 w! U 重复网页对的不利影响: 正常情况下,非常相似的网页内容不能或只能给用户提供少量的新信息,但在对爬虫进行抓、索引和用户搜索 会消耗大量的服务器资源。 重复网页对搜索引擎的好处:- o6 A5 p' K/ g! L; U 如果某个网页重复性很高,往往是其内容比较比较受欢迎的一种体现,也预示着该网页相对比较重要。应予以优先收录。当用户搜索时,在输出结果排序时,也应给与较高的权重。" {1 m5 |$ n5 v5 @8 o' N 重复文档的处理方式:! O) ~! R2 `6 s- T 1.删除 2.将重复文档分组6 f! K3 D" J: G& F. t2 c 搜索引擎近似重复检测流程: : I- L% N, S- H/ x/ q2 a SimHash文档指纹计算方法 : 1)从文档中提取具有权值的 特征集合来表示文档。如:假设特征都是由词组成的,词的权值由词频TF 来确定。% Z& J% L. j/ j- Q, l7 ^8 A7 J: z 2)对每一个词,通过哈希算法生成N位(通常情况是64位或更多)的二进制数值,如上图,以生成8位的二进制值为例。每个词都对应各自不同的二进制值。. i% Y7 i; S/ T9 P# D3 P7 _ 3)在N维(上图为8维)的向量V中,分别对每维向量进行计算。如果词相应的比特位的二进制数值为1,则对其特征权值进行加法运算;如果比特位数值为0,则进行减法运算,通过这种方式对向量进行更新。 4)当所有的词都按照上述处理完毕后,如果向量V中第i维是正数,则将N位的指纹中第i位设置为1,否则为0。 Jacccard相似性计算方法: 如上图,A和B代表2个集合,集合C代表集合A和B相同的部分。 A集合包含5个元素,B集合包含4个元素,而两者相同的元素有2个,即集合C的大小是2. Jaccard计算两个集合相同的元素占总元素的比例。 如图中,集合A和集合B共有7个不同的元素,相同元素个数2个,所以集合A和集合B的相似性为:2/7 在实际应用中,集合A 和 集合B 的特征都会经过哈希计算,转化成N位(64位甚至更多)的二进制数值,从而将集合A和B的相似性比较转化为二进制数值的比较,称为“海明距离”的比较。两个位数相同(如均为64位)相同位置上不同的二进制数值的个数称为“海明距离”。9 b) g. _. {6 F8 V/ w0 e& _9 Q 对给定的文档A,假设经过特征抽取--哈希指纹运算后的二进制数值是:1 0 0 0 0 0 1 0- A$ M* H% {+ ^! ~' S 对给定的文档B, 假设经过特征抽取—哈希指纹运算后的二进制数值是:0 0 1 0 0 0 0 1) R5 P! e) v1 B. H; E1 经过比较,文档A 和 B的 第1位、第3位、第7位、第8位四个位置的数值不同,即海明距离为4. 两个文档的二进制位数不同的个数越多,海明距离越大。海明距离越大,说明两个文档不相似性越大,反之,则越小。 不同搜索引擎可能会以不同的海明距离值 来判断两个网页内容是否近似重复。相关分析认为,一般情况下,对一个64位的二进制数值来说,将海明距离<=3作为判断是否近似重复的标准比较合理.

<
  • 北京哪个电脑培训学校好?

    北京哪个电脑培训学校好?在这个网络时代,很多人都想通过学好电脑知识来找一份工资待遇好一点的工作。由于电脑知识比较广泛,需要学习的方向很多,因此建议学电脑的人选择...详细

  • 北大青鸟计算机学校有什么优势

    现在的行业竞争非常激烈,要想学到真知识和过硬技能,就快快到最具优势的北大青鸟昌平校区学习吧。预知详情,请点击下文...详细

  • 北大青鸟计算机专业的就业方向

    想拿高薪,想拥有更好更宽广的就业机会吗?北大青鸟昌平校区网络营销专业圆你就业梦。...详细

  • 北京北大青鸟网络工程师就业好吗?

    张磊同学:老师好,我是我今年高中毕业,自己想找个行业技术培训的地方比较好好培训自己为的是将来自己能用有个好的工作,听问北京北京 北大青鸟 不错,所以我想问问 北京...详细

  • 北京北大青鸟哪家好

    北京北大青鸟哪家好?北大青鸟昌平校区从开办以来,已经为社会输送了大批的人才,并受到各个企业的赞誉,学校内先进的课程体系,强劲的师资力量,优秀的办学模式都是促进学员成才...详细

  • 北大青鸟benet5.0网络工程师课程特点

    BENET网络工程师培训 BENET网络工程师培训--培养目标 : BENET产品定位的目标是就业岗位(网络工程师)的核心技能点。作为产品的培养目标,即培养学员能够纵横职场的6大就...详细

  • 北大青鸟学校哪个好?

    很多学生在选择 北大青鸟 学校的时候,都要对比一下看看 北大青鸟学校 哪个好? 北大青鸟学校哪个好?不能听人说,而要自己去考察,北大青鸟学校哪个好?只有亲自来看过的人才...详细

  • 北大青鸟学费多少?有没有什么收费的标准?

    老师您好!我是一名高中生,因为文化课成绩不是很好,所以我对考重点大学是没太大希望的,所以想学计算机技术,靠自己的能力挣钱,不知道北大青鸟学费是什么?有没有什么收...详细

  • 关于北大青鸟学费是多少?学校怎么样?

    我是北大青鸟的一名在读生、关于 北大青鸟学费多少 的问题,相信是所有想来北大青鸟的人都关心的问题。很多人在没来之前应该已经了解了很多关于学IT方面的学校、会觉得北大...详细

  • 北大青鸟学校怎么样、学费是多少?

    吉勇哲同学问:你好老师您好,我由于成绩不理想,没能考上大学。但是我对电脑、网络这方面比较感兴趣,所以我想学习电脑技术。听说北大青鸟还不错,所以我想来北大青鸟学习...详细

  • 北大青鸟云计算课程

    1、采用微电影形式,使用真实的硬件服务器进行演练,网络原理采用了Flsh动画形式,实现快速入门; 2、能够掌握计算机网络、安全及Liunx系统基础知识,会进行Liunx系统管 ...详细

  • 北大青鸟BCUI专业详细介绍

    北大青鸟职业教育《U世界薪技能BCUI 2.0》新专业线上发布会 专业概述:BCUI2.0 全称:北大青鸟认证的全链路UI设计专业 培养目标: 养成严谨、规范的工作习惯 具备审美情趣...详细

  • 北大青鸟学士后Java软件工程师

    Java做为一种全球开发者最多的一种独立的开发工具,不光有着强大的应用范围,同时在其各种就业岗位上,薪资也一直是位居前列的。从而吸引了如此之多的软件开发人员参与进来...详细

  • 北大青鸟昌平校区都有什么课程?

    现在有很多学员想学习IT行业技术可是因为自己有工作所以想问北大青鸟昌平校区有什么课程? 首先老师要对想通过培训来进步自己的行业技术水准从而进入互联网网络这一行的同...详细

  • 北大青鸟昌平校区:转角,阳光依旧精彩

    每一位来到北大青鸟昌平校区的学员一进门就能看到,教育改变生活就几个大字。可见,这几个字对于北大青鸟的重要意义,也正因为坚信着这个理念,多年来,北大青鸟昌平校区为...详细

  • 北大青鸟网络工程师培训系列课程

    全国人民耳熟能详的北大青鸟,拥有课程是面向全社会的系统化、职业化、北大青鸟IT培训的课程北大青鸟昌平校区是全国三甲校区。 为了满足社会大众合学员的学习需求,适应新...详细

  • 教育规范化成为北大青鸟致胜关键

    现如今,想要在这个发展迅速的复社会找到立足之处,能不能更好的完善自己是解决问题的关键。而且善于从别的人身上发现优点会是未来的生存之道,所以,提升自己成为更好生存...详细

  • 北大青鸟网络工程师课程怎么样?

    蒋晴晴同学问:老师您好,我现在想学习网络工程师课程,因为现在的待遇不是很好,网络工程师的待遇听说不错,但是不太了解北大青鸟网络工程师课程怎么样? 选择北大青鸟,...详细

  • COT与专业课的完美融合,打造职场精英

    随着企业和网络的发展,企业对用人方面要求也在逐渐提高,并不是指要求高学历,而是更多的要求员工的工作经验和能力,这些才是用人单位比较看重的。所以在大学里学到的知识...详细

  • 北大青鸟Java软件开发为大学生成功就业增添胜利筹码

    在招聘会上,大量的求职者都想要能够在这里结束自己的求职生涯,找到一份好工作。因此很多人进行了精心的准备。但是最后的结果,那些经过精心准备的应届毕业生成功入职的人...详细

热门话题

在线客服

ONLINE SERVICE

联系电话

18210170187

返回顶部