欢迎您访问北大青鸟昌平校区

400-870-7892

全国咨询热线

您现在所在位置: 北大青鸟 > 网络学院

搜索引擎网页去重算法分析

来源:北大青鸟昌平校区 | 更新时间:2017-06-29 23:31:18

相关统计数据表明:互联网上近似重复的、网页的数量占网页总数量的比例高达29%,完全相同的网页大约占网页总数量的22%.研究表明,在一个大型的信息采集系统中,30%的网页是和另外70%的网页完全重复或近似重复的。: L) M* J" P9 ?% |$ c 即:互联网的网页中相当高的比例的网页内容是近似相同或完全相同的!8 f1 e$ B% z# ]8 a5 b 搜索爬虫抓取会产生网页重复的类型: 1.多个URL地址指向同一网页以及镜像站点 如:www.sina.com 和www.sina.com.cn 指向同一个站点。, ^" n4 m4 ^. u) C# c 2. 网页内容重复或近似重复% f' Q+ F+ T' G; v5 _ f 如抄袭、转摘的内容,垃圾信息等 网页内容近似重复检测的两种应用场合:" U. F A( ^8 F" v- U 一:在用户搜索阶段 目标是根据与用户给定的查询词找到已有索引列表中近似重复的文档,并排序输出。: D0 \- `5 l8 n 二:爬虫抓取发现阶段& u: J3 @. K8 L8 ~; l: t9 g 对一个新的网页,爬虫程序通过网页去重算法,最终决定是否对其索引。& x8 _" S5 D7 x$ q3 |4 C, s3 F/ s9 I8 }( G! W 近似重复网页类型,根据文章内容和网页布局格式的组合分为4种形式: 一:两篇文档在内容和布局格式上毫无区别,则这种重复称为完全重复页面。, v; s) E8 K; _ 二:两篇文档内容相同,但布局格式不同,则这种重复称为内容重复页面。5 }' b0 K' \. ~# {, {2 q 三:两篇文档有部分重要的内容相同,并且布局格式相同,则这种重复称为布局重复页面。6 A/ s6 g2 |& d 四:两篇文档有部分重要内容相同,但布局格式不同,则这种重复称为部分重复页面。, u: ?# C+ d% w* y6 R9 F+ i( M- q4 [%+ w5 u3 W; C+ L7 R* C* _5 f 9 U/ g6 S9 Q" F9 w! U 重复网页对的不利影响: 正常情况下,非常相似的网页内容不能或只能给用户提供少量的新信息,但在对爬虫进行抓、索引和用户搜索 会消耗大量的服务器资源。 重复网页对搜索引擎的好处:- o6 A5 p' K/ g! L; U 如果某个网页重复性很高,往往是其内容比较比较受欢迎的一种体现,也预示着该网页相对比较重要。应予以优先收录。当用户搜索时,在输出结果排序时,也应给与较高的权重。" {1 m5 |$ n5 v5 @8 o' N 重复文档的处理方式:! O) ~! R2 `6 s- T 1.删除 2.将重复文档分组6 f! K3 D" J: G& F. t2 c 搜索引擎近似重复检测流程: : I- L% N, S- H/ x/ q2 a SimHash文档指纹计算方法 : 1)从文档中提取具有权值的 特征集合来表示文档。如:假设特征都是由词组成的,词的权值由词频TF 来确定。% Z& J% L. j/ j- Q, l7 ^8 A7 J: z 2)对每一个词,通过哈希算法生成N位(通常情况是64位或更多)的二进制数值,如上图,以生成8位的二进制值为例。每个词都对应各自不同的二进制值。. i% Y7 i; S/ T9 P# D3 P7 _ 3)在N维(上图为8维)的向量V中,分别对每维向量进行计算。如果词相应的比特位的二进制数值为1,则对其特征权值进行加法运算;如果比特位数值为0,则进行减法运算,通过这种方式对向量进行更新。 4)当所有的词都按照上述处理完毕后,如果向量V中第i维是正数,则将N位的指纹中第i位设置为1,否则为0。 Jacccard相似性计算方法: 如上图,A和B代表2个集合,集合C代表集合A和B相同的部分。 A集合包含5个元素,B集合包含4个元素,而两者相同的元素有2个,即集合C的大小是2. Jaccard计算两个集合相同的元素占总元素的比例。 如图中,集合A和集合B共有7个不同的元素,相同元素个数2个,所以集合A和集合B的相似性为:2/7 在实际应用中,集合A 和 集合B 的特征都会经过哈希计算,转化成N位(64位甚至更多)的二进制数值,从而将集合A和B的相似性比较转化为二进制数值的比较,称为“海明距离”的比较。两个位数相同(如均为64位)相同位置上不同的二进制数值的个数称为“海明距离”。9 b) g. _. {6 F8 V/ w0 e& _9 Q 对给定的文档A,假设经过特征抽取--哈希指纹运算后的二进制数值是:1 0 0 0 0 0 1 0- A$ M* H% {+ ^! ~' S 对给定的文档B, 假设经过特征抽取—哈希指纹运算后的二进制数值是:0 0 1 0 0 0 0 1) R5 P! e) v1 B. H; E1 经过比较,文档A 和 B的 第1位、第3位、第7位、第8位四个位置的数值不同,即海明距离为4. 两个文档的二进制位数不同的个数越多,海明距离越大。海明距离越大,说明两个文档不相似性越大,反之,则越小。 不同搜索引擎可能会以不同的海明距离值 来判断两个网页内容是否近似重复。相关分析认为,一般情况下,对一个64位的二进制数值来说,将海明距离<=3作为判断是否近似重复的标准比较合理.

<
  • 北大青鸟网络工程师课程怎么样?

    蒋晴晴同学问:老师您好,我现在想学习网络工程师课程,因为现在的待遇不是很好,网络工程师的待遇听说不错,但是不太了解北大青鸟网络工程师课程怎么样? 选择北大青鸟,北大青鸟是中国非常大计算机职业培育机构,主要培训互联网软件精英,旨在提升学员技术...详细

  • 网络营销工程师薪资待遇怎么样?

    魏敏同学问:老师你好,我今年就要高中毕业了,可是感触自己很迷惘,也不知道以后该如何走,我想学习一门行业技术,希望老师可以介绍一下学校环境,谢谢老师了。 魏敏同学你好,因为现在的就业市场竞争残酷,越来越多的工作公司已经更偏重于,可以为工作公司...详细

  • 为什么学习计算机技术?前景才是王道

    你为什么学IT因为工资高啊 大家应该都知道,近几年高校不断在扩招,毕业生的人数一年比一年多,再加上出国留学回来的以及没找到工作的往届生,还有社会职场转行或辞职或待业人士。就业形势非常严峻,竞争更是异常激烈。 其实现如今,众多企业在用人方面,除了看学历、...详细

  • 北大青鸟就业怎么样?昌平北大青鸟怎么样?

    北大青鸟教材与传统教材的编排方式不同,北大青鸟课程采用真实的项目贯穿每一门课程。理论课上老师会通过一个案例、项目的讲解引出技术内容,要求学员在上机课自己逐步完成一个类似的项目。...详细

  • 北大青鸟电脑培训学校怎么样?

    北大青鸟电脑培训学校怎么样?针对这个问题,每个人都有自己的评判标准,也会众说纷纭。毕竟北大青鸟是中国最大的IT人才培训机构,是IT职业教育的领导品牌,在国内的IT培训市场的市场占有率连续七年第一。所谓树大招风,北大青鸟有这样傲人的成绩,自然也会遭到其他同行...详细

  • 北大青鸟电脑培训学校怎么样

    随着毕业高峰期的来临,最近很多同学都在我们官网咨询如何选择培训机构的问题,...详细

  • 石家庄裕华区北大青鸟怎么样?

    苏同学问:老师您好,我去年大学毕业了,现在在一家公司上班,工作倒是不累,也没有加班的情况,我这人天生就喜欢忙碌,我想让每天的生活过得充实一些,所以我打算利用业余时间去学习计算机,上网查了一下,总体反映北大青鸟还不错,我想问一下老师您石家庄裕华区北大青...详细

  • 辛集市北大青鸟怎么样?计算机基础差可以学会吗?

    张同学问:老师您好,我今年18岁,刚好高中毕业,我大学考得不理想,打算学习一门技术。都说学计算机挺好的,我在网上搜到了不少的计算机培训学校,对北大青鸟的整体评价还是很好的。我想问问老师辛集市北大青鸟怎么样?我只会一些简单的办公软件,像我计算机基础这么...详细

  • 北大青鸟就业怎么样呢

      北大青鸟作为一家职业技能培训学校,这是一个永恒的考验。北大青鸟就业怎么样呢?北大青鸟是国内第一家IT培训机构,我们的目标便是帮助学员实现高薪就业,通过深入企业,调查企业岗位员工所需的基本素质和职业技能,然后根据调查结果改变现有的教学方案,培养企业...详细

  • 北大青鸟住宿条件怎么样?

    北大青鸟住宿环境 北大青鸟住宿怎么样? 北大青鸟校区位于北京市中心,往南700出,所处地理环境优越,周围2、4号地铁围绕,通行30多条公交线路,交通便利。学校四周有餐饮小吃一条街,味道可口,价格相对较为便宜,方便学生日常生活。...详细

  • 走属于自己的路

    每人的人生路都不一样,那么为什么有的人会成功,有的人则是默默无闻的做些细小的工作。成功的人,都在思考,怎样才能使自己成功,选择适合自己的路是不容易的,在慢慢的摸索中,时间或长或短,都是值得我们期待的。 中国的沪杭高速铁路开通了,引起了日媒的...详细

  • 带上惊喜看世博

    中国在本届世博会开幕前就曾向世界许诺办一届成功、精彩、难忘的世博会。为兑现这个承诺,中国自2002年成功申办世博会起,便一往无前踏上创纪录之旅,开创世博历史上多个之最,为159岁高龄百年盛会注入全新的中国力量。 本届世博会创下参加规模之最中国的盛...详细

  • 桌面之争何时休

    最近,360和QQ之间的争夺战成为抢人眼球的新闻,后来金山、百度、遨游、可牛等四家公司联合QQ一起抵抗奇虎360的一些做法,想要发起行业自律,平静这一番争论。 腾讯利用自己的资源优势,凡是登录QQ的人,就会出现一个弹窗新闻,以引起广大网民的注意。而奇虎...详细

  • 北大青鸟:发展就是要与时俱进

    2010年10月19日,乐酷天正式上线。 乐酷天商城是由全球最大的中文搜索引擎百度与全球B2B2C网络购物平台模式的开拓者和领导者日本乐天集团合资建立的电子商务公司,目标为打造中国超大型网络购物商城,为中国消费者提供正宗高质量的商品和服务,引领中国网络...详细

  • 北大青鸟,超越无限

    北京时间10月1日18时59分57秒,中国在西昌卫星发射中心用长征三号丙运载火箭,将嫦娥二号卫星成功送入了太空。 10月6日上午,在经历了星箭分离、卫星入轨、中途修正,约112小时后,高速飞行的嫦娥二号卫星即将迎来探月征程上的一次严峻考验近月制动。 这是一...详细

  • “我爸是某某”背后的意义

    李某在国内一所大学的校园里醉酒驾车导致一死一伤,被人拦下后高呼我爸是某某,迅速成为媒体热议的焦点。 李某在撞人后丝毫没有意识到要下车救人,反而加速开车继续前行,直到从宿舍返回的途中被这所大学的学生们拦下,李某下车之后,完全没有理会伤者,而是...详细

  • 简简单单就好

    人们都在追求成功,而成功有时离我们其实很近,就看你是如何抓住它的。简简单单的成功是最有效果的。 最近我看到这样的小故事,说的就是简单的生活,更容易获得成功。 小鸟和老鹰是好朋友,它们都有远大的生活抱负。在太平洋东岸生活久了,它们决定飞往太平...详细

  • 走自己个性化的路

    最近看到有篇报道《朝鲜禁止模仿韩服饰,严格管制宋惠乔发型》。朝鲜当局对居民哈韩行为实行严格管制,禁止模仿韩国服饰、化妆方法,以及发型。朝鲜当局下达指示严管韩国伤风败俗风潮。宣传说,它麻痹人们的自主意识,是一切社会罪恶的温床。朝鲜纠察队经常...详细

  • 北大青鸟:就业实践最重要

    在二十世纪六、七十年代中国的文化大革命运动后期,中国共产党组织大量城市知识青年离开城市,在农村定居和劳动的政治运动,这就是我们俗称的上山下乡运动。那个年代的知识青年在黄土地上播撒着知识,又能从实践中获得经验。在今天看来,也是一个可以借鉴的...详细

  • 北大青鸟:通讯方式的转变

    前几天突然心血来潮,想给远方的同学写一封信,信是很快就写好了,可是遇到了一个难题。买信封让我跑了好远的路,都有点想要放弃了,心想,再走一家超市,如果还没有,我就不打算寄出去了。出乎意料的是,在这家不起眼的小商店里,还真的有信封和邮票,还是...详细

热门话题

在线客服

ONLINE SERVICE

联系电话

18210170187

返回顶部