欢迎您访问北大青鸟昌平校区

400-870-7892

全国咨询热线

您现在所在位置: 北大青鸟 > 网络学院

深入剖析搜索引擎蜘蛛工作对SEO的提升

来源:北大青鸟昌平校区 | 更新时间:2017-06-29 23:32:23

搜索引擎蜘蛛是搜索引擎自身的一个程序,它的作用是对网站的网页进行访问,抓取网页的文字、图片等信息,建立一个数据库,反馈给搜索引擎,当用户搜索的时候,搜索引擎就会把收集到的信息过滤,通过复杂的排序算法将它认为对用户最有用的信息呈现出来。深入分析网站的SEO表现的时候,一般我们就会考虑搜索引擎蜘蛛的抓取质量,而其中能够帮我们优化网站可能会涉及到下面的几个蜘蛛抓取相关的概念:

1.爬取率:既定时间内网站被蜘蛛获取的页面数量。

2.爬取频率:搜索引擎多久对网站或单个网页发起一次新的爬行。

3.爬取深度:一个蜘蛛从开始位置可以点击到多深。

4.爬取饱和度:唯一页面被获取的数量。

5.爬取优先:那些页面最常作为蜘蛛的入口。

6.爬取冗余度:网站一般被多少蜘蛛同时爬取。

7.爬取mapping:蜘蛛爬取路径还原。

这几个概念也是我们可以用来做数据分析的几个方面,那么如何将他们运用到SEO当中去呢?下面我简单地谈一谈自己的一些具体的想法。

1、分析爬取率验证模糊经验理论

分析搜索引擎蜘蛛首先会考虑的一个参数就是爬取量,一般我们考虑蜘蛛爬取量的单位是以一天为一个时间段,那么我们很多时候考虑的就是一天时间内的爬取率。当然,你也可以根据自己的需要调整时间段的限定,如划分到每个小时,来充分了解各个时间段的蜘蛛的抓取情况,然后针对性的做一些调整。其中我觉得一类分析可以给我们带来很多的成就感,即对于一些模糊经验理论的验证。

例如我们经常听到这样一句话:“做网站内容的时候要定时定量的更新,培养搜索引擎蜘蛛的抓取习惯,随意的改变更新时间,可能影响蜘蛛对网站内容的抓取”,这句话到底正确不正确呢?这里就可以运用网站的日志进行分析搜索引擎蜘蛛的抓取率来解释。具体的操作方法就是对一个月内每天每个小时段的蜘蛛抓取情况进行拆分统计(注意数据样本选取的合理性),然后对每个时间段进行分析,对比就可以发现哪个时间段搜索引擎蜘蛛来的比较勤,再和自己做内容更新的情况进行一个对比就可以很快的得出结论。

2、提高爬取频率提高提升收录

搜索引擎蜘蛛的爬取频率很多时候是由网站内容质量决定的,因为只有网站有更新鲜更好的内容,才能更吸引蜘蛛来反复抓取,例如很多大型的内容型网站,每天更新大量的内容,这样就把蜘蛛一直留在了站内,页面抓取的频率自然会提高。而提升了爬取频率,对于页面中内容和链接的更新就会被搜索引擎蜘蛛更快的抓取到,能够更充分的收录网站的页面内容信息。

很多朋友都说自己的网站快照不更新,或者滞后好几天,个人觉得也是蜘蛛抓取的频率不够造成的。要想快照更新快,特别是新站,前期一定要多做内容建设,内容页面如果没有内容的更新,一般蜘蛛可能不会抓取收录,或者抓取了但是不返回数据,当下次用户搜索时候可能就会调用搜索引擎数据库中存储的一些数据。

3、研究蜘蛛爬取习惯并优化习惯

至于后面谈到搜索引擎蜘蛛的爬取深度,饱和度,优先爬取,冗余度以及爬取路径都是对于蜘蛛爬取习惯和爬取策略的研究,因为自己也没有针对性的去实践分析,所以只能在理论上谈谈自己的一些想法。

搜索引擎蜘蛛的爬取深度如果不够深,主要是因为网站在结构布局的时候没有考虑到这蜘蛛是否能够充分抓取或者是否按照一层一层的抓取,这里就涉及到链接入口的布局,也就会考虑到蜘蛛爬取优先的一些入口,很多时候对一些大的网站做诊断,来提升其流量和收录主要的策略布局就是优化蜘蛛抓取优先的入口,实现的方法就是采用nofollow标签屏蔽一些页面。还需要分析的可能是爬取的饱和度,因为对于单个页面的爬取太多是在浪费蜘蛛资源,我们如果能够适当的控制这些资源的分配,那么对于页面的抓取和收录的提升肯定有很大的帮助。

至于冗余度和爬取路径可能就需要大家再深入的分析,后面如果还有深入的文章会再和大家一起探讨蜘蛛抓取的情况。

<
  • 北大青鸟网络工程师课程怎么样?

    蒋晴晴同学问:老师您好,我现在想学习网络工程师课程,因为现在的待遇不是很好,网络工程师的待遇听说不错,但是不太了解北大青鸟网络工程师课程怎么样? 选择北大青鸟,北大青鸟是中国非常大计算机职业培育机构,主要培训互联网软件精英,旨在提升学员技术...详细

  • 网络营销工程师薪资待遇怎么样?

    魏敏同学问:老师你好,我今年就要高中毕业了,可是感触自己很迷惘,也不知道以后该如何走,我想学习一门行业技术,希望老师可以介绍一下学校环境,谢谢老师了。 魏敏同学你好,因为现在的就业市场竞争残酷,越来越多的工作公司已经更偏重于,可以为工作公司...详细

  • 为什么学习计算机技术?前景才是王道

    你为什么学IT因为工资高啊 大家应该都知道,近几年高校不断在扩招,毕业生的人数一年比一年多,再加上出国留学回来的以及没找到工作的往届生,还有社会职场转行或辞职或待业人士。就业形势非常严峻,竞争更是异常激烈。 其实现如今,众多企业在用人方面,除了看学历、...详细

  • 北大青鸟就业怎么样?昌平北大青鸟怎么样?

    北大青鸟教材与传统教材的编排方式不同,北大青鸟课程采用真实的项目贯穿每一门课程。理论课上老师会通过一个案例、项目的讲解引出技术内容,要求学员在上机课自己逐步完成一个类似的项目。...详细

  • 北大青鸟电脑培训学校怎么样?

    北大青鸟电脑培训学校怎么样?针对这个问题,每个人都有自己的评判标准,也会众说纷纭。毕竟北大青鸟是中国最大的IT人才培训机构,是IT职业教育的领导品牌,在国内的IT培训市场的市场占有率连续七年第一。所谓树大招风,北大青鸟有这样傲人的成绩,自然也会遭到其他同行...详细

  • 北大青鸟电脑培训学校怎么样

    随着毕业高峰期的来临,最近很多同学都在我们官网咨询如何选择培训机构的问题,...详细

  • 石家庄裕华区北大青鸟怎么样?

    苏同学问:老师您好,我去年大学毕业了,现在在一家公司上班,工作倒是不累,也没有加班的情况,我这人天生就喜欢忙碌,我想让每天的生活过得充实一些,所以我打算利用业余时间去学习计算机,上网查了一下,总体反映北大青鸟还不错,我想问一下老师您石家庄裕华区北大青...详细

  • 辛集市北大青鸟怎么样?计算机基础差可以学会吗?

    张同学问:老师您好,我今年18岁,刚好高中毕业,我大学考得不理想,打算学习一门技术。都说学计算机挺好的,我在网上搜到了不少的计算机培训学校,对北大青鸟的整体评价还是很好的。我想问问老师辛集市北大青鸟怎么样?我只会一些简单的办公软件,像我计算机基础这么...详细

  • 北大青鸟就业怎么样呢

      北大青鸟作为一家职业技能培训学校,这是一个永恒的考验。北大青鸟就业怎么样呢?北大青鸟是国内第一家IT培训机构,我们的目标便是帮助学员实现高薪就业,通过深入企业,调查企业岗位员工所需的基本素质和职业技能,然后根据调查结果改变现有的教学方案,培养企业...详细

  • 北大青鸟住宿条件怎么样?

    北大青鸟住宿环境 北大青鸟住宿怎么样? 北大青鸟校区位于北京市中心,往南700出,所处地理环境优越,周围2、4号地铁围绕,通行30多条公交线路,交通便利。学校四周有餐饮小吃一条街,味道可口,价格相对较为便宜,方便学生日常生活。...详细

  • 走属于自己的路

    每人的人生路都不一样,那么为什么有的人会成功,有的人则是默默无闻的做些细小的工作。成功的人,都在思考,怎样才能使自己成功,选择适合自己的路是不容易的,在慢慢的摸索中,时间或长或短,都是值得我们期待的。 中国的沪杭高速铁路开通了,引起了日媒的...详细

  • 带上惊喜看世博

    中国在本届世博会开幕前就曾向世界许诺办一届成功、精彩、难忘的世博会。为兑现这个承诺,中国自2002年成功申办世博会起,便一往无前踏上创纪录之旅,开创世博历史上多个之最,为159岁高龄百年盛会注入全新的中国力量。 本届世博会创下参加规模之最中国的盛...详细

  • 桌面之争何时休

    最近,360和QQ之间的争夺战成为抢人眼球的新闻,后来金山、百度、遨游、可牛等四家公司联合QQ一起抵抗奇虎360的一些做法,想要发起行业自律,平静这一番争论。 腾讯利用自己的资源优势,凡是登录QQ的人,就会出现一个弹窗新闻,以引起广大网民的注意。而奇虎...详细

  • 北大青鸟:发展就是要与时俱进

    2010年10月19日,乐酷天正式上线。 乐酷天商城是由全球最大的中文搜索引擎百度与全球B2B2C网络购物平台模式的开拓者和领导者日本乐天集团合资建立的电子商务公司,目标为打造中国超大型网络购物商城,为中国消费者提供正宗高质量的商品和服务,引领中国网络...详细

  • 北大青鸟,超越无限

    北京时间10月1日18时59分57秒,中国在西昌卫星发射中心用长征三号丙运载火箭,将嫦娥二号卫星成功送入了太空。 10月6日上午,在经历了星箭分离、卫星入轨、中途修正,约112小时后,高速飞行的嫦娥二号卫星即将迎来探月征程上的一次严峻考验近月制动。 这是一...详细

  • “我爸是某某”背后的意义

    李某在国内一所大学的校园里醉酒驾车导致一死一伤,被人拦下后高呼我爸是某某,迅速成为媒体热议的焦点。 李某在撞人后丝毫没有意识到要下车救人,反而加速开车继续前行,直到从宿舍返回的途中被这所大学的学生们拦下,李某下车之后,完全没有理会伤者,而是...详细

  • 简简单单就好

    人们都在追求成功,而成功有时离我们其实很近,就看你是如何抓住它的。简简单单的成功是最有效果的。 最近我看到这样的小故事,说的就是简单的生活,更容易获得成功。 小鸟和老鹰是好朋友,它们都有远大的生活抱负。在太平洋东岸生活久了,它们决定飞往太平...详细

  • 走自己个性化的路

    最近看到有篇报道《朝鲜禁止模仿韩服饰,严格管制宋惠乔发型》。朝鲜当局对居民哈韩行为实行严格管制,禁止模仿韩国服饰、化妆方法,以及发型。朝鲜当局下达指示严管韩国伤风败俗风潮。宣传说,它麻痹人们的自主意识,是一切社会罪恶的温床。朝鲜纠察队经常...详细

  • 北大青鸟:就业实践最重要

    在二十世纪六、七十年代中国的文化大革命运动后期,中国共产党组织大量城市知识青年离开城市,在农村定居和劳动的政治运动,这就是我们俗称的上山下乡运动。那个年代的知识青年在黄土地上播撒着知识,又能从实践中获得经验。在今天看来,也是一个可以借鉴的...详细

  • 北大青鸟:通讯方式的转变

    前几天突然心血来潮,想给远方的同学写一封信,信是很快就写好了,可是遇到了一个难题。买信封让我跑了好远的路,都有点想要放弃了,心想,再走一家超市,如果还没有,我就不打算寄出去了。出乎意料的是,在这家不起眼的小商店里,还真的有信封和邮票,还是...详细

热门话题

在线客服

ONLINE SERVICE

联系电话

18210170187

返回顶部