欢迎您访问北大青鸟昌平校区

400-870-7892

全国咨询热线

您现在所在位置:北大青鸟 >网络学院 >

深入剖析搜索引擎蜘蛛工作对SEO的提升

来源:北大青鸟昌平校区 | 更新时间:2017-06-29

搜索引擎蜘蛛是搜索引擎自身的一个程序,它的作用是对网站的网页进行访问,抓取网页的文字、图片等信息,建立一个数据库,反馈给搜索引擎,当用户搜索的时候,搜索引擎就会把收集到的信息过滤,通过复杂的排序算法将它认为对用户最有用的信息呈现出来。深入分析网站的SEO表现的时候,一般我们就会考虑搜索引擎蜘蛛的抓取质量,而其中能够帮我们优化网站可能会涉及到下面的几个蜘蛛抓取相关的概念:

1.爬取率:既定时间内网站被蜘蛛获取的页面数量。

2.爬取频率:搜索引擎多久对网站或单个网页发起一次新的爬行。

3.爬取深度:一个蜘蛛从开始位置可以点击到多深。

4.爬取饱和度:唯一页面被获取的数量。

5.爬取优先:那些页面最常作为蜘蛛的入口。

6.爬取冗余度:网站一般被多少蜘蛛同时爬取。

7.爬取mapping:蜘蛛爬取路径还原。

这几个概念也是我们可以用来做数据分析的几个方面,那么如何将他们运用到SEO当中去呢?下面我简单地谈一谈自己的一些具体的想法。

1、分析爬取率验证模糊经验理论

分析搜索引擎蜘蛛首先会考虑的一个参数就是爬取量,一般我们考虑蜘蛛爬取量的单位是以一天为一个时间段,那么我们很多时候考虑的就是一天时间内的爬取率。当然,你也可以根据自己的需要调整时间段的限定,如划分到每个小时,来充分了解各个时间段的蜘蛛的抓取情况,然后针对性的做一些调整。其中我觉得一类分析可以给我们带来很多的成就感,即对于一些模糊经验理论的验证。

例如我们经常听到这样一句话:“做网站内容的时候要定时定量的更新,培养搜索引擎蜘蛛的抓取习惯,随意的改变更新时间,可能影响蜘蛛对网站内容的抓取”,这句话到底正确不正确呢?这里就可以运用网站的日志进行分析搜索引擎蜘蛛的抓取率来解释。具体的操作方法就是对一个月内每天每个小时段的蜘蛛抓取情况进行拆分统计(注意数据样本选取的合理性),然后对每个时间段进行分析,对比就可以发现哪个时间段搜索引擎蜘蛛来的比较勤,再和自己做内容更新的情况进行一个对比就可以很快的得出结论。

2、提高爬取频率提高提升收录

搜索引擎蜘蛛的爬取频率很多时候是由网站内容质量决定的,因为只有网站有更新鲜更好的内容,才能更吸引蜘蛛来反复抓取,例如很多大型的内容型网站,每天更新大量的内容,这样就把蜘蛛一直留在了站内,页面抓取的频率自然会提高。而提升了爬取频率,对于页面中内容和链接的更新就会被搜索引擎蜘蛛更快的抓取到,能够更充分的收录网站的页面内容信息。

很多朋友都说自己的网站快照不更新,或者滞后好几天,个人觉得也是蜘蛛抓取的频率不够造成的。要想快照更新快,特别是新站,前期一定要多做内容建设,内容页面如果没有内容的更新,一般蜘蛛可能不会抓取收录,或者抓取了但是不返回数据,当下次用户搜索时候可能就会调用搜索引擎数据库中存储的一些数据。

3、研究蜘蛛爬取习惯并优化习惯

至于后面谈到搜索引擎蜘蛛的爬取深度,饱和度,优先爬取,冗余度以及爬取路径都是对于蜘蛛爬取习惯和爬取策略的研究,因为自己也没有针对性的去实践分析,所以只能在理论上谈谈自己的一些想法。

搜索引擎蜘蛛的爬取深度如果不够深,主要是因为网站在结构布局的时候没有考虑到这蜘蛛是否能够充分抓取或者是否按照一层一层的抓取,这里就涉及到链接入口的布局,也就会考虑到蜘蛛爬取优先的一些入口,很多时候对一些大的网站做诊断,来提升其流量和收录主要的策略布局就是优化蜘蛛抓取优先的入口,实现的方法就是采用nofollow标签屏蔽一些页面。还需要分析的可能是爬取的饱和度,因为对于单个页面的爬取太多是在浪费蜘蛛资源,我们如果能够适当的控制这些资源的分配,那么对于页面的抓取和收录的提升肯定有很大的帮助。

至于冗余度和爬取路径可能就需要大家再深入的分析,后面如果还有深入的文章会再和大家一起探讨蜘蛛抓取的情况。

<
  • 北大青鸟网络工程师课程怎么样?

    蒋晴晴同学问:老师您好,我现在想学习网络工程师课程,因为现在的待遇不是很好,网络工程师的待遇听说不错,但是不太了解北大青鸟网络工程师课程怎么样? 选择北大青鸟,...详细

  • 网络营销工程师薪资待遇怎么样?

    魏敏同学问:老师你好,我今年就要高中毕业了,可是感触自己很迷惘,也不知道以后该如何走,我想学习一门行业技术,希望老师可以介绍一下学校环境,谢谢老师了。 魏敏同学...详细

  • 关于北大青鸟学费是多少?学校怎么样?

    我是北大青鸟的一名在读生、关于 北大青鸟学费多少 的问题,相信是所有想来北大青鸟的人都关心的问题。很多人在没来之前应该已经了解了很多关于学IT方面的学校、会觉得北大...详细

  • 北大青鸟学校怎么样、学费是多少?

    吉勇哲同学问:你好老师您好,我由于成绩不理想,没能考上大学。但是我对电脑、网络这方面比较感兴趣,所以我想学习电脑技术。听说北大青鸟还不错,所以我想来北大青鸟学习...详细

  • 北大青鸟计算机学校怎么样、学费是多少?

    毛中汉同学问:北大青鸟昌平校区的老师你好!虽然我一直都在努力学习,但是成绩并不理想,我担心自己毕业后找不到工作。老师我该怎么办?现在大学生就业真的和我担心那样吗?...详细

  • 北大青鸟好不好就业怎么样?学费是多少?

    罗飞韬同学问:北大青鸟昌平校区的老师好!我今年十七岁,目前还在一所高中就业,可是我实在是不想读书了,觉得很多东西都学不会。一直怕父母担心和不同意我这么做,希望老...详细

  • 北京昌平北大青鸟环境好不好?

    北大青鸟昌平校区,毕业之后选择职业人生物有所值! 昌平校区温馨, 学习浓郁的气氛围绕着我们,昌平北大青鸟的老师的讲课生动幽默,引人入胜,同学们相处的很融洽,网络梦...详细

  • 市场营销课程培训怎么样?

    对于现在的社会而言,我们年轻人想要富有,唯一能做的就是找准市场,抓住时机和机遇, 自己创业当老板。如果你的想法正是这些的话,现在就要开始了解和学习一些相关课程了...详细

  • 北大青鸟就业怎么样呢

      北大青鸟作为一家职业技能培训学校,这是一个永恒的考验。北大青鸟就业怎么样呢?北大青鸟是国内第一家IT培训机构,我们...详细

  • IT行业发展前景到底怎么样?

    对于一些理工科生,思维逻辑好,对自己未来的路很迷茫,同时又没关系,没背景,不怕吃苦,不怕持续学习,那么我建议你首选 IT 行业,而且首选编程,不管是薪资还是行业的未...详细

  • 就业路上,职业培训先行

    在中国,现阶段的大学生普遍遭遇了就业难危机,这个阴影在很长时间都无法摆脱。要想成功闯过这个险滩,选择合适的职业培训,就已经成功了一半了。 除了区域人才一体化、订...详细

  • 高质量就业

    每到秋季,是收获的季节,也是职场人重新选择工作的季节。求职者都希望最近的工作最好,薪资最高,这一切的收获,要靠自己的努力才能得来的,不是跳槽就能解决的问题。我们...详细

  • 入职名企不再遥不可及

    名企是求职者首选的对象,但不是每个人都有机会进入名企。一般来说,名企招聘人才的标准会比一般的公司严格许多。但是,这些似乎都挡不住求职者的脚步,尤其是一些IT企业更...详细

  • 金融危机影响下的大学生就业

    金融危机带来的影响反映在方方面面,无论是企业、工厂还是普通的百姓,都能够以不同的方式感受到金融危机带给我们的种种不利影响。 就拿高校的大学毕业生来说,对他们的影...详细

  • 大学生变成另类农民工

    说到农民工,大家的第一感觉可能就是那些背井离乡,生活在城市的最底层,拿着最低的工资的人。其实这样的观念早已过时了,现在的农民工是一个城市的发展不可或缺的人,一旦...详细

  • 防不胜防的网络黑客

    电脑网络用户一见黑客这样的字眼,就马上会想到自己的电脑还安全吗?不知有没有人在你好不毫不知情的情况下,通过远程的系统或者代码的控制,窃取了你电脑里的一些私密东西...详细

  • 北大青鸟:发展就是要与时俱进

    2010年10月19日,乐酷天正式上线。 乐酷天商城是由全球最大的中文搜索引擎百度与全球B2B2C网络购物平台模式的开拓者和领导者日本乐天集团合资建立的电子商务公司,目标为打...详细

  • 桌面之争何时休

    最近,360和QQ之间的争夺战成为抢人眼球的新闻,后来金山、百度、遨游、可牛等四家公司联合QQ一起抵抗奇虎360的一些做法,想要发起行业自律,平静这一番争论。 腾讯利用自...详细

  • 带上惊喜看世博

    中国在本届世博会开幕前就曾向世界许诺办一届成功、精彩、难忘的世博会。为兑现这个承诺,中国自2002年成功申办世博会起,便一往无前踏上创纪录之旅,开创世博历史上多个之...详细

  • 走属于自己的路

    每人的人生路都不一样,那么为什么有的人会成功,有的人则是默默无闻的做些细小的工作。成功的人,都在思考,怎样才能使自己成功,选择适合自己的路是不容易的,在慢慢的摸...详细

热门话题

在线客服

ONLINE SERVICE

联系电话

18210170187

返回顶部