最新消息:秒天秒地秒排名!本站暂不做上海SEO优化,网站优化,seo诊断,关键词排名顾问等业务,目前纯属技术交流,哈哈哈!

网站蜘蛛是怎样爬取网站的?

SEO基础知识 逍遥 1445浏览 0评论

网站蜘蛛是怎样爬取网站的?其实从事SEO优化的我们,在一定的意义上,其实经常打交道的对象就是网站蜘蛛,虽然说蜘蛛只是一个形象的比喻,只是一个搜索引擎的抓取程序,但是我们还是不可小觑,还是有必要去了解下蜘蛛的爬取方式,这对于我们开展优化工作可以起到一定的指导意义。

网站蜘蛛爬取方式

蜘蛛的爬取主要是分为二种方式:深度爬取和广度爬取。

一、深度爬取

这个比较好解释,是指网络蜘蛛会从起始链接开始,一个链接一个链接跟踪下去,处理完这条线 路之后再转入下一个起始链接,继续跟踪链接,形象点说就是一条道走到黑,走完这一条才会换路,比如在图片之中它的抓取路线就是1-2-5,抓完再1-2-6,再到1-3-7,其他以此类推。

二、广度爬取

这个是和深度爬取相对应的,就是蜘蛛会一层层的去爬去,爬完一个层级再去下一个层级,理论上蜘蛛会遍历完所有的链接,在图片中就是1-2,3,4,然后2-5,6,还有3-7;4-8,9,前面使用逗号,它们都是同一个层级。

虽然说蜘蛛主要以这二种抓取方式来进行抓取遍历网站链接,但是这种方式,并不是独立的,一般都会协同工作,相辅相成,横向纵向都会不断蔓延,当然蜘蛛真正在抓取的时候可能比这些说的要复杂的多,但是思路就是这样的。

由于蜘蛛抓取资源的有限性,不可能在固定时间内抓完所有互联网的链接,所以蜘蛛就会有所取舍,他会有一些优先的策略,比如先抓取重要的页面,抓取层级比较浅一点页面等等,这也是我们平时SEO优化时把一些重要内容放在首页的原因之一。

最后还有一点是值得大家注意的,其实前面一直在说蜘蛛爬取,事实上蜘蛛抓取的只是网站的链接,而不是网站的内容,它会把这些链接放在一个URL队列表里面,还会按照重要程度给其排序,会对重要的页面先去抓取内容,所以蜘蛛真正不是在爬行,通过日志也可以知道,蜘蛛访问我们的网站实际上是直接访问,只是我们为了更形象的说明,才有蜘蛛这一称谓。

 

转载请注明:上海SEO » 网站蜘蛛是怎样爬取网站的?

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址