冬镜谈谈如何吸引蜘蛛来抓取网站页面

  • 正文内容
  • 相关推荐

SEO人员要想让自己的网站页面被收录的更多,就要想方设法的去吸引蜘蛛来抓取

正常情况下蜘蛛都不可能抓取到所有的页面,我们要做的就是要蜘蛛尽量抓取到重要页面

吸引蜘蛛抓取网站页面

哪些页面被认为比较重要的呢?

下面冬镜就从以下几个方面来讲解影响因素:

1、网站和页面权重

质量高资格老的网站被认为权重就比较高

这种网站上的页面被爬行的深度也会比较高,所以会有更多内容页面会被收录

2、页面更新度

蜘蛛每次爬行都会把页面数据存储起来

如果第二次爬行发现页面与第一次收录的完全一样,就说明页面是没有更新的

只要蜘蛛多次对页面更新频率进行分析后,对于不经常更新的页面,蜘蛛就不会经常去抓取

如果页面内容经常更新,蜘蛛就会频繁地访问这种页面,页面上就会出现新的链接,蜘蛛就会更快的去跟踪抓取新页面

3、导入链接

只要是链接无论是外部链接还是内部链接都是会被蜘蛛抓取的

要想被蜘蛛抓取就必须有导入链接进入页面,否则蜘蛛根本就没有机会知道页面的存在

高质量的导入链接也经常使页面上的导出链接被爬行深度增加

4、与首页点击距离

一个网站权重最高的地方就是首页,大部分外部链接都是指向的首页,而且蜘蛛访问最频繁的也是首页

距离首页越近的距离,页面权重也就越高,被蜘蛛爬行到的机会也就越大

5、URL结构

页面权重是在收录并进行迭代计算后才知道的

那么思考一个问题:

前面我们说过页面的权重高有利于被抓取,那么搜索引擎在抓取前怎么知道这个页面的权重高低讷?

蜘蛛除了要进行预判之外,还要对链接、与首页的距离、历史数据等因素外、短的、层次浅的URL也可能被直观认为在网站上的权重是相对比较高的


本文标签:

本文标题:冬镜谈谈如何吸引蜘蛛来抓取网站页面

本文链接:http://uqseo.com/seorm/57.html

本文收录:[百度已收录] [360已收录] [搜狗未收录]

本文版权:若无特殊标注皆为 冬镜SEO 原创版权,转载时以链接形式注明作者及原始出处

发表评论

电子邮件地址不会被公开。 必填项已用*标注