如何吸引百度蜘蛛来抓取更多的页面
1.网站和页面权重。质量高、资格老的网站被被认为权重比较高,这种网站上的页面被爬行的深度也会比较高,收录也会很多。
2.网站的更新频率。蜘蛛每次爬行都会把页面数据存储起来。如果第二次爬行发现页面与第一次收录的完全一样,说明页面没有更新,蜘蛛也就没有必要经常抓取了。页面内容经常更新,蜘蛛就会更加频繁的访问页面,页面上出现的新链接,自然会被蜘蛛更快地跟踪、抓取。参考文章:为什么说网站内容更新非常重要
3.网站的原创内容。原创的内容对于百度蜘蛛的诱惑力是非常巨大的,原创的内容就好象是主食,蜘蛛是每天都需要的。参考文章:如何写出高质量的原创文章
4.网站的整体结构。包括:title 中是否嵌入关键词、网站标题、meta 中的关键字、描述标签、导航栏等。参考文章: seo 提高如何构建良好的网站结构
5. 建设网站地图。网站地图就好比是一个指向标,唯有清晰明了的指向标才能指引蜘蛛的去向。方便快捷的道路也会勾引来更多的蜘蛛。
6.内部链接优化。蜘蛛来到你的网站之后,自然会通过你的网站结构,遍历你的网站,几乎能够跑遍你网站上的所有链接,这些链接一旦出现死链接,就很容易造成蜘蛛爬不出来,次数多了,百度自然会对你网站没有好印象。
7.网站的外部链接。要被蜘蛛抓取,就必须有导入链接进入页面,否则蜘蛛根本没有机会知道页面的存在。参考文章:seo高质量外部链接的标准是什么?