文章中心

提高百度蜘蛛抓取网站方法

类别:SEO优化 看过:136

SEO工作者每天都会时刻关注百度蜘蛛有没有来抓取网站,抓取了网站哪些内容,没有抓取网站哪些内容,再没有抓取的页面上观察调整网站的问题。

想要提高百度蜘蛛抓取频率,我们可以从以下几方面入手?

一、使用独立ip空间

一个ip空间绑定多个域名网站,如果有一个网站出现问题并受到百度惩罚,很有可能影响同一个ip空间上的其他网站。

二、网站加载速度

网站加载速度建议不得超过2秒,如果网站加载速度过慢,必然影响用户体验和百度蜘蛛抓取效率。

三、避免网站出现404、503、403等错误

1、404:“NOT FOUND”,表示该网页已经失效,通常在库中删除,百度蜘蛛如果发现这条URL是不会抓取的。

2、503:“Service Unavailable”,表示该网页暂时不能访问。网页返回503状态码,百度蜘蛛不会直接删除这条URL,再访问多次的情况下,网页如果恢复正常,就能正常抓取。如果继续返回503,才会认为是失效链接,从库中删除。

3、403:“Forbidden”, 表示该网页目前禁止访问。如果生成的是新的URL,百度蜘蛛暂时不会抓取,也是会再访问多次;如果是被收录的URL,不会直接删除,短期内同样反复访问几次。如果网页正常访问,则正常抓取;如果仍然禁止访问,那么这条URL也会被认为是失效链接,从库中删除。

四、多种URL重定向的识别

为了让百度蜘蛛能够对多种URL重定向的识别,重定向分别有三类:HTTP 301重定向、Meta refresh重定向和JS重定向。百度目前也支持Canonical标签。

五、抓取优先级调配

想让搜索引擎抓取网站全部页面,是没有百分百的。所以需要在抓取系统设计抓取优先级调配。

抓取优先级调配包含:宽度优先遍历策略、PR优先策略、深度优先遍历策略等等。根据实际情况结合多种策略使用完善抓取效果。

六、过滤重复的URL

网站出现重复的URL过多,会引发被降权。

重复页面可以使用301重定向,在服务器端对标准URL进行定义。把不标准的URL都301重定向到标准的URL上。

七、提高网站内容原创性

百度蜘蛛比较喜欢原创文章,而且能帮助用户解决问题的文章。

八、网站要根据用户需求设计

网站满足用户需求越高,网站访问量就越大,百度蜘蛛抓取频率就越高。

九、抓取频次上限调整

通过百度站长工具的抓取频次上限调整来提高对网站抓取频率。

上篇:交换友情链接注意事项

下篇:快速提高百度对网站的信任度方法

请长按下方链接进行复制发给好友~
http://www.yidongseo.com/mobile/article_view_3_163.html
确定