文章中心

为什么百度蜘蛛会爬网站不存在的页面

类别:SEO优化 看过:155

一、百度蜘蛛爬行不存在页面原因

1、被竞争对手恶意刷外链,也就是说竞争对手恶意的给你发了很多的不存在的页面链接,当蜘蛛发现之后就会来爬取。

2、以前做的网站外链,后来由于网站改版而某些链接没有及时的去除,蜘蛛定期回访的时候爬取了这条链接。

3、使用了老域名,之前的网站结构和我们现在的网站结构不一致造成的。

4、robots文件没有对蜘蛛进行限制。

5、程序的原因,导致百度搜索引擎蜘蛛掉入黑洞。

6、url提交或者ping给百度地址有误。

二、解决方法

1、网站设置404页面,防止百度蜘蛛爬行的不存在页面被收录对网站的影响。

2、通过百度站长平台提交网站的死链接,同时使用robots文件屏蔽蜘蛛抓取这些页面。

3、如果是程序问题,就修复一下程序。

4、如果知道恶意刷外链的IP地址,可以通过空间管理平台封杀IP。

上篇:什么是TAG标签页面?TAG标签页面优化及其作用

下篇:百度升级『蓝天算法』,加强“站点构造目录发布低质内容”识别能力

请长按下方链接进行复制发给好友~
http://www.yidongseo.com/mobile/article_view_3_182.html
确定