文章中心

做SEO优化为什么使用robots文件

类别:SEO优化 看过:397

robots.txt文件是专门定义爬虫规则,也可以说是robots协议,网站通过这robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不希望被抓取。

我们为了更好地做SEO优化,把高质量页面设置允许搜索引擎抓取,把低质量的、重复的页面屏蔽掉,来保证网站是高质量、内容是优质的。

那么我们如何才能正确使用robots.txt文件呢,下面为大家简单写一下robots.txt文件规则:

禁止所有搜索引擎抓取网站的任何部分的规则

User-agent: *

Disallow: /

允许所有搜索引擎抓取网站的任何部分的规则

User-agent: *

Allow: /

禁止spider抓取特定文件或目录规则

User-agent: *

Disallow: /*.css$

Disallow: /*.js$

Disallow: /*.php$

Disallow: /*?*

Disallow: /abc/

上篇:网站更换服务器空间对SEO优化的影响

下篇:百度对网站收录减少总结及解决方法

请长按下方链接进行复制发给好友~
http://www.yidongseo.com/mobile/article_view_3_53.html
确定