文章中心
文章中心
我们以信息质量为主,为客户展现真实可靠的数据
易懂SEO应用系统 > 文章中心 > SEO优化 > 做SEO优化为什么使用robots文件

做SEO优化为什么使用robots文件

网站专员SEO优化396人看过2021-3-22 08:05:38

robots.txt文件是专门定义爬虫规则,也可以说是robots协议,网站通过这robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不希望被抓取。

我们为了更好地做SEO优化,把高质量页面设置允许搜索引擎抓取,把低质量的、重复的页面屏蔽掉,来保证网站是高质量、内容是优质的。

那么我们如何才能正确使用robots.txt文件呢,下面为大家简单写一下robots.txt文件规则:

禁止所有搜索引擎抓取网站的任何部分的规则

User-agent: *

Disallow: /

允许所有搜索引擎抓取网站的任何部分的规则

User-agent: *

Allow: /

禁止spider抓取特定文件或目录规则

User-agent: *

Disallow: /*.css$

Disallow: /*.js$

Disallow: /*.php$

Disallow: /*?*

Disallow: /abc/

本站注重原创,部分内容来源于网络整理,如有侵权,请联系QQ 570803231 进行删改,谢谢。

易懂SEO专注网站建设、SEO优化和网站安全,十多年来通过我们不懈努力获得了众多客户认可和尊重。

我们的目标:让所有用户都能用上一款好的网站系统!

我们的优势