robots.txt文件是什么?配置怎么写?

作为基础的seo优化细节,robots.txt是必不可少的文件。

一、Robots文件是什么

“robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。”

通俗的讲,robtos文件就是网站与搜索引擎蜘蛛的一个协议,这个协议告诉了搜索引擎蜘蛛,哪些文件不能抓取,哪些文件优先抓取。

二、robots文件的作用

robots文件的主要作用有两个:

1.告诉搜索引擎蜘蛛,网站中哪些文件不允许被抓取;

2.告诉搜索引擎蜘蛛,网站中哪些无效索引页面可以被删除;

三、robots.txt文件的配置怎么写

robots文件里最主要有3个参数:

User-agent:蜘蛛名称/指定的搜索引擎蜘蛛名称
Disallow:内容名称/要禁止抓取的内容
Allow:内容名称/允许抓取的内容

写法如下(仅供参考):

User-agent: *
Disallow:/wp-admin/
Disallow:/wp-content/

*表示所有搜索引擎的意思,就是禁止抓取“wp-admin”和“wp-content”两个目录文件。

具体参考可以看《WordPress网站的robots文件怎么写》。

三、robots文件在哪里

当我们在记事本写好robots文件的内容后,保存名为robots.txt,上传到网站根目录即可。

想要查看一个网站的robots文件,可以直接:域名/robots.txt的方式查看。如:

https://waraplay.com/robots.txt

四、robots文件的优化技巧

在seo圈里,有一个共同的常识,即在robots文件的最底部放入网站地图的链接地址。

这是robots文件里一个小的优化技巧。

写法就是:

sitemap:https://waraplay.com/sitemap.xml

一般是写入xml格式的就行了,不用放入html。

这个优化的原理就是,刚已经说了,robots文件是蜘蛛抓取网站的第一个文件,而站点地图又放了网站里的所有链接。

那么这样子,蜘蛛就可以第一时间通过站点地图抓取网站所有的页面链接。

robots文件

以上就是关于robots.txt文件是什么?robots文件配置怎么写的所有内容。

参考资料:

1.《百度百科:robots

2.《谷歌站长平台:robots文件简介

相关文章