WordPress网站的robots文件怎么写?

WordPress的网站要想写好robots文件,还真得研究研究WordPress的一些页面。

基础的robots文件写法可以参考:

这里列出必须要禁止的目录:

禁止收录WordPress系统文件:
Disallow:/wp-admin/
Disallow:/wp-content/
Disallow:/wp-includes/
禁止收录WordPress的重复内容、作者页面、动态页面等垃圾页面:
Disallow: /trackback/
Disallow: /author/
Disallow: //feed Disallow: /function.
Disallow: /?s=*
Disallow: //?s=\
Disallow: /wp-*.php

综合上述,我们一个完整的WordPress网站robots文件可以这样写:

User-agent: *
Disallow:/wp-admin/
Disallow:/wp-content/
Disallow:/wp-includes/
Disallow: /trackback/
Disallow: /author/
Disallow: //feed Disallow: /function.
Disallow: /?s=*
Disallow: //?s=\
Disallow: /wp-*.php

Disallow:/DotBot
Disallow:/SemrushBot
Disallow:/Uptimebot
Disallow:/MJ12bot
Disallow:/MegaIndex.ru
Disallow:/ZoominfoBot
Disallow:/Mail.Ru
Disallow:/SeznamBot
Disallow:/BLEXBot
Disallow:/ExtLinksBot
Disallow:/aiHitBot
Disallow:/Researchscan
Disallow:/DnyzBot
Disallow:/spbot
Disallow:/YandexBot
Disallow:/404.html

sitemap:https://waraplay.com/sitemap.xml

禁止dotbot到yandexbot的抓取,都是一些没必要的蜘蛛。

相关文章