WordPress的网站要想写好robots文件，还真得研究研究WordPress的一些页面。

基础的robots文件写法可以参考：

robots.txt文件是什么?配置怎么写？

这里列出必须要禁止的目录：

禁止收录WordPress系统文件：
Disallow:/wp-admin/
Disallow:/wp-content/
Disallow:/wp-includes/

禁止收录WordPress的重复内容、作者页面、动态页面等垃圾页面：
Disallow: /trackback/
Disallow: /author/
Disallow: //feed Disallow: /function.
Disallow: /?s=*
Disallow: //?s=\
Disallow: /wp-*.php

综合上述，我们一个完整的WordPress网站robots文件可以这样写：

User-agent: *
Disallow:/wp-admin/
Disallow:/wp-content/
Disallow:/wp-includes/
Disallow: /trackback/
Disallow: /author/
Disallow: //feed Disallow: /function.
Disallow: /?s=*
Disallow: //?s=\
Disallow: /wp-*.php

Disallow:/DotBot
Disallow:/SemrushBot
Disallow:/Uptimebot
Disallow:/MJ12bot
Disallow:/MegaIndex.ru
Disallow:/ZoominfoBot
Disallow:/Mail.Ru
Disallow:/SeznamBot
Disallow:/BLEXBot
Disallow:/ExtLinksBot
Disallow:/aiHitBot
Disallow:/Researchscan
Disallow:/DnyzBot
Disallow:/spbot
Disallow:/YandexBot
Disallow:/404.html

sitemap:https://waraplay.com/sitemap.xml

禁止dotbot到yandexbot的抓取，都是一些没必要的蜘蛛。