WordPress的网站要想写好robots文件,还真得研究研究WordPress的一些页面。
基础的robots文件写法可以参考:
这里列出必须要禁止的目录:
禁止收录WordPress系统文件: Disallow:/wp-admin/ Disallow:/wp-content/ Disallow:/wp-includes/
禁止收录WordPress的重复内容、作者页面、动态页面等垃圾页面: Disallow: /trackback/ Disallow: /author/ Disallow: //feed Disallow: /function. Disallow: /?s=* Disallow: //?s=\ Disallow: /wp-*.php
综合上述,我们一个完整的WordPress网站robots文件可以这样写:
User-agent: * Disallow:/wp-admin/ Disallow:/wp-content/ Disallow:/wp-includes/ Disallow: /trackback/ Disallow: /author/ Disallow: //feed Disallow: /function. Disallow: /?s=* Disallow: //?s=\ Disallow: /wp-*.php Disallow:/DotBot Disallow:/SemrushBot Disallow:/Uptimebot Disallow:/MJ12bot Disallow:/MegaIndex.ru Disallow:/ZoominfoBot Disallow:/Mail.Ru Disallow:/SeznamBot Disallow:/BLEXBot Disallow:/ExtLinksBot Disallow:/aiHitBot Disallow:/Researchscan Disallow:/DnyzBot Disallow:/spbot Disallow:/YandexBot Disallow:/404.html sitemap:https://waraplay.com/sitemap.xml
禁止dotbot到yandexbot的抓取,都是一些没必要的蜘蛛。