WordPress站点如何书写robots.txt

WordPress优化2年前 (2022)发布 小萝卜头
634 0 0
robots协议(也称为爬虫协议、爬虫规则、机器人协议等),也就是通常添加到网站根目录的robots.txt 文件,它的作用在于告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,从而优化网站的收录结果和权重。
如果你的网站根目录还没有robots.txt,你可以在本地创建一个,具体的写法请参考百度百科,书写好后利用FTP工具上传网站根目录即可,然后去百度站长robots更新一下。下面是一个基本的 WordPress  robots协议:
  1. Useragent: *
  2. Disallow: /wp-admin/
  3. Disallow: /wp-content/
  4. Disallow: /wp-includes/
  5. Disallow: /*/comment-page-*
  6. Disallow: /*?replytocom=*
  7. Disallow: /category/*/page/
  8. Disallow: /tag/*/page/
  9. Disallow: /*/trackback
  10. Disallow: /feed
  11. Disallow: /*/feed
  12. Disallow: /comments/feed
  13. Disallow: /?s=*
  14. Disallow: /*/?s=*\
  15. Disallow: /attachment/
  16. Sitemap: https://iluo.vip/sitemap.xml

上面只是些基本的写法,当然还有很多,但是对于新手wordpress站长来讲已经够用了。

本文来源于(详细介绍):莫小九

 

© 版权声明

相关文章

暂无评论

  • 愛羅导航
    愛羅导航 游客

    学习了

    中国江西 移动数据上网公共出口
    回复
  • 愛羅导航
    愛羅导航 游客

    特来向博主学习的,感谢

    中国江西 移动数据上网公共出口
    回复