WordPress站点如何书写robots.txt
robots协议(也称为爬虫协议、爬虫规则、机器人协议等),也就是通常添加到网站根目录的robots.txt 文件,它的作用在于告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,从而优化网站的收录结果和权重。
如果你的网站根目录还没有robots.txt,你可以在本地创建一个,具体的写法请参考百度百科,书写好后利用FTP工具上传网站根目录即可,然后去百度站长robots更新一下。下面是一个基本的 WordPress robots协议:
- User–agent: *
- Disallow: /wp-admin/
- Disallow: /wp-content/
- Disallow: /wp-includes/
- Disallow: /*/comment-page-*
- Disallow: /*?replytocom=*
- Disallow: /category/*/page/
- Disallow: /tag/*/page/
- Disallow: /*/trackback
- Disallow: /feed
- Disallow: /*/feed
- Disallow: /comments/feed
- Disallow: /?s=*
- Disallow: /*/?s=*\
- Disallow: /attachment/
- Sitemap: https://iluo.vip/sitemap.xml
上面只是些基本的写法,当然还有很多,但是对于新手wordpress站长来讲已经够用了。
本文来源于(详细介绍):莫小九
© 版权声明
文章版权归作者所有,未经允许请勿转载。
学习了
特来向博主学习的,感谢