标签:JavaScript

WordPress设置robots.txt的最佳方法

很久以前我就设置了博客的robots.txt,想让搜索引擎只抓取网站中关键的内容,不抓取后台的文件和页面。这样做的原因如下: 搜索机器人对每个网站都有一个爬...