SEO分享：彻底禁止搜索引擎收录非首选域名的方法

但百度依然收录带 www 的，且 www 的排名更加靠前：

site 了下带 www 的域名，居然收录了 1600 多条：

又比如百度搜索“卢松松”的结果，也是 www 的排在第一：

事实说明，百度对 301 很不敏感，这个问题困扰了我很久，前往百度站长平台多次投诉无果，终于忍无可忍，决定将带 www 的域名做了禁止收录处理，我已做好 www 域名全线被 T 的心里准备。

曾多次搜索过如何禁止搜索引擎收录带 www 或不带 www 的域名的方法，但是都是一些做 301 设置的方法，看来还不够彻底！下面，我就来分享一下彻底禁止搜索引擎收录非首选域名的方法：

提前说明：如果正好和张戈博客相反：你的首选域名是带 www 的，那下面的代码只需要依葫芦画瓢的修改下即可，我就不赘述了。

一、准备工作

在网站根目录新建 wrobots.txt 文件，粘贴如下内容：

User-Agent: *
Disallow: /

二、修改规则

①、Nginx 平台

编辑网站对应的 nginx 配置文件，比如：

vim /usr/local/nginx/conf/vhost/zhang.ge.conf

找到之前 301 跳转的配置，如：

server {
       server_name www.zhang.ge;
       return 301 $scheme://zhang.ge$request_uri;
}

修改为：

server
         {
                server_name www.zhang.ge;
                root  /home/wwwroot/zhang.ge;
                location / {
                        rewrite (.*) https://zhang.ge$1 permanent;
                        }

               location ~ (robots.txt) {
                        rewrite /robots.txt /wrobots.txt last;
                        }
}

执行如下命令，重载 nginx 即可生效：

/usr/local/nginx/sbin/nginx -s reload

②、Apache 平台

编辑 .htaccess 文件，将之前的 301 跳转规则替换成如下代码即可：

RewriteEngine on
RewriteCond %{HTTP_HOST} ^www.zhang.ge [NC]
RewriteRule ^robots.txt wrobots.txt [L]
RewriteCond %{REQUEST_FILENAME} !robots.txt
RewriteRule ^(.*) https://zhang.ge/$1 [R=301,L]

其中第 4 行是关键，表示仅在请求名称非 robots.txt 的时候，才会执行后面的 301 跳转，从而避免第三条规则被覆盖！

③、实例：万网虚拟主机

用朋友的万网虚拟主机实际测试发现，万网的控制面板已经存在 301 设置了，所以 htaccess 也要做相应修改才行。

在已有的.htaccess 文件的最前面加上如下三行代码即可：

RewriteEngine on
RewriteCond %{HTTP_HOST} ^www.zhang.ge [NC]
RewriteRule ^robots.txt wrobots.txt [L]

修改后的完整的 htaccess 的内容如下：

RewriteEngine on
RewriteCond %{HTTP_HOST} ^www.zhang.ge [NC]
RewriteRule ^robots.txt wrobots.txt [L]
#以下为已存在规则：
<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteBase /
RewriteRule . /index.php [L]
</IfModule>

其他虚拟主机、建站程序，可以参考这个实例来修改即可，注意避免和主机已有的 301 发生规则冲突即可。

三、效果测试

①、手动测试

分别访问 http://www.zhang.ge/robots.txt  和 https://zhang.ge/robots.txt 可以发现已经是不同的内容了。

②、工具测试

如果还不放心，那么可以使用百度站长平台的 robots 工具来检测，效果如图所示：

测试 http://www.zhang.ge/robots.txt：

测试 https://zhang.ge/robots.txt：

从图中的检测结果可知，带 www 域名的 robots 理论上已禁止所有搜索引擎的抓取！

2014/09/26 补充：一大早就看到来自百度站长的 robots 禁封通知，看来是有效果的，就看啥时候把 www 的收录 K 掉：

四、他山之石

最新补充：今天在逛博客的时候，在李明博客发现了一个更简单的方法，我稍微修改了下：

只要在网站的 head 部分加入如下代码即可：

<?php 
if($_SERVER['HTTP_HOST'] == '禁止收录域名 1')
if($_SERVER['HTTP_HOST'] == '禁止收录域名 2')
{
?>
<meta name="robots" content="noindex,nofollow" />
<?php } ?>

比如，如果我要禁止搜索引擎收录带 www 的张戈博客，那么代码如下：

<?php if($_SERVER['HTTP_HOST'] == 'www.zhang.ge') { ?>
<meta name="robots" content="noindex,nofollow" />
<?php } ?>

当访问被禁止收录的 www.zhang.ge 时，head 里面会输出一段禁止搜索引擎索引和跟踪链接的 meta 标签：

而访问首选域名 zhang.ge 的时候，则不会输出这个 META 标记：

异曲同工的实现了和前文相同的功能！额外补充一下相关 meta robots 的说明，请自行选用：

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW" />     可以抓取本页，而且可以顺着本页继续索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW" />   不许抓取本页，但是可以顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW" />   可以抓取本页，但是不许顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW" /> 不许抓取本页，也不许顺着本页抓取索引别的链接。

特别说明：用这个方法需要取消 301 重定向功能，否则不会有 meta 申明的输出！

所以，将 robots 和 META 这 2 种方法结合一下，新站架设前可以这样设置：

无须设置 301 重定向，先在 nginx 配置文件中，将监听www.zhang.ge(非首选域名)的配置修改如下：

server
        {
              listen 80;
              server_name www.zhang.ge;
              index index.html index.htm index.php default.html default.htm default.php;
              root  /home/wwwroot/zhang.ge;
              #以下是 robots 的重写规则
              location ~ (robots.txt) {
                         rewrite /robots.txt /wrobots.txt last;
                        }
               #以下其他需要的规则，和首选域名保持一致
               *******
        }

然后，在 header.php 里面新增如下代码：

<?php if($_SERVER['HTTP_HOST'] == 'www.zhang.ge') { ?>
<meta name="robots" content="noindex,nofollow" />
<?php } ?>

如此，就双管齐下的做好了禁止搜索引擎收录新站非首选域名的设置！

五、终极大招

张戈博客亲自测试发现，就算是加了 robots 限制，百度依然还会索引这个非首选域名：

所以，必须出绝招了，参照《浅谈 404 问题》和《服务器反爬虫攻略》，先解封 robots 禁止，然后在 nginx 原有规则里面加入如下第 7 行判断：

server
         {
                server_name www.zhang.ge;
                root  /home/wwwroot/zhang.ge;
                location / {
                 #新增判断，如果是百度蜘蛛就返回 404！
                 if ($http_user_agent ~ "Baiduspider") {return 404;}
                        rewrite (.*) https://zhang.ge$1 permanent;
                        }
                        location ~ (robots.txt) {
                        rewrite /robots.txt /wrobots.txt last;
                        }
}

现在，无论是用抓取诊断还是用站长之家的模拟抓取，都将返回 404 错误：

为了测试，张戈博客已走上极端，所以并不建议老站做以上极端设置！我只是看不惯百度的傻逼收录行为！

以上就是禁止搜索引擎收录非首要域名的全部教程了，希望对和我一样苦恼的站长有所帮助。由于，这种中途设置禁止收录非常罕见，张戈也只是做下测试，还不知道有什么结果，所以不建议老站轻易尝试！个人强烈建议新站在上线之前就做好这些设置，避免带来和我一样的困扰！另外，由于没有 IIS 环境，所以就没有研究测试 IIS 下的设置方法，感兴趣的站长可以参考文章的思路去研究测试下。