全站启用SSL之后,如何兼容不支持https抓取的搜索引擎?

建站笔记2年前 (2023)更新 小萝卜头
449 0 0
还是在今年 5 月份,百度就跳出来,宣布成为国内首个支持 https 的搜索引擎,结果呢?呵呵…
全站启用SSL之后,如何兼容不支持https抓取的搜索引擎?

一、案例

①、抓取诊断

全站开启并强制 https 之后,在百度站长平台使用抓取诊断发现,其实百度并不会识别强制跳转的 301 状态,至少不会友好的反馈给用户:

抓取并没有出现跳转提示:

全站启用SSL之后,如何兼容不支持https抓取的搜索引擎?

其实,后台日志显示是正常的 301 跳转:

全站启用SSL之后,如何兼容不支持https抓取的搜索引擎?

②、真是打脸

2017 年 05 月 25 日更新:偶尔进入站长平台看了一把,居然给我博客自动做了 https 认证,然后去百度搜索 site 了一把我的网站,基本已全部换成了 https,看来百度对 https 的收录已全面展开!全站启用SSL之后,如何兼容不支持https抓取的搜索引擎?

百度发公告说,已全面支持 https,并推荐各个网站开启 https,得到优先展示,结果呢?

我们先百度 site 一下 www.baidu.com,然后复制收录里面的链接:

http://www.baidu.com/link?url=f3Fbk5cL6W_Hz0jtf6JY991vn1teNTzZ1WBHaqnOmCO&wd=&eqid=aab2bf1f0009872d000000055687e679

然后用网页内容抓取工具看下百度收录自己的是什么:

全站启用SSL之后,如何兼容不支持https抓取的搜索引擎?

真是呵呵了,自己收录自己的也是 http,说好的 https 呢?你 5 月份就发公告支持了,这大半年了自己对自己的收录都没更新过来,何况其他网站??

其实,要看百度对自己的收录是否是 https 还有一种更简单的方法:直接在百度搜索 https://www.baidu.com 即可:

全站启用SSL之后,如何兼容不支持https抓取的搜索引擎?

再次呵呵下。。。

③、配套设施缺憾

百度搜索确实是全站启用了 https,可你的配套设施呢??搞了半天,也就是百度搜索支持了 https,百度的其他产品几乎都不支持!

比如,做网站喜欢用到的百度分享,不支持 https,还得自行处理【相关文章】;

比如,大部分网站的经济来源,百度广告不支持 https,搞个蛋哟;

还好,百度统计还能凑合用下,不是那么一无是处。。。

二、正能量

国内各个搜索引擎都看了下,结果意外的发现搜狗居然已经正常收录我博客的 https 了:

全站启用SSL之后,如何兼容不支持https抓取的搜索引擎?

其他基本都未收录,而国外的几个搜索引擎基本不用看,换 https 数日之后就全局替换成 https 收录了,而且目测给了更好的排名,比如谷歌、必应等。

百度一直以来都是蜗牛般的反应,真不知是技术不行还是故意设置的?百度的索引服务器再多能多过谷歌?全局刷新一下感觉如登天一般麻烦!

三、解决

吐槽了那么多,还是来说说如何缓解一下各种不支持的窘迫吧!

支持 https 的有:谷歌、必应、搜狗、百度(持怀疑态度)以及用户

不支持的有:    360、神马(宜搜)以及百度(有待验证)等

那我们全站强制 https 就行不通了,必须对这些来路做规则判断,然后针对性的跳转或不跳转才行。

只分享下 Nginx 的做法,其他就自行参考研究吧!

①、http 和 https 不在同一个 server 模块的做法:

Ps:分别监听 80 和 443 端口是大部分网站的做法。

在监听 80 的 server 模块中添加如下规则:

server
    {
        listen 80;
        server_name xxx.com;
        root /data/xxx.com;

        #在此新增如下规则:
        #若 UA 不匹配百度、360、神马,则跳转到 https(若需要加入更多,请以分隔符隔开)
        if ($http_user_agent !~* "BaiduSpider|360Spider|YisouSpider") {
           rewrite ^(.*)$ https://$host$1 permanent;
        }
  #其他略...
}

#监听 443 的 server 无需改动
server {
        listen 443 ssl http2;
        #其他略

②、http 和 https 在同一个 server 模块的做法(注意修改实际域名):

server
    {
        listen 80;
        listen 443 ssl;
        ssl_certificate /usr/local/nginx/ssl/zhang.ge.crt;
        ssl_certificate_key  /usr/local/nginx/ssl/zhang.ge.key;
        ssl_session_timeout  5m;
        ssl_protocols   SSLv3 TLSv1 TLSv1.1 TLSv1.2;
        ssl_ciphers  HIGH:!ADH:!EXPORT56:RC4+RSA:+MEDIUM;
        server_name zhang.ge;
        
        #在此新增如下规则:
        #如 UA 不匹配百度、360、神马,则设置变量为 y(若需要加入更多,请以分隔符隔开)
        if ($http_user_agent !~* "BaiduSpider|360Spider|YisouSpider") {
            set $ssl "y";
        }
        #若请求协议是 http,则继续将变量增量赋值 es
        if ($scheme="http" ) {
            set $ssl "${ssl}es";
        }
        #若变量值为 yes,即命中上述 2 个条件,则跳转到 https
        if ( $ssl = "yes" ) {
            rewrite ^(.*)$ https://$host$1 permanent;
        }
  #以下略...

最后,重载或重启 nginx 即可生效。

简单解释下:若不是百度、360 或神马蜘蛛进行的 http 协议请求,将全部跳转到 https。即强制 https 对 360、百度、神马开了白名单模式,不强制跳转。规则是通用的,你可以把第一条规则中的 UA 标识换成任意不想强制跳转的请求源。

时间有限,就分享这么多了,希望各大搜索引擎尽快兼容 https,希望百度搜索的联动反应能快点,而且不行就别再打肿脸充胖子,要对得起国内搜索第一的地位!


2016/01/05 内容补充:早上看到了 WP 酷的分享,才拍脑袋想起还有 XP 系统不支持 SNI,导致网页无法打开,所以上述新增的规则可以改成如下代码:

场景①适用:

#若 UA 不匹配百度、360、神马,则跳转到 https(若需要加入更多,请以分隔符隔开)
if ($http_user_agent !~* "Windows\ NT\ 5.1|Windows\ NT\ 5.2|BaiduSpider|360Spider|YisouSpider") {
     rewrite ^(.*)$ https://$host$1 permanent;
}

场景②适用:

#如 UA 不匹配百度、360、神马,则设置变量为 y(若需要加入更多,请以分隔符隔开)
if ($http_user_agent !~* "Windows\ NT\ 5.1|Windows\ NT\ 5.2|BaiduSpider|360Spider|YisouSpider") {
    set $ssl "y";
}
#若请求协议是 http,则继续将变量增量赋值 es
if ($scheme="http" ) {
    set $ssl "${ssl}es";
}
#若变量值为 yes,即命中上述 2 个条件,则跳转到 https
if ( $ssl = "yes" ) {
    rewrite ^(.*)$ https://$host$1 permanent;
}

2016/01/09 内容补充[推荐使用]突然想到,既然要兼容那些不支持的请求者,那么当请求到 https 时,是不是应该跳回 http 呢?

比如,使用 XP 系统访问到了 http,我们可以不跳转到 https,但我们全站都是改造成 https 的,所以页面内的链接都是 https 的,那他进一步还是不能访问!

所以,继续加规则,如果是特殊用户,则强制 http 访问:

①、http 和 https 不在同一个 server 模块的做法:

Ps:分别监听 80 和 443 端口是大部分网站的做法。

在监听 80 的 server 模块中添加如下规则:

server
    {
        listen 80;
        server_name xxx.com;
        root /data/xxx.com;

        #在此新增如下规则:
        #若 UA 不匹配百度、360、神马,则跳转到 https(若需要加入更多,请以分隔符隔开)
        if ($http_user_agent !~* "Windows\ NT\ 5.1|Windows\ NT\ 5.2|BaiduSpider|360Spider|YisouSpider") {
           rewrite ^(.*)$ https://$host$1 permanent;
        }
  #其他略...
}

#监听 443 的 server 无需改动
server {
        listen 443 ssl;
        ssl_certificate /usr/local/nginx/ssl/zhang.ge.crt;
        ssl_certificate_key /usr/local/nginx/ssl/zhang.ge.key;
        ssl_session_timeout 5m;
        ssl_protocols SSLv3 TLSv1 TLSv1.1 TLSv1.2;
        ssl_ciphers HIGH:!ADH:!EXPORT56:RC4+RSA:+MEDIUM;
        server_name zhang.ge;
        #在此新增如下规则:
        #若 UA 匹配到百度、360、神马、XP 系统等不支持请求,则跳转到 http(若需要加入更多,请以分隔符隔开)
        if ($http_user_agent ~* "Windows\ NT\ 5.1|Windows\ NT\ 5.2|BaiduSpider|360Spider|YisouSpider") {
             rewrite ^(.*)$ http://$host$1 permanent;
        }
        #其他略

②、http 和 https 在同一个 server 模块的做法(注意修改实际域名):

server
    {
        listen 80;
        listen 443 ssl;
        ssl_certificate /usr/local/nginx/ssl/zhang.ge.crt;
        ssl_certificate_key  /usr/local/nginx/ssl/zhang.ge.key;
        ssl_session_timeout  5m;
        ssl_protocols   SSLv3 TLSv1 TLSv1.1 TLSv1.2;
        ssl_ciphers  HIGH:!ADH:!EXPORT56:RC4+RSA:+MEDIUM;
        server_name zhang.ge;
        
        #在此新增如下规则:
        #如 UA 不匹配百度、360、神马,则设置变量为 y(若需要加入更多,请以分隔符隔开)
        if ($http_user_agent !~* "Windows\ NT\ 5.1|Windows\ NT\ 5.2|BaiduSpider|360Spider|YisouSpider") {
            set $ssl "y";
        }
        #若请求协议是 http,则继续将变量增量赋值 es
        if ($scheme="http" ) {
            set $ssl "${ssl}es";
        }
        #若变量值为 yes,即命中上述 2 个条件,则跳转到 https
        if ( $ssl = "yes" ) {
            rewrite ^(.*)$ https://$host$1 permanent;
        }
        # ==================== 以下为新增内容 =======================
        #若 UA 匹配到不支持 https 的请求,则设置变量为 n:
        if ($http_user_agent ~* "Windows\ NT\ 5.1|Windows\ NT\ 5.2|BaiduSpider|360Spider|YisouSpider") {
            set $ssl "n";
        }
        if ($scheme="https" ) {
           set $ssl "${ssl}o";
        }
        #若变量值为 no,即命中上述 2 个条件,则跳转到 http
        if ( $ssl = "no" ) {
            rewrite ^(.*)$ http://$host$1 permanent;
        }
  #以下略...

最后,重载或重启 nginx 即可生效。

收录于{张戈博客} 原文链接原文链接

© 版权声明

相关文章

暂无评论

暂无评论...