|
问题描述:
近期网站流量异常,经过检查发现网站首页在百度搜索不到了,没想到论坛首页被搜索引擎K掉了,通过“site:url”发现大量与首页相同标题的页面,虽然通过点击这些URL能够正常进入首页,但是因为大量的相似页面被搜索引擎收录展现从而导致网站降权被K站,所以需要尽快解决这个问题。
排查问题时发现:
怎么解决被收录的网址后面多了“?adfwkey=”这样的乱码?它们本不应该出现在域名后面,起初以为是程序问题,不过在官方论坛找不到相似的内容,只看到有人说这种情况应该是网站被黑的后遗症,也有大佬说可以把这些页面删除掉,也有的说把这些url做个跳转,感觉都挺有道理的。
综合考虑了出现问题的原因后我开始对症下药,首先我们要知道不管什么网站的域名,我们在网址后面加上“?”再带上一串字符乱码都是可以访问的,比如:
- 域名/?adfwkey=dnf60
- 域名/?fromuid=2021
- 域名?sn3sj614Kissfsf
复制代码
这种现象无论是静态页面还是动态页面都一样,要想解决这个问题只有在参数下面找突破点。
解决方法:
第一步:网站根目录robots.txt文件禁止搜索引擎抓取收录带有“?”的页面;
- Disallow: /*?* #加到你的robots.txt中,移动端或有需要收录的页面需要单独用allow语法标记出来;
复制代码
第二步:将非法的URL链接到404页面;
1.静态页面使用直接删除或者做404跳转的方式实现;
2.PHP等动态程序通过HEAD指定404页面解决;
Discuz论坛出现此问题解决方法:
404.zip
(370 Bytes, 下载次数: 2, 售价: 88 怒气)
第三步:用死链查询工具找到相关页面,在站长工具后台进行死链提交;
最后:因为大面积收录重复内容的页面,所以我们需要给论坛加上“canonical”标签,告诉搜索引擎哪个是权威页面,相当于给页面传递权重的唯一标签,然后耐心等待搜索引擎更新,成功解决该问题;
相关教程
Discuz论坛首页、版块页面添加“canonical”标签的实现方法
|
|