域名遭恶意泛解析的终极解决方案

（三）对谷歌的处理
　　总体评价，谷歌对这种恶意泛解析的处理无能为力，谷歌站长管理员工具虽然有删除死链的功能，但却只能删除主域名下的死链，如yourdomain.com/xxx.html，无法删除三级、四级如x.h.yourdomain.com这种垃圾地址，除非你将x.h.yourdomain.com这个网站进行验证，面对成千上万的垃圾网址和google在国内的市场份额，还是不要这么费劲了。
　　然而，谷歌站长管理员工具提示我们可以使用robots来屏蔽不要的地址，我们只要让谷歌蜘蛛访问x.h.yourdomain.com/robots.txt 时返回disallow:/就行了。
具体代码
if IsMatch(User_Agent,"Googlebot") and instr(User_Url,"robots.txt")>0 then’如果是google爬虫索引robots那就告诉它
response.write("User-Agent: Googlebot" & vbnewline)
response.write("Disallow: /")
response.end
else
response.Status="404 Not Found"
end if
　　为了证明有效，我们在谷歌站长工具建立了二级域名h.mydomain.com(验证方法参考后面的第四点。)用h.mydomain.com/1/ 这个垃圾地址进行Fetch，图12

图12

 
结果显示Denied by robots.txt，说明设置成功。

上一页  [1] [2] [3] 下一页