在前一篇文章中我只是列举了关于加拿大签证经常用到的申请表IMM 5257的一些内容,没想到很多人留言询问关于此申请表的一些内容,现在归总出来供大家参考。如果有更多问题,还是希望大家到我的博客去留言,我不经常登录豆瓣,也可能看不到你在豆瓣上的回...
出乎意料!百度蜘蛛竟然用这个UA和IP地址抓取robots.txt!
发帖者 timezls
最近不知道怎么回事,百度的蜘蛛很少来抓取网站,今天在百度站长工具中无意间测试了以下robots.txt,发现抓不了,显示如下信息:您的服务器配置有误百度暂时无法连接您的服务器,请检查服务器的设置,确保您网站的服务器能被正常访问。错误码:500很明显是把蜘蛛禁止了,然后就看网站记录,发现自己设定的时段只有一个IP地址在抓robots.txt,而且是500:111.13.102.5查看 UA 等信息,竟然让我大吃一惊:Mozilla/5.0 (Windows NT 6.1; rv:20.0) Gecko/20100101 Firefox/20.0看到没,百度用了一个不可查的百度地址,并且用了一个超老的浏览器 UA:Firefox/20.0 !当我把该IP解禁的时候,问题就解决了。我现在好奇:为什么百度会用这样的IP地址和UA呢?另外,在百度统计中,有robots.txt 检查工具,那个UA信息又与站长工具大相径庭。让人不禁感慨:百度各个部门都是用围墙围起来的呀,彼此不沟...