出乎意料！百度蜘蛛竟然用这个UA和IP地址抓取robots.txt！

最近不知道怎么回事，百度的蜘蛛很少来抓取网站，今天在百度站长工具中无意间测试了以下robots.txt，发现抓不了，显示如下信息：

您的服务器配置有误
百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500

很明显是把蜘蛛禁止了，然后就看网站记录，发现自己设定的时段只有一个IP地址在抓robots.txt，而且是500：111.13.102.5

查看 UA 等信息，竟然让我大吃一惊：

Mozilla/5.0 (Windows NT 6.1; rv:20.0) Gecko/20100101 Firefox/20.0

看到没，百度用了一个不可查的百度地址，并且用了一个超老的浏览器 UA：Firefox/20.0 ！
当我把该IP解禁的时候，问题就解决了。

我现在好奇：为什么百度会用这样的IP地址和UA呢？

另外，在百度统计中，有robots.txt 检查工具，那个UA信息又与站长工具大相径庭。让人不禁感慨：百度各个部门都是用围墙围起来的呀，彼此不沟通！