DataForSeoBot是什么蜘蛛，怎么把他封禁掉

今天无意间看到有个蜘蛛在快速的爬取网站，蜘蛛的名称是DataForSeoBot，有的站爬取多达上几万IP，这样会大打网站性能的折扣，对于咱们国内的蜘蛛和客户打开网页的速度有很大的影响，下面咱们看下DataForSeoBot蜘蛛到底是哪里的，IP段都有哪些，怎么去封禁

IP/服务器157.90.130.52的信息 德国 萨克森自由州 这是国外的IP，大部分都是遵循 robots协议

既然是国外的蜘蛛爬虫，应该是遵循robots协议吧，就去robots里面加了

1. User-Agent: DataForSeoBot
2. Disallow: /

然后你会惊奇的发现，有时候还会爬取，但是这个不一定，有的网站就不会爬取了，但是我的网站依然在爬取，我很生气，感觉这个蜘蛛这家公司太不要那个碧莲了 ，然后我决定封禁他的IP段，我比较习惯用宝塔，所以在宝塔——软件商店——第三方应用，搜索Nginx免费防火墙来封禁IP

如下图：

把你想要封禁的IP输入到黑名单里就可以了，或者在配置里封禁

1. nginx配置文件，
2. Server {
3. ……
4. if ($http_user_agent ~ "DataForSeoBot/1.0" )
5. {
6. return 403;
7. }