老铁吗，蜘蛛把2t硬盘爬光了，怎么屏蔽

55SHO

大佬们 怎么屏蔽访客 放行蜘蛛？

beixiaoqian

屏蔽IP段就是

fengwuhen110

beixiaoqian 发表于 2019-11-3 23:52
屏蔽IP段就是

deny 46.229.168.0/24;
这样吗，依旧无效

jsdv

采集假冒的蜘蛛ua吧。

白槐发卡

coxyblog 发表于 2019-11-3 21:22
没有IP识别意义不大，UA可以伪造的

套上cf后，怎么识别访客ip？

爱尔兰不动产

爬的日志多?定期删了就行了啊

coxyblog

白槐发卡 发表于 2019-11-5 12:44
套上cf后，怎么识别访客ip？

x-forward那个参数吧，在nginx 或者apache里面配置

elvis2003

openshit 发表于 2019-11-3 21:10
我到是希望蜘蛛爬我，可惜权重太低，根本没蜘蛛感兴趣

貌似和权重关键不高，我以前有个站百度权重1，但是蜘蛛爬的我VPS都挂了，还以为是被攻击了呢。