如何限制这类爬虫

chengslier

47.98.60.52 - - [03/May/2019:15:28:44 +0800] "GET /archives91660.html HTTP/1.1" 301 178 "-" "Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D))"
47.98.60.52 - - [03/May/2019:15:28:45 +0800] "GET /archives6652.html/amp HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D))"
47.98.60.52 - - [03/May/2019:15:28:45 +0800] "GET /archives6751.html HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D))"
47.98.60.52 - - [03/May/2019:15:28:45 +0800] "GET /archives9224.html HTTP/1.1" 301 178 "-" "Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D))"
47.98.60.52 - - [03/May/2019:15:28:45 +0800] "GET /archives925.html/amp HTTP/1.1" 301 178 "-" "Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D))"



都是以为 "Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D))"
作为伪装的

lonefly

直接封IP不好嘛

cdwyd

一般防护：限制IP访问频率
高级防护：返回假数据

如果你的数据比较值钱可以返回假数据，这种真假混合的脏数据才是爬虫最烦的

chengslier

lonefly 发表于 2019-5-3 19:43
直接封IP不好嘛

好像封不了IP啊

qytang

这个特征这么明显，直接禁了就好了

chengslier

qytang 发表于 2019-5-3 19:54
这个特征这么明显，直接禁了就好了

请教宝塔面板可以禁止此IP？

chen8700

直接ua屏蔽，安卓4.1已经淘汰，基本不可能存在误封真人的可能

chengslier

chen8700 发表于 2019-5-3 20:14
直接ua屏蔽，安卓4.1已经淘汰，基本不可能存在误封真人的可能

if ($http_user_agent ~* "Android 4.1.1") {
return 403;
}

这样对吗？请教？

总是吵架的猪

chengslier 发表于 2019-5-3 20:20
if ($http_user_agent ~* "Android 4.1.1") {
return 403;
}

yes

镜子里的我

来学习的。