全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 3428|回复: 18

老铁吗,蜘蛛把2t硬盘爬光了,怎么屏蔽

[复制链接]
发表于 2019-11-3 16:15:58 | 显示全部楼层 |阅读模式
User-agent:Googlebot
Disallow:/

这个并不管用

$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
        if (strpos($useragent, 'googlebot')){
                exit();
        }

也不管用
        if
        ($http_user_agent ~* "qihoobot|Googlebot|^$")
        {
                return 403;
        }
还是不管用
发表于 2019-11-3 16:16:58 | 显示全部楼层
上宝塔  用插件屏蔽
 楼主| 发表于 2019-11-3 16:22:28 | 显示全部楼层
hxuf 发表于 2019-11-3 16:16
上宝塔  用插件屏蔽

问题是已经在运行的 ,换bt不现实啊
发表于 2019-11-3 16:45:01 | 显示全部楼层
fengwuhen110 发表于 2019-11-3 16:22
问题是已经在运行的 ,换bt不现实啊

啥网站啊 不能备份出来换服务器一天?
发表于 2019-11-3 16:47:52 | 显示全部楼层
下午蜘蛛来爬,结果蜘蛛还不爬,哈哈
 楼主| 发表于 2019-11-3 16:58:21 | 显示全部楼层
cquyf 发表于 2019-11-3 16:47
下午蜘蛛来爬,结果蜘蛛还不爬,哈哈

把我硬盘爬没了。。
发表于 2019-11-3 17:02:22 | 显示全部楼层
直接封IP段不就行了
发表于 2019-11-3 18:02:32 | 显示全部楼层
fengwuhen110 发表于 2019-11-3 16:58
把我硬盘爬没了。。

服务器反爬虫攻略 Apache/Nginx/PHP禁止非法抓取内容
https://www.yunloc.com/763.html
发表于 2019-11-3 21:10:01 | 显示全部楼层
我到是希望蜘蛛爬我,可惜权重太低,根本没蜘蛛感兴趣
发表于 2019-11-3 21:22:15 | 显示全部楼层
lonefly 发表于 2019-11-3 18:02
服务器反爬虫攻略 Apache/Nginx/PHP禁止非法抓取内容
https://www.yunloc.com/763.html

没有IP识别意义不大,UA可以伪造的
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2024-3-29 16:03 , Processed in 0.087769 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表