全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 5113|回复: 14

经常被百度蜘蛛爬死怎么办?

[复制链接]
发表于 2012-3-27 19:30:28 | 显示全部楼层 |阅读模式
我的linode VPS 768那款 从上个月开始就莫名的死机 几乎是一个星期死3次以上
试过把nginx的连接数设置小点 但跟死机没什么区别 不一定什么时候就抽疯 谁也上不去
后来在网上弄了个脚本 监视请求连接数 每20秒写一次记录 只留100条 这几天发现每次死机后最后一条记录的连接数都非常大 今天重启后的记录有700多并发连接数 开始以为是被攻击了 看了一天的日志让我震惊了...满屏的baidu spider 220.181.108.X那段IP 几乎都是同一时间来的 尼玛百度太坑爹了吧 一次抓那tc 他来就来了 几乎每天都来 来了还不收录 太让人郁闷了 又不敢禁止IP  问过几个站长 他们都没有这种情况 顶多就100左右并发 服务器不会宕掉
我该咋办啊 我现在已经哭不出来了 同志们帮帮我吧...
发表于 2012-3-27 19:52:31 | 显示全部楼层
这个真不清楚
发表于 2012-3-29 00:59:33 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
发表于 2012-3-29 01:55:43 | 显示全部楼层
robot改下,让他禁止采集某个文件夹或者网址
发表于 2012-3-29 02:58:10 | 显示全部楼层
不收录的话直接禁掉好了
发表于 2012-3-29 04:37:31 | 显示全部楼层
什么监控脚本,比较感兴趣~~
发表于 2012-4-1 20:12:03 来自手机 | 显示全部楼层
缓存一下减压。
发表于 2012-4-2 14:36:48 | 显示全部楼层
前阵子碰到同样的问题,不过我是IIS,于时看了下系统日志,发现是百毒虫子疯狂的在访问一个站的N多乱七 八糟的不存的URL,于是修改程序,接管所有错误页,反回404,,百毒虫子马上就退去了。。
发表于 2012-4-26 23:30:11 | 显示全部楼层
花钱叫大便D死它
发表于 2012-4-26 22:21:03 | 显示全部楼层
花钱叫大便D死它
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2024-3-29 17:03 , Processed in 0.150666 second(s), 12 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表