全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 1067|回复: 8

[lighttpd] 屏蔽垃圾爬虫 apache怎么写.htaccess

[复制链接]
发表于 2019-5-23 08:55:50 | 显示全部楼层 |阅读模式
本帖最后由 yabuy 于 2019-5-23 14:11 编辑
  1. RewriteCond %{HTTP_USER_AGENT} (^$|FeedDemon|Bytespider|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|SemrushBot|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Ezooms)[NC]
  2. RewriteRule ^(.*)$ - [F]
复制代码

我按照张戈(https://zhang.ge/4458.html)写的代码放到里面就500错误,也不知道什么原因,有哪位大佬知道吗?apache版本2.4.35,不然这些垃圾爬虫一来cpu就到100%,小鸡根本都很难登陆进去。
发表于 2019-5-23 09:08:12 | 显示全部楼层
不用apache   已经忘记怎么写了
 楼主| 发表于 2019-5-23 09:23:56 | 显示全部楼层
本地wamp和万网虚拟空间测试也同样是500错误
发表于 2019-5-23 14:42:17 | 显示全部楼层
看errorlog
 楼主| 发表于 2019-5-23 14:45:01 | 显示全部楼层
  1. Internal Server Error
  2. The server encountered an internal error or misconfiguration and was unable to complete your request.

  3. Please contact the server administrator at wampserver@wampserver.invalid to inform them of the time this error occurred, and the actions you performed just before this error.

  4. More information about this error may be available in the server error log.
复制代码
发表于 2019-5-23 14:47:23 | 显示全部楼层

虽然我不玩apache 但是你这明显不是errorlog
发表于 2019-5-23 14:51:29 来自手机 | 显示全部楼层
找个现成的依葫芦画瓢呗 或者干脆用现成的 https://pastebin.com/5Hw9KZnW
发表于 2019-5-23 14:57:52 | 显示全部楼层
限制访问频率好点,说实在话,爬虫改个user-agent不是轻轻松松,改成Baiduspider或者googlebot你这不就懵逼了
 楼主| 发表于 2019-5-23 15:02:42 | 显示全部楼层
gougou6423 发表于 2019-5-23 14:57
限制访问频率好点,说实在话,爬虫改个user-agent不是轻轻松松,改成Baiduspider或者googlebot你这不就懵逼 ...

那限制频率怎么弄,我的网站被这个Bytespider三分钟不到爬了5000多次,小鸡根本很难抗住啊
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2024-3-29 20:05 , Processed in 0.064014 second(s), 8 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表