最近大家讨论网站的比较多我有个疑问

站着噜 · 发表于 2012-11-9 10:19:03

怎么屏蔽蜘蛛~nginx 用过map 也判断过头部标识返回444 但是每天还是一堆蜘蛛来爬而且返回的是200....
求破~~~~~~~~~~~~~~别说robots 这东西好像没几个遵守的...

网警 · 发表于 2012-11-9 10:23:19

robots.txt

jjiabinb · 发表于 2012-11-9 10:24:40

DNSPOD,
蜘蛛，单独解析到空ip

topl · 发表于 2012-11-9 12:40:40

爬一下又不会要你的命。

单手摘月 · 发表于 2012-11-9 12:47:16

提示: 作者被禁止或删除内容自动屏蔽

		自动登录	找回密码
密码			注册

单手摘月单手摘月当前离线积分 12266	发表于 2012-11-9 12:47:16 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
单手摘月单手摘月当前离线积分 12266
	回复支持反对举报

最近大家讨论网站的比较多 我有个疑问