大佬们，怎么禁止谷歌蜘蛛啊？？

9c.cx · 发表于 2019-3-31 02:15:55

提示: 作者被禁止或删除内容自动屏蔽

heian9119 · 发表于 2019-3-31 02:57:12

头回碰到被蜘蛛爬死的案例

ApkB · 发表于 2019-3-31 02:17:33

你是不是遇到假的谷歌蜘蛛了啊

gmjiaoyi · 发表于 2019-3-31 02:54:49

套个cf，under attcker模式，或者开waf，robots.txt 设置屏蔽谷歌爬虫，参照www.toutiao.com/robots.txt

jumpsky · 发表于 2019-3-31 03:27:56

我日别人采集的真快

Kslr · 发表于 2019-3-31 03:41:31

1. block google bot
2. google console

虚心学习 · 发表于 2019-3-31 08:21:24

提示: 作者被禁止或删除内容自动屏蔽

hxuf · 发表于 2019-3-31 09:29:30

heian9119 发表于 2019-3-31 02:57
头回碰到被蜘蛛爬死的案例

我被百度爬死过

		自动登录	找回密码
密码			注册

9c.cx 9c.cx 当前离线积分 3685	发表于 2019-3-31 02:15:55 来自手机 \| 显示全部楼层 \|阅读模式提示: 作者被禁止或删除内容自动屏蔽
9c.cx 9c.cx 当前离线积分 3685
	回复举报

虚心学习虚心学习当前离线积分 5071	发表于 2019-3-31 08:21:24 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
虚心学习虚心学习当前离线积分 5071
	回复支持反对举报