全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 2330|回复: 7

大佬们,怎么禁止谷歌蜘蛛啊??

[复制链接]
发表于 2019-3-31 02:15:55 来自手机 | 显示全部楼层 |阅读模式
提示: 作者被禁止或删除 内容自动屏蔽
发表于 2019-3-31 02:57:12 | 显示全部楼层
头回碰到被蜘蛛爬死的案例
发表于 2019-3-31 02:17:33 | 显示全部楼层
你是不是遇到假的谷歌蜘蛛了啊
发表于 2019-3-31 02:54:49 来自手机 | 显示全部楼层
套个cf,under attcker模式,或者开waf,robots.txt 设置屏蔽谷歌爬虫,参照www.toutiao.com/robots.txt
发表于 2019-3-31 03:27:56 | 显示全部楼层
我日 别人采集的真快
发表于 2019-3-31 03:41:31 | 显示全部楼层
1. block google  bot
2. google console
发表于 2019-3-31 08:21:24 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
发表于 2019-3-31 09:29:30 | 显示全部楼层
heian9119 发表于 2019-3-31 02:57
头回碰到被蜘蛛爬死的案例

我被百度爬死过
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2024-4-26 03:12 , Processed in 0.107739 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表