mjj看下这是啥爬虫蜘蛛，新站第一天撒了上万

citywar · 发表于 2021-3-30 14:41:48

会不会是你IP或域名以前就被人惦记的

显示全部楼层 · 发表于 2021-3-30 14:48:29

提示: 作者被禁止或删除内容自动屏蔽

iuko · 发表于 2021-3-30 15:24:30

citywar 发表于 2021-3-30 14:41
会不会是你IP或域名以前就被人惦记的

新站第一天新域名

iuko · 发表于 2021-3-30 15:30:46

OXO 发表于 2021-3-30 14:48
如果是国内那几个蜘蛛都有 user-agent 的，看 IP 没啥用

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36

没有蜘蛛标识，但是访问直接访问的内页，都是爬内页

没有的 · 发表于 2021-3-30 15:43:22

战神赵日天发表于 2021-3-30 13:56
你如果放了百度统计，不建议封爬虫
为啥，会增加百度以及其他搜索引擎收录
我以前几个站，一年有几个站，每 ...

你的挂机ip具体是怎么操作呢？

战神赵日天 · 发表于 2021-3-30 15:53:37

本帖最后由战神赵日天于 2021-3-30 15:54 编辑

没有的发表于 2021-3-30 15:43
你的挂机ip具体是怎么操作呢？

打错字了，用的流量宝，之前挂了几百点，然后每天设置用几点刷网站ip，刷多了以后，收录就上来了
不算科学验证，至少是我的一种玄学做法
一般流量宝是1点1000ip，可以分时间分地点以及访问时常，ip基本都不同，1000ip估计也就几个是重复的

cheshirex · 发表于 2021-3-30 16:05:14

可以用nslookup反查

		自动登录	找回密码
密码			注册

OXO 该用户已被删除	发表于 2021-3-30 14:48:29 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
OXO 该用户已被删除
	回复支持反对举报

[Windows VPS] mjj看下这是啥爬虫蜘蛛，新站第一天撒了上万