你们看看这是百度吗 网站被抓瘫痪两天了

hateme99

ybqc 发表于 2020-12-7 18:41
妈的 羡慕啊...我巴不得百度爬死我网站

爬到你网站打不开 流量少一半 你愿意不。

ybqc

hateme99 发表于 2020-12-7 18:43
爬到你网站打不开 流量少一半 你愿意不。

那还是算了吧

hateme99

ah520 发表于 2020-12-7 18:41
买一个访问快的机器 然后把网站弄过去 用这个机器端口转发

比如我签名那种高配 按时间付款那种  如果是 ...

3台 24H32G 了  

ah520

hateme99 发表于 2020-12-7 18:49
3台 24H32G 了

这么大的站 这么高的配置 你竟然让百度爬死了 你是马化腾吗 还是马云 没有集群部署吗

最近看了一本阿里云教材 大致意思 就是前端是一个 后端又是一台机器 甚至数据库都分离部署 这样容易1+1大于2

hateme99

ah520 发表于 2020-12-7 18:53
这么大的站 这么高的配置 你竟然让百度爬死了 你是马化腾吗 还是马云 没有集群部署吗

最近看了一本阿里 ...

我已经库站分离，用局域网连接了。香港30M，只做了流量负载均衡，前端应用性能没有做负载均衡。要找人搞下了。

liumer

ah520 发表于 2020-12-7 18:20
确认过眼神 遇见对的人 是百度的IP  我遇到过1h2g学生机 百度每天爬几千 我的解决办法 把访问和百度爬虫从D ...

请教一下大佬，DOSPOD免费版怎么设置境外IP自动拦截？
是设置一个境内，一个境外，还是一个默认，一个境外？
由于子域名较多，可不可把将*解析的境外设置成127.0.0.1，是不是可以达到境外IP随便哪个子域名都访问不了的效果？

ah520

liumer 发表于 2020-12-8 01:47
请教一下大佬，DOSPOD免费版怎么设置境外IP自动拦截？
是设置一个境内，一个境外，还是一个默认，一个境 ...

应该是*.xx.com 线路 境外 127.0.0.1
*.xx.com 线路 国内 0.0.0.0

ah520

liumer 发表于 2020-12-8 01:47
请教一下大佬，DOSPOD免费版怎么设置境外IP自动拦截？
是设置一个境内，一个境外，还是一个默认，一个境 ...

看了 有这个功能  境内 可以解析一条出来

ah520

hateme99 发表于 2020-12-7 18:59
我已经库站分离，用局域网连接了。香港30M，只做了流量负载均衡，前端应用性能没有做负载均衡。要找人搞 ...

我再回复一条 我没你那么大的站 如果你是宝塔 宝塔 防火墙有个功能拦截非浏览器 能拦截一些乱七八糟IP 你这么大的站 乱七八糟的IP肯定多
先把乱七八糟的赶走
如果我有这样站 我前端肯定有宝塔反代后端 好处是宝塔防火墙 这个时候能起做用 我问过官方 把非浏览器赶走 能赶走乱七八糟IP 减轻不少负担 这个功能不回赶走搜索引起 测试过了  
我不敢相信什么样站 需要这么大的服务器撑不住
绝对是爬虫和扫爆把你干死了

wcn

这是流量权重要大涨的前奏，加配置扛住吧，过几个月你的权重就上来了。给百度些时间，最长起码8个月。