robots.txt对百度无效了吗

围观者 · 发表于 2020-1-2 13:07:41

暂时还没发现不遵守robots的搜索引擎

只是它们的反应时间不一致，有的长达三个月

songkqx1c · 发表于 2020-1-2 13:41:41

对于小站来说一直都没用的。

悟雨 · 发表于 2020-1-2 14:22:15

不念发表于 2020-1-2 12:08
有用的，不过需要1-2个月见效。
并且还有很多打着百度ua旗号的采集程序，对这个就没有用了 ...

扫描的也会伪装成百度的蜘蛛

黑壳虾 · 发表于 2020-1-2 17:25:24

Nginx直接Ban，再加iptables封ip段

		自动登录	找回密码
密码			注册

[疑问] robots.txt对百度无效了吗