robots.txt对百度无效了吗

guoaibing · 发表于 2020-1-2 11:58:54

前几天开始疯狂收录禁止的内容

然后在meta标签也加上了屏蔽，感觉有点用了

md，刚刚发现又开始收录了，大佬们有这情况吗？

edgeNAT · 发表于 2020-1-2 12:07:02

robots本来就只是个公约性质的东西，掰不断蜘蛛的腿

hehe · 发表于 2020-1-2 12:08:52

提示: 作者被禁止或删除内容自动屏蔽

移动 · 发表于 2020-1-2 12:08:46

提示: 作者被禁止或删除内容自动屏蔽

显示全部楼层 · 发表于 2020-1-2 12:08:50

提示: 作者被禁止或删除内容自动屏蔽

edgeNAT · 发表于 2020-1-2 12:09:17

给蜘蛛搞进死循环应该有用

guoaibing · 发表于 2020-1-2 12:19:12

hehe 发表于 2020-1-2 12:08
Nginx

多谢大佬指点准备直接404了

guoaibing · 发表于 2020-1-2 12:22:54

不念发表于 2020-1-2 12:08
有用的，不过需要1-2个月见效。
并且还有很多打着百度ua旗号的采集程序，对这个就没有用了 ...

robots.txt一直是禁止的就前几天开始破防收录、而且还有排名

已经给它返回404了。。。

爱吃醋的醋醋 · 发表于 2020-1-2 12:37:37

提示: 作者被禁止或删除内容自动屏蔽

gougou6423 · 发表于 2020-1-2 12:38:58

ua有百度的不一定是蜘蛛，还可能是别人的爬虫

		自动登录	找回密码
密码			注册

hehe hehe 当前离线积分 22449	发表于 2020-1-2 12:08:52 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
hehe hehe 当前离线积分 22449
	回复支持 2 反对 0 举报

移动移动当前离线积分 12563	发表于 2020-1-2 12:08:46 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
移动移动当前离线积分 12563
	回复支持反对举报

不念该用户已被删除	发表于 2020-1-2 12:08:50 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
不念该用户已被删除
	回复支持反对举报

爱吃醋的醋醋爱吃醋的醋醋当前离线积分 511	发表于 2020-1-2 12:37:37 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
爱吃醋的醋醋爱吃醋的醋醋当前离线积分 511
	回复支持反对举报

[疑问] robots.txt对百度无效了吗