(已解决) 20块钱求写一段代码

ieevip

wwww961h 发表于 2020-4-26 10:33
robot完全阻止不了百度蜘蛛，不信你试试

很多搜索引擎无视robot的

wwww961h

ieevip 发表于 2020-4-26 10:36
很多搜索引擎无视robot的

那我就不知道了，反正我知道百度无视，谷歌好像有用，其他引擎也用的少，

ieevip

012 发表于 2020-4-26 10:35
在我眼中百度多么清纯。。
我去看看nginx
这样？

这个屏蔽目录了吗？ 还有动态链接  

kenutu

爬虫访问页面直接跳转就可以了，唯一麻烦的就是每个页面都要定义一下的。

小伙伴

做个**，拦截蜘蛛

不需要蘑菇了

kenutu 发表于 2020-4-26 10:42
爬虫访问页面直接跳转就可以了，唯一麻烦的就是每个页面都要定义一下的。 ...

直接调用 require '1.php';
然后php里写判断跳转就好了

FrozenAngels

location ~ /?cid={
//自己填

}

alfonse

1. location / {
   
2.     set $flag 0;
   
3.       if ($query_string ~* ^(.*)cid=(.*)$){
   
4.         set $flag "${flag}1";
   
5.       }
   
6.       if ($http_user_agent ~* Baiduspider) {
   
7.       set $flag "${flag}1";
   
8.     }
   
9.     if ( $flag = "011"){
   
10.           return 404;
    
11.     }
    
12. }
    
13. location ~^/123/ {
    
14.         if ($http_user_agent ~* Baiduspider) {
    
15.           return 403;
    
16.         }
    
17. }

复制代码

ieevip

alfonse 发表于 2020-4-26 10:59

我试试

jiuqimax

对正则一窍不通 很遗憾无法帮到 (´இ皿இ｀)