[已解决]再次求教，火车头如何采集跳转之后的新的url

jekyll

多页，付费版可以，开心版可以

ninqq

你不上网址的话  很难知道具体什么回事的  不过你采集网址也简单

火车头直接匹配多页 可以直接获取当前页面的url

恢复自我

用 高级功能的 http请求

jekyll

bob1987 发表于 2019-5-11 17:16
多页测试无效。。。只能采集跳转的新页面的内容，但是无法获取到url

用php写个页面解决，采集的时候多页地址直接填你的php程序，后面加采集地址url参数。

amo

是不是点击之后跳转到百度网盘了？
这种可以先把请点击此处这个链接下载下来
例如

1. http://***/down.php?id=1
   
2. http://***/down.php?id=2
   
3. http://***/down.php?id=3
   
4. http://***/down.php?id=4

复制代码

然后用form提交，再使用网站的cookie，就能批量获取到百度网盘地址了

index.html

1. 
   
2. <form action="cj.php" method="post">
   
3. <textarea rows="50" cols="120" name="keywords">
   
4. 
   
5. </textarea>
   
6.   <input type="submit" value="Submit" />
   
7. </form>
   

复制代码

1. $keyword_list = trim($_REQUEST['keywords']);
   
2. $str_array = explode("\r\n", $keyword_list);
   
3. 
   
4. 
   
5. 
   
6. 
   
7. foreach ($str_array as $value) {  
   
8.     $curlPost=$value;  
   
9.     $ch = curl_init($curlPost) ;   
   
10.   curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);
    
11. curl_setopt($ch,CURLOPT_HEADER,true);
    
12. curl_setopt($ch, CURLOPT_NOBODY, 1);
    
13. //curl_setopt($ch,CURLOPT_HTTPHEADER,$header);
    
14. curl_setopt($ch,CURLOPT_COOKIE,'填写网站cookie');
    
15. curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    
16. 
    
17. $content = curl_exec($ch);
    
18. $info = curl_getinfo($ch,CURLINFO_EFFECTIVE_URL);
    
19. curl_close($ch);
    
20. echo $info.'<br />';
    
21.   
    
22.   
    
23. 
    
24. }

复制代码

吧采集的下载链接弄个excel，在复制到表单里，批量获取百度网盘地址

上面是我之前采集一个点击下载跳转到百度网盘的代码

gmjiaoyi

你采集的资源看起来有点像爱情动作片