关于淘宝的丝袜爬虫历史贴

今晚我是你的

https://www.hostloc.com/thread-507739-1-1.html

https://h5.m.taobao.com/ocean/privatenode/shop.html?sellerId=109043255


这个淘宝瀑布流技术难点在于 没有单独的列表页，而那个json的地址又不能单独打开，page也不能直接修改。

集思广益，找出自动爬下一页列表页url的方法。（目前只知道手动去抓下一页的，我已经爬完了，不过依然没有学会如何自动爬下一页，因为下一页的page不能单独改的，url里面的各种参数值也是随机的）

仅供交流学习，提高自己的技术水平，不要老想着撸啊撸

怅惘

https://h5.m.taobao.com/ocean/privatenode/shop.html?sellerId=673336836

冰镇苏打水

为了回复帖子,专门买了个注册吗.洋洋洒洒写了签名过程.
贴了个超链接,然后说不能发地址.然后都给我删了.
醉了 ....

t.(删括号以及内容)cn/EMvA4mo

虚滞

好不容易上次网 不仅花了钱 营养还流失了

adscrx

666，那就分享出了吧，大佬

冰镇苏打水

打开淘宝的任何一个具体商品页,在控制台输入一下代码.替换掉网址中的"sellerId"的值

1. (function getUserId(){
   
2.     var name = "userid=";
   
3.     var ca = document.querySelector('meta[name="microscope-data"]').content.split(';');
   
4.     for(var i=0; i<ca.length; i++) {
   
5.         var c = ca[i].trim().toLocaleLowerCase();
   
6.         if (c.indexOf(name)==0) { return c.substring(name.length,c.length)*1; }
   
7.     }
   
8.     return "";
   
9. })()

复制代码

蓝翔技校

分享出来，今晚我是你的

sora

这种爬虫可以写, 无限抓取, 但是目前还在学.

五零二八

十香 发表于 2019-3-6 18:08
卧槽.够劲,这论坛就这样,说着说着就开车了

说着说着就开车了

大白馒头。

小白表示只会用远古火车头，感谢提供网址，晚点用火车头试试

春江水暖鸭先知

农村的孩子营养跟不上了.