遇到一个奇怪的网站，请教下爬虫大佬

yy小马君 · 发表于 2019-4-30 15:14:51

本帖最后由 yy小马君于 2019-4-30 15:17 编辑

rt，今天有个任务，需要爬一个网站：https://msyyl.ypzdw.com/

需要的是上图的商品信息，然后查看源码发现他是同步然后使用js渲染商品信息到页面
这样我就完全拿不到商品信息了，请问大佬们有没有什么好的解决方法？

查看network发现并不是异步加载js

其加载商品信息js

shuo502 · 发表于 2019-4-30 15:16:33

提示: 作者被禁止或删除内容自动屏蔽

yy小马君 · 发表于 2019-4-30 15:17:46

shuo502 发表于 2019-4-30 15:16
vue

只会java爬虫。。

三一土白 · 发表于 2019-4-30 15:20:57

本帖最后由三一土白于 2019-4-30 15:22 编辑

数据全在这个网址中.

yy小马君 · 发表于 2019-4-30 15:25:06

三一土白发表于 2019-4-30 15:20
数据全在这个网址中.

这个列表的数据不全，我需要进入到里面的数据。。

yy小马君 · 发表于 2019-4-30 15:29:37

三一土白发表于 2019-4-30 15:20
数据全在这个网址中.

我需要的是这种格式的商品的url：https://kelun.ypzdw.com/0/279196，你刚刚给我看的是：https://www.ypzdw.com/product/24
不过还是非常感谢了

robot · 发表于 2019-4-30 15:31:15

本帖最后由 robot 于 2019-4-30 15:39 编辑

找到js就更简单了

一共就那么几条，没有什么找不到的

三一土白 · 发表于 2019-4-30 15:32:40

yy小马君发表于 2019-4-30 15:25
这个列表的数据不全，我需要进入到里面的数据。。

那进入那个页面,在这里面找的.

你肉眼能看到的数据,都在这里面,没什么找不到的.

我以前最笨的时候,是一个页面的response,复制粘贴出来,Ctrl +F找.从来没有找不到的.

leeker · 发表于 2019-4-30 16:01:05

三一土白发表于 2019-4-30 15:32
那进入那个页面,在这里面找的.

你肉眼能看到的数据,都在这里面,没什么找不到的.

头像好猛

ff55 · 发表于 2019-4-30 16:04:23

这种最好做，直接把请求拿过来，返回过来的数据就是的了，不需要爬虫

		自动登录	找回密码
密码			注册

shuo502 shuo502 当前离线积分 7106	发表于 2019-4-30 15:16:33 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
shuo502 shuo502 当前离线积分 7106
	回复举报