手把手教你扒网站数据——详细教程，简单易学

shc · 发表于 2018-8-26 06:31:10

本帖最后由 shc 于 2018-8-26 08:31 编辑

今天介绍一下怎样使用Beautiful Soup写爬虫扒网站的数据

整个过程非常简单，我将详细介绍语段分析、处理翻页等等细节，使得和我一样的小白朋友们能够轻松上手编写爬虫

Beautiful Soup是一个用于网页处理的Python库，使用Beautiful Soup可以解析HTML和XML，生成树状结构，从而让我们方便地提取需要的信息。

本文我们将以xxxx网为例，试图从xxxx上获取杭州二手笔记本电脑的相关发布信息。

我们希望通过简单的变成，搜集到二手笔记本电脑的出售条目并列入Excel。

由于代码太多，这里没办法列出全部代码，请移步原文哈

https://qing.su/article/140.html

由于不常用Python, 所以有的地方代码比较乱，让大佬见笑了

有问题欢迎在文章下面留言哈，谢谢大家

EDIT: 某网站欠我100万广告费…………

Smart · 发表于 2018-8-26 06:49:50

看完了，感觉还是火车头方便，另外博主博客怎么变快了，记得以前很慢

花样撸管冠军 · 发表于 2018-8-26 06:51:38

前排留名

shc · 发表于 2018-8-26 07:02:08

Smart 发表于 2018-8-26 06:49
看完了，感觉还是火车头方便，另外博主博客怎么变快了，记得以前很慢

以前套了cloudflare, 现在拿掉了

木易酱 · 发表于 2018-8-26 07:10:21

这个外链软文不错

翻车的老司机 · 发表于 2018-8-26 07:14:38

软文非常棒

Gh0st · 发表于 2018-8-26 07:17:04

shc 发表于 2018-8-26 07:02
以前套了cloudflare, 现在拿掉了

浙江电信表示并不快

yyhtc · 发表于 2018-8-26 08:17:29

我就是来看看

shc · 发表于 2018-8-26 08:27:04

木易酱发表于 2018-8-26 07:10
这个外链软文不错

58同城欠我1000万广告费

shc · 发表于 2018-8-26 08:52:20

Gh0st 发表于 2018-8-26 07:17
浙江电信表示并不快

毕竟还是200ms左右延迟……

		自动登录	找回密码
密码			注册