全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 1023|回复: 4

[翻译] 一个python爬虫的问题

[复制链接]
发表于 2018-5-13 18:30:53 | 显示全部楼层 |阅读模式
本帖最后由 嬴政 于 2018-5-13 19:23 编辑

写了一个爬取糗事百科热图的爬虫,写了爬取全部的src,但是运行后只能爬取一页,大佬们看下哪里出错了
import requests
from bs4 import BeautifulSoup
import os
url = 'https://www.qiushibaike.com/imgrank/'
headers = {'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",'Referer': "https://www.qiushibaike.com/imgrank/"}
response = requests.get(url,headers=headers)
response.encoding = 'utf-8'
html = response.text
count = 1
while count < 13:
    a = str(count)
    page_url = 'https://www.qiushibaike.com/imgrank/page/'+ a +'/'
    count+=1
    # print(count)
    response1 = requests.get(page_url,headers=headers)
    response1.encoding = 'utf-8'
    html1 = response1.text
    # print(html1)
    soup = BeautifulSoup(html1,'lxml')
    img_src = soup.find('div',class_="thumb").find_all('img')
    for a in img_src:
        print(a['src'])[/code]

发表于 2018-5-13 18:58:48 | 显示全部楼层
不懂,帮顶一下
发表于 2018-5-13 19:09:20 | 显示全部楼层
有问题,直接github,说不定只有写好的虫子
发表于 2018-5-13 19:19:05 | 显示全部楼层
本帖最后由 fei2018 于 2018-5-13 19:20 编辑

你有个地方错了,你的写法每页只查找第一张图片,按我的写法就行了

 楼主| 发表于 2018-5-13 19:22:34 | 显示全部楼层
fei2018 发表于 2018-5-13 19:19
你有个地方错了,你的写法每页只查找第一张图片,按我的写法就行了

我也是刚刚发现,往上面去了一层,得到了全部的下载地址
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2024-4-26 11:03 , Processed in 0.065076 second(s), 11 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表