深夜再发一次javhd的爬虫，更新了cookie【更新时间 2018年3月...

eqblog · 发表于 2018-3-7 20:55:20

bigboss60 发表于 2018-3-7 20:54
要先在运行脚本的电脑上登录账号获取Cookies是吗？想在VPS运行但没桌面运行浏览器啊 ...

直接运行新脚本就好了。不需要获取。。我用的是我的账户

nerlnsqy · 发表于 2018-3-7 21:11:56

爬到的只是30多M的视频

bigboss60 · 发表于 2018-3-7 21:24:42

eqblog 发表于 2018-3-7 20:55
直接运行新脚本就好了。不需要获取。。我用的是我的账户

下了都是30M左右的视频，都打不开

eqblog · 发表于 2018-3-7 21:27:34

nerlnsqy 发表于 2018-3-7 21:11
爬到的只是30多M的视频

那就说明我的会员到期了。或者cookie失效

ru1404 · 发表于 2018-3-7 22:42:10

本帖最后由 ru1404 于 2018-3-7 22:55 编辑

  首先报错
File "spider.py", line 39
SyntaxError: Non-ASCII character '\xe6' in file spider.py on line 39, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

解决文字编码又出现错误环境是centos 6.9 windows 没有问题

Traceback (most recent call last):
  File "spider.py", line 79, in <module>
run()
  File "spider.py", line 68, in run
info=s.find_info(page)
  File "spider.py", line 15, in find_info
info=re.findall(r'clickitem="(.*?)".*?t ">\n(.*?)\n.*?</span>',str(req.text),re.M)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 1818-1821: ordinal not in range(128)

yumin9822 · 发表于 2018-3-7 22:54:36

wget必须分享起来！

itsme · 发表于 2018-3-12 20:02:54

cookie失效是什么意思啊。我爬到600G多后，被自动killed掉了。
vps上再运行脚本，没任何输出信息，自己pc上通过vps的代理去登录会提示：
Confirm your activity
We apologize for the inconvenience but some your recent activity looks as if it may have been scripted. We would like to confirm that your activity is real.

		自动登录	找回密码
密码			注册