博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python 携带cookie获取页面内容
阅读量:6870 次
发布时间:2019-06-26

本文共 1085 字,大约阅读时间需要 3 分钟。

有时会遇到爬取的页面需要登录,这就要带上cookie了。

下面记录了几种携带cookie的方法

# coding=utf-8import requestss = requests.Session()login_data = {'username': 'teacher', 'password': 'teacher'}# 方法1# resp1 = s.post('http://192.168.2.132/login/', data=login_data)# r = s.get('http://192.168.2.132/personal_live/')# 方法2# resp1 = requests.post('http://192.168.2.132/login/', data=login_data)# print('cookie:' + str(resp1.cookies))# r = requests.get('http://192.168.2.132/personal_live/', cookies=resp1.cookies)# 方法3# c = {'sessionid': '3ps7ouyox1l43alcb7rafxg9dtfnurcb'}# r = requests.get('http://192.168.2.132/personal_live/', cookies=c)c = {    '.CNBlogsCookie': 'D020D...07',    '.Cnblogs.AspNetCore.Cookies': 'CfDJ...WA',    'SyntaxHighlighter': 'java',    'SERVERID': '560...34'}r = requests.get('https://i.cnblogs.com/EditPosts.aspx?opt=1', cookies=c)resp = r.textprint(resp)

方法1是利用同一个Session,先登录,再访问有限制页面。

方法2是直接使用requests,和1一样,同样是先登录,获取cookie,携带cookie访问限制页面。

方法3是手动从浏览器获取cookie,再携带cookie访问限制页面。

优缺点:

1,2差不多,都是直接运行脚本就可以了,但是需要登录页面没有验证码一类的处理。

3可以应对各种网站,但是需要手动获取cookie。

转载于:https://www.cnblogs.com/lanqie/p/8392696.html

你可能感兴趣的文章
《云数据管理:挑战与机遇》一第1章
查看>>
《嵌入式C编程实战》——1.5 软件开发工具
查看>>
分析3000份技术面试数据:这几大指标比你毕业于哪所学校更要紧
查看>>
Linux有问必答:如何检查PDF中使用了哪种字体
查看>>
《Lua游戏AI开发指南》一2.1 新建一个沙箱项目
查看>>
对jquery val 获取input 文本框值进行扩展
查看>>
MySQL (select_paren) union_order_or_limit 行为
查看>>
并发不是并行,它更好!
查看>>
nltk 自己训练模型例子
查看>>
间谍卫星的基础?YOLT——利用卷积神经网络对卫星影像进行多尺度目标检测(Part I)...
查看>>
jstl_开发第一个标签
查看>>
程序员哇,你想在下个情人节或者520脱单么?这个秘籍不能错过
查看>>
去不去O,谁说了算?
查看>>
PHP防SQL注入和XSS攻击
查看>>
在SHAREPOINT共享文档库中启用版本控制功能。
查看>>
Http 代理工具 实战 支持网页与QQ代理
查看>>
又见尾递归
查看>>
安装PyGraphics
查看>>
【COCOS2DX-LUA 脚本开发之四】使用TOLUA++编译PKG,从而创建自定义类让LUA脚本使用...
查看>>
开源大数据周刊-第16期
查看>>