pythonrequest得替代_python-如何⽤代替reques。
。。
问 题
我原来是⽤这个:
<(url, headers = headers, cookies = cookie)
来爬⽹页的,现在换成(url),但是不知道怎么附加headers和cookies了,搜了⼀下别⼈的说是可以⽤
driver.add_cookie(cookie),但是会报⼀⼤堆错误(很长...)。想知道怎么替换掉的写法附上cookies。
解决⽅案
1.driver是⽤的什么驱动呢,⽐如以phantomjs为例,可以这样设置的:
from selenium import webdriver
source_url='huaban/boards/28195582/'
headers={
'Host':'huaban',
'Pragma':'no-cache',
'Cache-Control':'no-cache',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36',
selenium获取cookie'Cookie':'xxxxxx'
}
cap = webdriver.DesiredCapabilities.PHANTOMJS
cap["phantomjs.page.settings.userAgent"] = headers['User-Agent'] #设置请求header头信息
cap["phantomjs.page.settings.loadImages"] = False #禁⽌加载图⽚
cap["phantomjs.page.customHeaders.Host"]=headers['Host']
cap["phantomjs.page.customHeaders.Pragma"]=headers['Pragma']
cap["phantomjs.page.customHeaders.Cookie"]=headers['Cookie']
driver = webdriver.PhantomJS(desired_capabilities=cap)
<(source_url)
扫⼀扫关注IT屋
搜索 “ IT屋 ” ,选择关注与百万开发者在⼀起
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论