Selenium设置Chrome和PhantomJS的请求头信息对于反爬⾍来说,部分对策可以选择Selenium模拟器进⾏爬取,但是问题来了,如何设置请求头呢,模拟器是怎样伪装的呢?
⽬录:
⼀:selenium设置phantomjs请求头
⼆:selenium设置chrome请求头
三:selenium设置chrome–cookie
四:selenium设置phantomjs-图⽚不加载
⼀:selenium设置phantomjs请求头:selenium获取cookie
设置 ⽹址,可看见⾃⼰设置的头⽂件,感谢
如代码:
from selenium import webdriver
from selenium.webdrivermon.desired_capabilities import DesiredCapabilities
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36', 'Connection': 'keep-alive'
}
cap = py() # 使⽤copy()防⽌修改原代码定义dict
for key, value in headers.items():
cap['phantomjs.page.customHeaders.{}'.format(
key)] = value
browser = webdriver.PhantomJS(desired_capabilities=cap)
<("/get?show_env=1")
# print(browser.page_source)
<_screenshot_as_file('01.png')
browser.close()
⼆:selenium设置chrome请求头:
来源 ,感恩原作者
from selenium import webdriver # 进⼊浏览器设置
options = webdriver.ChromeOptions() # 设置中⽂
options.add_argument('lang=zh_CN.UTF-8') # 更换头部
options.add_argument('User-Agent="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"') browser = webdriver.Chrome(chrome_options=options)
<("/get")
print(browser.page_source)
browser.close()
三:selenium设置chrome–cookie:
cookie⽤于模拟登陆,记录会话
from selenium import webdriver
browser = webdriver.Chrome()
<("www.baidu/")
new_window = 'window.open("www.baidu");' # 打开新窗⼝
browser.delete_all_cookies() # 删除原来的cookie
browser.add_cookie({'name': 'ABC', 'value': 'DEF'}) # 携带cookie打开
input("查看效果")
browser.close()
四:selenium设置phantomjs-图⽚不加载:
from selenium import webdriver
options = webdriver.ChromeOptions()
prefs = {
'profile.default_content_setting_values': {
'images': 2
}
}
options.add_experimental_option('prefs', prefs) browser = webdriver.Chrome(chrome_options=options) ("image.baidu/")
input("是否有图")
browser.close()
效果如图:
特此记录,以备不时之需
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论