Python爬⾍案例教学:selenium⾃动化框架爬取数据,太实⽤
了
Python爬⾍、数据分析、⽹站开发等案例教程视频免费在线观看
space.bilibili/523606542
完整代码请加管理员免费领取
前⾔
现在电商平台有很多商品数据,采集到的数据对电商价格战很有优势
今天带⼤家采集京东这个电商平台的数据
环境介绍:
python 3.6
pycharm
selenium
csv
prophettime
⾸先配置好开发环境
先要到你Google浏览器的版本
复制地址,随便在⼀个⽂件夹内粘贴打开
京东python入门教程然后就可以看见你Google浏览器的版本
在百度上搜索浏览器驱动,第⼀个就是
⼀个和你版本⼀样或者差不多的版本下载
现在可以敲代码了
安装selenium模块
pip install selenium
再导⼊模块,创建浏览器对象
# 浏览器功能
from selenium import webdriver
driver = webdriver.Chrome()扫雷java代码
<('www.jd/')
运⾏代码,可以操控浏览器⾃动打开你输⼊的⽹址
既然能⾃动的打开⽹页,那⼲脆来个全⾃动的搜索商品好了
接口文档包括哪些内容def get_product(key):
"""商品搜索"""
driver.find_element_by_css_selector('#key').send_keys(key)
driver.find_element_by_css_selector('#search > div > div.form > button').click()
keyword = input('请输⼊商品搜索的关键字:')
解析搜索商品的⽹页数据
def parse_data():
"""页⾯的数据解析"""
lis = driver.find_elements_by_css_selector('.gl-item') # 所有li标签
for li in lis:
try:
requires翻译name = li.find_element_by_css_selector('div.p-name a em').text # 商品的名字
name = place('京东超市', "").replace('"', '').replace('\n', '')
price = li.find_element_by_css_selector('div.p-price strong i').text + '元' # 商品的价格
deal = li.find_element_by_css_selector('div.p-commit strong a').text # 商品的评价数量
title = li.find_element_by_css_selector('span.J_im_icon a').get_attribute('title') # 商品的店铺名字 print(name, price, deal, title, sep=' | ')
最后⼀步,就是保存数据了政府网站免费psd
import csv # 数据保存模块, 内置
with open('京东数据.csv', mode='a', encoding='utf-8', newline='') as f:
csv_write = csv.writer(f)
csv_write.writerow([name, price, deal, title])
运⾏代码,效果如下图
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论