15⾏Python代码能⼲嘛？能写⼀个抖⾳⽹页版的简易爬⾍（附
源码）
前⾔
随着互联⽹时代的到来，⼈们更加倾向于互联⽹购物，某宝⼜是电商⾏业的巨头，在某宝平台中有很多商家数据，今天带⼤家使⽤
python+selenium⼯具获取这些公开的商家数据
环境介绍：
python 3.6
pycharm
selenium
csv
time
random
这次的受害者：淘宝购物平台
1. 创建⼀个浏览器对象
from selenium import webdriver
driver = webdriver.Chrome()
2. 执⾏⾃动化页⾯操作
<('www.taobao/')
driver.maximize_window()  # 最⼤化浏览器
driver.implicitly_wait(10)  # 设置浏览器的隐式等待, 智能化的等待
到这⼀步，你就可以⾃⼰运⾏代码看看可不可以⾃动打开你的浏览器进⼊淘宝的⾸页
3. 根据关键字搜索商品, 解决登录
复制它的xpath，⽤xpath语法提取页⾯标签的元素
def search_product(keyword):
# 输⼊框的标签对象
driver.find_element_by_xpath('//*[@id="q"]').send_keys(keyword)
word = input('请输⼊你要搜索商品的关键字:')
运⾏代码
前⾯搞定了搜索框的，现在来写点击搜索按钮的，同样复制它的xpath
python新手代码图案如何保存
# 为了避免被检测
import time  # 时间模块内置模块
time.sleep(random.randint(1, 3))  # 随机休眠1到3秒
driver.find_element_by_xpath('//*[@id="J_TSearchForm"]/div[1]/button').click()
4. 解决登录
点击了搜索按钮以后，会弹出登录界⾯给你，那就继续解决登录
driver.find_element_by_xpath('//*[@id="fm-login-id"]').send_keys(TAO_USERNAME) time.sleep(random.randint(1, 2))
driver.find_element_by_xpath('//*[@id="fm-login-password"]').send_keys(TAO_PASSWORD) time.sleep(random.randint(1, 2))
driver.find_element_by_xpath('//*[@id="login-form"]/div[4]/button').click()
5. 解析数据
获取⽬标数据的div标签
def parse_data():
# 所有div标签
divs = driver.find_elements_by_xpath('//div[@class="grid g-clearfix"]/div/div')
⽤for循环遍历取值
for div in divs:  # ⼆次提取
title = div.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text
price = div.find_element_by_xpath('.//strong').text + '元'  # 商品价格  # ⼿写
deal = div.find_element_by_xpath('.//div[@class="deal-cnt"]').text  # 付款⼈数  # ⼿写
name = div.find_element_by_xpath('.//div[@class="shop"]/a/span[2]').text  # 店铺名称  # ⼿写
location = div.find_element_by_xpath('.//div[@class="location"]').text  # 店铺地址  # ⼿写
detail_url = div.find_element_by_xpath('.//div[@class="pic"]/a').get_attribute('href')  # 详情页地址  # ⼿写    print(title, price, deal, name, location, detail_url)
运⾏代码，可以看到获取的数据了
6. 最后⼀步，保存数据
import csv
with open('淘宝.csv', mode='a', encoding='utf-8', newline='') as f:
csv_write = csv.writer(f)  # 实例化csv模块写⼊对象
csv_write.writerow([title, price, deal, name, location, detail_url])

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。