Python使⽤urlretrieve实现直接远程下载图⽚的⽰例代码
在实现爬⾍任务时,经常需要将⼀些图⽚下载到本地当中。那么在python中除了通过open()函数,以⼆进制写⼊⽅式来下载图⽚以外,还有什么其他⽅式吗?本⽂将使⽤urlretrieve实现直接远程下载图⽚。
下⾯我们再来看看 urllib 模块提供的 urlretrieve() 函数。urlretrieve() ⽅法直接将远程数据下载到本地。
>>> help(urllib.urlretrieve)
Help on function urlretrieve in module urllib:
urlretrieve(url, filename=None, reporthook=None, data=None)
参数 finename 指定了保存本地路径(如果参数未指定,urllib会⽣成⼀个临时⽂件保存数据。)
参数 reporthook 是⼀个回调函数,当连接上服务器、以及相应的数据块传输完毕时会触发该回调,我们可以利⽤这个回调函数来显⽰当前的下载进度。
参数 data 指 post 到服务器的数据,该⽅法返回⼀个包含两个元素的(filename, headers)元组,filename 表⽰保存到本地的路径,header 表⽰服务器的响应头。
下⾯通过例⼦来演⽰⼀下这个⽅法的使⽤,这个例⼦将 google 的 html 抓取到本地,保存在 D:/google.html ⽂件中,同时显⽰下载的进度。
import urllib
def cbk(a, b, c):
'''回调函数
@a: 已经下载的数据块
@b: 数据块的⼤⼩
@c: 远程⽂件的⼤⼩
'''
per = 100.0 * a * b / c
if per > 100:
per = 100
print '%.2f%%' % per
url = 'le'
local = 'd://google.html'
urllib.urlretrieve(url, local, cbk)
代码实现
在python中除了使⽤open()函数实现图⽚的下载,还可以通过quest模块中的urlretrieve实现直接远程下载图⽚的操作。以远程下载某⽹页外设产品图⽚为例,代码如下:
import requests
quest
import os # 系统模块
import shutil # ⽂件夹控制
def download_pictures(url):
headers = {
"user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) "
"AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36"} response = (url, headers=headers) # 发送⽹络请求 获取响应
if response.status_code == 200: # 判断请求是否成功
# print(response.json())
# 每次获取数据之前,先将保存图⽚的⽂件夹清空 在创建⽬录
if ists("img_download"): # 判断⽂件夹是否存在
<("img_download") # 存在则删除
os.makedirs("img_download") # 重新创建
else:
os.makedirs("img_download") # 不存在 直接创建
content = response.json()["products"] # 获取响应内容
print(content)
for index, item in enumerate(content):
# 图⽚地址
img_path = "img13.360buyimg/n1/s320x320_" + item["imgPath"]
# print(item["imgPath"])
# 根据下标命名图⽚名称
else:
print("请求失败")
if __name__ == '__main__':
chrome直接下载
download_pictures("ch.jd/hotsale2?cateid=686")
运⾏结果如下图所⽰:
到此这篇关于Python使⽤urlretrieve实现直接远程下载图⽚的⽰例代码的⽂章就介绍到这了,更多相关Python urlretrieve远程下载内容请搜索以前的⽂章或继续浏览下⾯的相关⽂章希望⼤家以后多多⽀持!
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论