python爬取⾖瓣电影TOP250数据
在执⾏程序前，先在MySQL中创建⼀个数据库"pachong"。
import pymysql
import requests
import re
#获取资源并下载
def resp(listURL):
#连接数据库
conn = t(
host = '127.0.0.1',
port = 3306,
user = 'root',
password = '******',  #数据库密码请根据⾃⾝实际密码输⼊
database = 'pachong',
charset = 'utf8'
)
#创建数据库游标
cursor = conn.cursor()
#创建列表t_movieTOP250（执⾏sql语句）
# 爬取数据
for urlPath in listURL:
# 获取⽹页源代码
response = (urlPath)
html =
# 正则表达式
namePat = r'alt="(.*?)" src='
imgPat = r'src="(.*?)" class='
# 匹配正则（排名【⽤数据库中id代替，⾃动⽣成及排序】、电影名、电影海报（图⽚地址））
res2 = repile(namePat)
res3 = repile(imgPat)
textList2 = res2.findall(html)
textList3 = res3.findall(html)
电影源代码人物介绍# 遍历列表中元素，并将数据存⼊数据库
for i in range(len(textList3)):
#从游标中获取结果
cursor.fetchall()
#提交结果
connmit()
print("结果已提交")
except Exception as e:
#数据回滚
print("数据已回滚")
#关闭数据库
conn.close()
#top250所有⽹页⽹址
def page(url):
urlList = []
for i in range(10):
num = str(25*i)
pagePat = r'?start=' + num + '&filter='
urL = url+pagePat
urlList.append(urL)
return urlList
if __name__ == '__main__':
url = r"movie.douban/top250"
listURL = page(url)
resp(listURL)
结果如下图：
以上就是我的分享，如果有什么不⾜之处请指出，多交流，谢谢！
以上就是python爬取⾖瓣电影TOP250数据的详细内容，更多关于python爬取⾖瓣电影的资料请关注其它相关⽂章！

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。