python爬取信息获取代码乱码_Python爬取⾖瓣电影Top250源
代码
本⽂使⽤Python爬取⾖瓣电影Top250，含完整源代码，并实现两种⽅式保存数据(excel和数据库)主要分为四步：1、获取页⾯源代
码；2、获取标签；3、正则表达式匹配；4、保存数据。先上完整代码，后⾯再对重点部分进⾏解析。
程序运⾏截图：
from bs4 import BeautifulSoup #页⾯解析，获取数据import re #正则表达式 #指定URL，获取页⾯数据import xlwt #进⾏excel操作import
(.*?)
',re.S)#1.爬取⽹页def getData(baseUrl): dataList = [] for i in range(10): html = askUrl(baseUrl + str(i * 25)) # 2.逐⼀解析数据 bs =
BeautifulSoup(html,"html.parser") for item in bs.find_all('div',class_="item"): data = [] item = str(item) #链接 link = re.findall(findLink,item)[0] #
名字 name = re.findall(findName,item) if len(name) == 1: cName = name[0] fName = " " else: name[1] = name[1].replace(" / ","") cName =
name[0] fName = name[1] #评分 rating = re.findall(findRating,item)[0] #标题 inq = re.findall(findInq,item) if len(inq) < 1: inq = " " else: inq=
inq[0] #评分⼈数 racount = re.findall(findCount,item)[0] #电影信息 inf = re.findall(findInf,item)[0] inf = re.sub("...
(\s?)"," ",inf) inf = re.sub("/"," ",inf) inf = inf.strip() #添加⼀部电影的信息进data data.append(link) data.append(cName) data.append(fName)
data.append(rating) data.append(inq) data.append(racount) data.append(inf) dataList.append(data) return dataList#爬取指定urldef
askUrl(url): head = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3776.400 QQBrowser/10.6.4212.400"} request = quest.Request(url =
url,headers=head) http = "" try: response = quest.urlopen(request) http = ad().decode("utf-8") except
saveData(dataList,savePath): woke = xlwt.Workbook("utf-8",style_compression=0)#样式的压缩效果 sheet = woke.add_sheet("⾖瓣电影
Top250",cell_overwrite_ok=True)#覆盖原单元格信息 col = ("链接","中⽂名字","英⽂名字","评分","标题","评分⼈数","概况") for i in range (7): sheet.write(0,i,col[i]) for i in range (0,250): for j in range (7): sheet.write(i+1,j,dataList[i][j]) print("第%d条数据"%(i+1)) woke.save(savePath)
print("保存完毕")#3.保存到数据库def savedb(dataList,dataPath): initdb(dataPath) conn = t(dataPath) cur = conn.cursor() #开
始保存数据 for data in dataList: for index in range(len(data)): data[index] = str('"'+data[index]+'"') newstr = ",".join(data) sql ="insert into
movie(info_link,cname,fname,rating,inq,racount,inf)values(%s)"%(newstr) print(sql) ute(sql) connmit() cur.close() conn.close()
print("保存完毕")#3-1新建表def initdb(dataPath): conn = t(dataPath) cur = conn.cursor() sql = ''' create table movie( id Integer primary key autoincrement, info_link text, cname varchar , fname varchar , rating varchar , inq text, racount varchar , inf text ) '''
⼀、获取页⾯源代码
1. 伪装成浏览器；
2.进⼀步包装请求；
3.⽹页请求获取数据；
4.解析并保存；
5.返回数据。
#指定URL，获取页⾯数据#爬取指定urldef askUrl(url): #请求头伪装成浏览器(字典) head = {"User-Agent":"Mozilla/5.0 (Windows NT ⼆、获取标签
通过BeautifulSoup进⼀步解析页⾯源代码
from bs4 import BeautifulSoup #页⾯解析，获取数据
Beautiful Soup 将复杂 HTML ⽂档转换成⼀个复杂的树形结构，每个节点都是 Python 对象，可分为四⼤对象种类，这⾥主要⽤到Tag类的电影源代码人物介绍
对象，还有三种，有兴趣可以⾃⼰去深⼊学习~~
#构建了⼀个BeautifulSoup类型的对象soup#参数为⽹页源代码和”html.parser”，表明是解析html的bs = BeautifulSoup(html,"html.parser")#到所有class叫做item的d 三、正则表达式匹配
先准备好相应的正则表达式，然后在上⾯得到的标签下⼿
#Python正则表达式前的 r 表⽰原⽣字符串(rawstring)#该字符串声明了引号中的内容表⽰该内容的原始含义，避免了多次转义造成的反斜杠困扰#re.S它表⽰"."的作⽤扩四、保存数据
实现保存在excel中及数据库中，对应函数分别是saveData及savedb。
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论