Python-爬取知乎某个问题下的所有回答
作为⼀个Python⼩⽩，在经过⼀个⼤⽜的安利下，迅速将魔⽖伸向了Python。作为⼀个⼩⽩，今天分享下已经被⼤⽜们玩坏的知乎爬⾍，各位看官你看好了。
1. 我为什么要爬取回答
其实我只是好奇，加上为了快速掌握基本的语法，就研究了⼀下。
2. 如何实现
懒得说了，你⾃⼰看代码吧：
#!/usr/bin/python
# -*- coding: utf-8 -*-
# Filename : ZhiHuSpider.py
import time
import re
import requests
kiejar
from PIL import Image
import json
from bs4 import BeautifulSoup
class ZhiHuSpider(object):
def __init__(self):
self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 '
'(KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36',
"Host": "www.zhihu",
"Referer": "www.zhihu/",
}
# 建⽴⼀个会话，可以把同⼀⽤户的不同请求联系起来；直到会话结束都会⾃动处理cookies
self.session = requests.Session()
self.session.keep_alive = False
# 建⽴LWPCookieJar实例，可以存Set-Cookie3类型的⽂件。
# ⽽MozillaCookieJar类是存为'/.txt'格式的⽂件
kies = kiejar.LWPCookieJar("cookie")
# 若本地有cookie则不⽤再post数据了
try:
kies.load(ignore_discard=True)
print('Cookie加载成功！')
except IOError:
print('Cookie未加载！')
def get_xsrf(self):
"""
获取参数_xsrf
"""
response = ('www.zhihu', headers=self.headers)
html =
get_xsrf_pattern = repile(r'<input type="hidden" name="_xsrf" value="(.*?)"')
_xsrf = re.findall(get_xsrf_pattern, html)[0]
return _xsrf
def get_captcha(self):
"""
获取验证码本地显⽰
返回你输⼊的验证码
"""
t = str(int(time.time() * 1000))
captcha_url = 'www.zhihu/captcha.gif?r=' + t + "&type=login"
captcha_url = 'www.zhihu/captcha.gif?r=' + t + "&type=login"
response = (captcha_url, headers=self.headers)
with open('cptcha.gif', 'wb') as f:
f.t)
# Pillow显⽰验证码
im = Image.open('cptcha.gif')
im.show()
captcha = input('本次登录需要输⼊验证码： ')
return captcha
def login(self, username, password):
"""
输⼊⾃⼰的账号密码，模拟登录知乎
"""
# 检测到11位数字则是⼿机登录
if re.match(r'\d{11}$', username):
url = 'www.zhihu/login/phone_num'
data = {'_xsrf': _xsrf(),
'password': password,
'remember_me': 'true',
'phone_num': username
}
else:
url = 'www.zhihu/login/email'
data = {'_xsrf': _xsrf(),
'password': password,
'remember_me': 'true',
'email': username
}
# 若不⽤验证码，直接登录
result = self.session.post(url, data=data, headers=self.headers)
# 打印返回的响应，r = 1代表响应失败，msg⾥是失败的原因
# loads可以反序列化内置数据类型，⽽load可以从⽂件读取
if (json.))["r"] == 1:
# 要⽤验证码，post后登录
data['captcha'] = _captcha()
result = self.session.post(url, data=data, headers=self.headers)
print((json.))['msg'])
# 保存cookie到本地
kies.save(ignore_discard=True, ignore_expires=True)
def isLogin(self):
# 通过查看⽤户个⼈信息来判断是否已经登录
url = "www.zhihu/settings/profile"
# 禁⽌重定向，否则登录失败重定向到⾸页也是响应200
login_code = (url, headers=self.headers, allow_redirects=False,verify=False).status_code        if login_code == 200:
return True
else:
return False
def getUserInfo(self, userId):
url = 'www.zhihu/people/' + userId + '/activities'
response = (url, headers=self.headers)
soup = t, 'lxml')
name = soup.find_all('span', {'class': 'ProfileHeader-name'})[0].string
print(name)
def getQsAnswer(self, questionId):
# 每次我们取10条回答
limit = 10
# 获取答案时的偏移量
offset = 0
# 开始时假设当前有这么多的回答，得到请求后我再解析
total = 2 * limit;
# 我们当前已记录的回答数量
record_num = 0python新手代码userid
# 定义问题的标题，为了避免获取失败，我们在此先赋值
title = questionId
# 存储所有的答案信息
answer_info = []
print('Fetch ')
while record_num < total:
# 开始获取数据
# 我们获取数据的URL格式是什么样呢？
# www.zhihu/api/v4/questions/39162814/answers?
# sort_by=default&include=data[*].is_normal,content&limit=5&offset=0
url = 'www.zhihu/api/v4/questions/' \
+ questionId + '/answers' \
'?sort_by=default&include=data[*].is_normal,voteup_count,content' \
'&limit=' + str(limit) + '&offset=' + str(offset)
response = (url, headers=self.headers)
# 返回的信息为json类型
response = json.t)
# 其中的paging实体包含了前⼀页&下⼀页的URL，可据此进⾏循环遍历获取回答的内容            # 我们先来看下总共有多少回答
total = response['paging']['totals']
# 本次请求返回的实体信息数组
datas = response['data']
# 遍历信息并记录
if datas is not None:
if total <= 0:
break
for data in datas:
dr = repile(r'<[^>]+>', re.S)
content = dr.sub('', data['content'])
answer = data['author']['name'] + ' ' + str(data['voteup_count']) + ' ⼈点赞' + '\n'
answer = answer + 'Answer:' + content + '\n'
answer_info.append('\n')
answer_info.append(answer)
answer_info.append('\n')
answer_info.append('------------------------------')
answer_info.append('\n')
# 获取问题的title
title = data['question']['title']
# 请求的向后偏移量
offset += len(datas)
record_num += len(datas)
# 如果获取的数组size⼩于limit，循环结束
if len(datas) < limit:
break;
print('Fetch ')
answer_info.insert(0, title + '\n')
self.write2File(title + '.txt', answer_info)
def write2File(self, filePath, answerInfo):
print('Write info to ')
# 将⽂件内容写到⽂件中
with open(filePath, 'a', encoding='utf-8') as f:
f.writelines('\n\n')
for text in answerInfo:
f.writelines(text)
f.writelines('\n\n')
print('Write info to ')
if __name__ == '__main__':
spider = ZhiHuSpider()
if spider.isLogin():
print('您已经登录')

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。