Python爬⾍⼊门教程！⼿把⼿教会你爬取⽹页数据
其实在当今社会，⽹络上充斥着⼤量有⽤的数据，我们只需要耐⼼的观察，再加上⼀些技术⼿段，就可以获取到⼤量的有价值数据。这⾥的“技术⼿段”就是⽹络爬⾍。今天就给⼤家分享⼀篇爬⾍基础知识和⼊门教程：
什么是爬⾍？
爬⾍就是⾃动获取⽹页内容的程序，例如搜索引擎，Google，Baidu 等，每天都运⾏着庞⼤的爬⾍系统，从全世界的⽹站中爬⾍数据，供⽤户检索时使⽤。
爬⾍流程
其实把⽹络爬⾍抽象开来看，它⽆外乎包含如下⼏个步骤
模拟请求⽹页。模拟浏览器，打开⽬标⽹站。
获取数据。打开⽹站之后，就可以⾃动化的获取我们所需要的⽹站数据。
保存数据。拿到数据之后，需要持久化到本地⽂件或者数据库等存储设备中。
那么我们该如何使⽤ Python 来编写⾃⼰的爬⾍程序呢，在这⾥我要重点介绍⼀个 Python 库：Requests。
Requests 使⽤
Requests 库是 Python 中发起 HTTP 请求的库，使⽤⾮常⽅便简单。
模拟发送 HTTP 请求
发送 GET 请求
当我们⽤浏览器打开⾖瓣⾸页时，其实发送的最原始的请求就是 GET 请求
import requests
res = ('www.douban')
print(res)
print(type(res))
>>>
<Response [200]>
<class 'dels.Response'>
可以看到，我们得到的是⼀个 Response 对象
如果我们要获取⽹站返回的数据，可以使⽤ text 或者 content 属性来获取
text：是以字符串的形式返回数据
content：是以⼆进制的⽅式返回数据
print())
)
>>>
<class 'str'> <!DOCTYPE HTML>
<html lang="zh-cmn-Hans" class="">
imported food
<head>
<meta charset="UTF-8">
<meta name="google-site-verification" content="ok0wCgT20tBBgo9_zat2iAcimtN4Ftf5ccsh092Xeyw" />
<meta name="description" content="提供图书、电影、⾳乐唱⽚的推荐、评论和价格⽐较，以及城市独特的⽂化⽣活。">
<meta name="keywords" content="⾖瓣,⼴播，登陆⾖瓣">.....
发送 POST 请求
对于 POST 请求，⼀般就是提交⼀个表单
r = requests.post('', data={"key": "value"})
data 当中，就是需要传递的表单信息，是⼀个字典类型的数据。
header 增强
对于有些⽹站，会拒绝掉没有携带 header 的请求的，所以需要做⼀些 header 增强。⽐如：UA，Cookie，host 等等信息。
header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36",        "Cookie": "your cookie"}
res = ('', headers=header)
解析 HTML
html个人网页完整代码图片
现在我们已经获取到了⽹页返回的数据，即 HTML 代码，下⾯就需要解析 HTML，来提取其中有效的信息。
BeautifulSoup
BeautifulSoup 是 Python 的⼀个库，最主要的功能是从⽹页解析数据。
from bs4 import BeautifulSoup  # 导⼊ BeautifulSoup 的⽅法
# 可以传⼊⼀段字符串，或者传⼊⼀个⽂件句柄。⼀般都会先⽤ requests 库获取⽹页内容，然后使⽤ soup 解析。
soup = BeautifulSoup(html_doc,'html.parser')  # 这⾥⼀定要指定解析器，可以使⽤默认的 html，也可以使⽤ lxml。
print(soup.prettify())  # 按照标准的缩进格式输出获取的 soup 内容。
BeautifulSoup 的⼀些简单⽤法
print(soup.title)  # 获取⽂档的 title
print(soup.title.name)  # 获取 title 的 name 属性
print(soup.title.string)  # 获取 title 的内容
print(soup.p)  # 获取⽂档中第⼀个 p 节点
print(soup.p['class'])  # 获取第⼀个 p 节点的 class 内容
print(soup.find_all('a'))  # 获取⽂档中所有的 a 节点，返回⼀个 list
print(soup.find_all('span', attrs={'style': "color:#ff0000"}))  # 获取⽂档中所有的 span 且 style 符合规则的节点，返回⼀个 list
具体的⽤法和效果，我会在后⾯的实战中详细说明。
XPath 定位
XPath 是 XML 的路径语⾔，是通过元素和属性进⾏导航定位的。⼏种常⽤的表达式
movieclip详解
表达式含义node选择 node 节点的所有⼦节点/从根节点选取//选取所有当前节点.当前节点..⽗节点@属性选取text()当前路径下的⽂本内容
⼀些简单的例⼦
xpath('node')  # 选取 node 节点的所有⼦节点
xpath('/div')  # 从根节点上选取 div 元素
xpath('//div')  # 选取所有 div 元素
xpath('./div')  # 选取当前节点下的 div 元素
霹雳游侠2008国语版全集xpath('//@id')  # 选取所有 id 属性的节点
当然，XPath ⾮常强⼤，但是语法也相对复杂，不过我们可以通过 Chrome 的开发者⼯具来快速定位到元素的 xpath，如下图
得到的 xpath 为
//*[@id="anony-nav"]/div[1]/ul/li[1]/a
在实际的使⽤过程中，到底使⽤ BeautifulSoup 还是 XPath，完全取决于个⼈喜好，哪个⽤起来更加熟练⽅便，就使⽤哪个。爬⾍实战：爬取⾖瓣海报
我们可以从⾖瓣影⼈页，进⼊都影⼈对应的影⼈图⽚页⾯，⽐如以刘涛为例⼦，她的影⼈图⽚页⾯地址为
movie.douban/celebrity/1011562/photos/
下⾯我们就来分析下这个⽹页
很多⼈学习python，不知道从何学起。
优质资源免费很多⼈学习python，掌握了基本语法过后，不知道在哪⾥寻案例上⼿。
很多已经做案例的⼈，却不知道如何去学习更加⾼深的知识。
那么针对这三类⼈，我给⼤家提供⼀个好的学习平台，免费领取视频教程，电⼦书籍，以及课程的源代码！
QQ：721195303
⽬标⽹站页⾯分析
注意：⽹络上的⽹站页⾯构成总是会变化的，所以这⾥你需要学会分析的⽅法，以此类推到其他⽹站。正所谓授⼈以鱼不如授⼈以渔，就是这个原因。
Chrome 开发者⼯具
Chrome 开发者⼯具（按 F12 打开），是分析⽹页的绝佳利器，⼀定要好好使⽤。
我们在任意⼀张图⽚上右击⿏标，选择“检查”，可以看到同样打开了“开发者⼯具”，⽽且⾃动定位到了该图⽚所在的位置
可以清晰的看到，每张图⽚都是保存在 li 标签中的，图⽚的地址保存在 li 标签中的 img 中。
知道了这些规律后，我们就可以通过 BeautifulSoup 或者 XPath 来解析 HTML 页⾯，从⽽获取其中的图⽚地址。
代码编写
我们只需要短短的⼏⾏代码，就能完成图⽚ url 的提取
import requests
mysql安装包多大
from bs4 import BeautifulSoup
url = 'movie.douban/celebrity/1011562/photos/'
res = (url).text
content = BeautifulSoup(res, "html.parser")
data = content.find_all('div', attrs={'class': 'cover'})
picture_list = []
for d in data:
plist = d.find('img')['src']
picture_list.append(plist)
print(picture_list)
>>>
['img1.doubanio/view/photo/m/public/p2564834267.jpg', 'img1.doubanio/view/photo/m/public/p860687617.jpg', 'img1.doubanio
可以看到，是⾮常⼲净的列表，⾥⾯存储了海报地址。
但是这⾥也只是⼀页海报的数据，我们观察页⾯发现它有好多分页，如何处理分页呢。
分页处理
我们点击第⼆页，看看浏览器 url 的变化

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。