学习爬⾍⼼得体会
什么是爬⾍：使⽤编程语⾔所编写的⼀个⽤于爬取Web或Appd数据的应⽤程序。
爬⾍按照系统结构和实现技术，⼤致可以分为以下⼏种类型：通⽤⽹络爬⾍（General Purpose Web Crawler）、聚焦⽹络爬⾍（Focused Web Crawler）、增量式⽹络爬⾍（Incremental Web Crawler）、深层⽹络爬⾍（Deep Web Crawler）。 实际的⽹络爬⾍系统通常是⼏种爬⾍技术相结合实现的。
怎么爬取数据：
1、到要爬取的⽬标⽹站、发起请求
2、分析URL是如何变化的和提取有⽤的URL
3、提取有⽤的数据
爬⾍的基本流程：获取⽹页、解析⽹页、提取数据、保存数据。
爬⾍基础
重定向过多是什么意思⼀、HTTP与HTTPS
●HTTP协议（全称是HyperText Transfer Plrotocal ），中⽂意思是超⽂本传输协议，是⼀种发布和接收HT ML (HyperText Markuup Language) 页⾯的⽅法。服务器端⼝号为80端⼝。
●HTTPS协议(全称是Hyper Text Transfer Protocol over SecureSocket Layer)，是HTTP协议的加密版本，在HTTP 下加⼊了SSL 层，服务器端⼝号是443。
⼆、URL与URI
●URL(⽹址)是Uriform Resource Locator的简写， 统⼀资源定位符。⼀个URL由以下⼏部分组成：
三、请求⽅式
●在HTTP协议中，定义了⼋种请求⽅式。常见的有get请求与post
请求
1、get请求：⼀般情况下，只从服务器获取数据下来，并不会对服务器资源产⽣任何影响的时候会使⽤get请求。
2、post请求：向服务器发送数据(登录)、上传⽂件等，会对服务器资源产⽣影响的时候会使⽤post请求。
四、常见的请求头参数
●http协议中，向服务器发送⼀个请求，数据分为三部分
第⼀个是把数据放在url中
第⼆个是把数据放在body中(post请求时)
第三个就是把数据放在head中
●常见的请求头参数
user-agent：浏览器名称
referer：表明当前这个请求是从哪个url过来的
cookie：http协议是⽆状态的。也就是同⼀个⼈发送了两次请求。服务器没有能⼒知道这两个请求是否来⾃同⼀个⼈。
五、常见的响应状态码
●200：请求正常，服务器正常的返回数据
●301: 永久重定向
●404: 请求的url在服务器上不到，换句话说就是请求的url错误
●418：发送请求遇到服务器端反爬⾍，服务器拒绝响应数据
●500：服务器内部错误，可能是服务器出现了bug
六、HTTP请求的交互过程
(1)客户端浏览器向⽹站所在的服务器发送⼀个请求
(2)⽹站服务器接收到这个请求后进⾏解析、处理，然后返回响应对应的数据给浏览器
(3)浏览器中包含⽹页的源代码等内容(存在浏览器的缓存中)浏览器再对其进⾏解析，最终将结果呈现给⽤户
七、Cookie
●Cookie是由服务端⽣成后发送给客户端(通常是浏览)，Cookie总 是保存在客户端
●Cookie的基本原理
(1)创建Cookie
(2)设置存储Cookie
(3)发送Cookie
(4)读取Cookie
⼋、JSON
●JavaScript ObjectNotation, JS对象标记)是⼀种轻量级的数据交互格式，采⽤完全独⽴于编程语⾔的⽂本格式来存储和表⽰数据。
●简洁和清晰的层次结构使得JSON成为理想的数据交换语⾔，易于阅读和编写，同时也易于机器解析和⽣成，并有效地提升⽹络传输效率。
●JSON的数据格式
(1) 对象表⽰为键值对
(2) 数据由逗号分隔
(3) 花括号保存对象
(4) ⽅括号保存数组
●在数据结构上，JSON与Python⾥的字典⾮常相似
九、发送请求-Request请求
●Request
●如果在请求中需要加⼊headers (请求头)、指定请求⽅式等信息，那么就可以利⽤更加⼤的Request来构建⼀个请求。
●语法
request(url, data= None, headers={}, method=None)
⼗、openpyxl模块的简介
可以读取和写⼊Excel⽂件，需要单独安装，不包含有Python标准模块⾥，处理Excel数据，处理Excel公式，处理Exce|样式，在表格内插⼊图表。
Python操作Excel⽂件
向Excel⽂件中写⼊数据：
(1)创建⼯作薄对象openpyxl.Workbook()
(2)获取活动⼯作表对象wb.active
(3)获取单元格sheet[ 单元格名称]
(4)向单元格中写⼊数据cell.value=值
(5)向Exce|中写⼊⼀⾏数据sheet.append(列表)
(6)保存Excel⽂件wb.save(⽂件)

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。