scrapypython中⽂⼿册_scrapy官⽅⽂档读完总结
经过⼀天多时间在wiki上将scrapy官⽅的翻译版快速读了⼀遍,对scrapy有了⼀个⼤概的了解和熟悉。下⾯做⼀个快速总结:
1.创建项⽬:
scrapy startproject tutorial
cd tutorial #进⼊刚刚创建的⽂件夹内
scrapy genspider ⽂件名 ⽹站⽹址 #创建完成
2.编写Item
Item 是保存爬取到的数据的容器;其使⽤⽅法和 python 字典类似, 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。如果item⾥未定义,spider所爬的数据是⽆法从传⼊进去的。
3.编写爬⾍
Spider 是⽤户编写⽤于从单个⽹站(或者⼀些⽹站)爬取数据的类。其包含了⼀个⽤于下载的初始 URL,
如何跟进⽹页中的链接以及如何分析页⾯中的内容, 提取⽣成item的⽅法。为了创建⼀个 Spider,您必须继承scrapy.Spider类, 且定义以下三个属性:
name: ⽤于区别 Spider。 该名字必须是唯⼀的,您不可以为不同的 Spider 设定相同的名字。
start_urls: 包含了 Spider 在启动时进⾏爬取的 url 列表。 因此,第⼀个被获取到的页⾯将是其中之⼀。 后续的 URL 则从初始的 URL 获取到的数据中提取。
parse()是 spider 的⼀个⽅法。 被调⽤时,每个初始 URL 完成下载后⽣成的Response对象将会作为唯⼀的参数传递给该函数。 该⽅法负责解析返回的数据(response data),提取数据(⽣成 item)以及⽣成需要进⼀步处理的 URL 的 `Request 对象。
(1)如上图所⽰,⾸先将整个节点给选择出来(response.xpath('//ul/li')并对整个节点进⾏循环,然后再对其内各个要素进⾏选取。
(2)爬取多页:将某⼀页的要选取的要素提取出来,确定选取的内容。然后在出URL的规律将URL传⼊parse函数(如箭头所⽰)
4.运⾏爬⾍
scrapy crawl ⽂件名
5.运⾏流程
Spider 类定义了如何爬取某个(或某些)⽹站。包括了爬取的动作(例如:是否跟进链接)以及如何从⽹页的内容中提取结构化数据(爬取item)。换句话说,Spider 就是您定义爬取的动作及分析某个⽹页(或者是有些⽹页)的地⽅。
对 spider 来说,爬取的循环类似下⽂:
以初始的 URL 初始化 Request,并设置回调函数。当该 request 下载完毕并返回时,将⽣成 response,并作为参数传给该回调函数。
spider 中初始的 request 是通过调⽤start_requests()来获取的。start_requests()读取start_urls 中的 URL, 并以parse为回调函数⽣成Request。
在回调函数内分析返回的(⽹页)内容,返回 Item 对象或者 Request 或者⼀个包括⼆者的可迭代容器。 返回的 Request 对象之后会经过Scrapy 处理,下载相应的内容,并调⽤设置的 callback 函数(函数可相同)。
python官方文档中文版在回调函数内,您可以使⽤ 选择器(Selectors) (您也可以使⽤ BeautifulSoup, lxml 或者您想⽤的任何解析器) 来分析⽹页内容,并根据分析的数据⽣成 item。
最后,由 spider 返回的 item 将被存到数据库(由某些 Item Pipeline 处理)或使⽤ Feed exports 存⼊到⽂件中。
另⼀个在单个回调函数中返回多个 Request 以及 Item 的例⼦:
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论