feapder爬⾍框架官⽅⽂档
feapder 是⼀款上⼿简单,功能强⼤的Python爬⾍框架,使⽤⽅式类似scrapy,⽅便由scrapy框架切换过来,框架内置3种爬⾍:AirSpider爬⾍⽐较轻量,学习成本低。⾯对⼀些数据量较少,⽆需断点续爬,⽆需分布式采集的需求,可采⽤此爬⾍。
mysql操作官方文档Spider是⼀款基于redis的分布式爬⾍,适⽤于海量数据采集,⽀持断点续爬、爬⾍报警、数据⾃动⼊库等功能
BatchSpider是⼀款分布式批次爬⾍,对于需要周期性采集的数据,优先考虑使⽤本爬⾍。
feapder⽀持断点续爬、数据防丢、监控报警、浏览器渲染下载、数据⾃动⼊库Mysql或Mongo,还可通过编写pipeline对接其他存储读⾳: [ˈfiːpdə]
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论