python爬⾍的职业规划书范⽂_Python爬⾍,职业发展,我该
怎么办?
⽕车头是啥爬取软件么?为啥我没听过呢,我学的是个假爬⾍?爬⾍的应⽤很⼴泛的,但是不能我说它应⽤⼴泛就⼴泛,你得去思考。爬⾍除了抓数据还能⼲嘛?
很简单的例⼦,这⾥⾯穿插着很多技术点。⽐如,你想到⾃⼰融合爬⾍技术和django搭建⾃⼰的⼀个⽹站。我知道⼀开始很难,但是我给你捋⼀捋你就知道能学到什么知识了,⽽且都是实践类的,⽐学校教的理论更好。这⼀个项⽬你能学到。
⾸先,第⼀,取数据。这个是构建⽹站的思维。我要取什么数据?什么数据适合我的⽹站。去哪⾥取?从⽽联想到⾃⼰⽹站的数据展⽰页⾯的样⼦。
第⼆,爬⾍该如何写?是⽤requests⼀个个请求还是⽤多线程或者异步呢?如何设置延时才能让我的爬⾍活的更久,更安全。遇到反扒怎么办?js加密混淆,验证码,动态滑块验证码
第三,数据解析出来了,应该⽤哪种数据库呢?mysql?mongodb?如果说我这数据⾥⾯有图⽚该如何解决?⾃⼰数据库如何写开发组建呢?
第四,多个爬⾍如何管理?我要换成scrapy吗?还是scrapy redis分布式呢?管理⽤⼀定要scrapyd?我⾃⼰写的requests或者aiohttp爬⾍如何管理呢?
第五,django搭建的话,应该如何去定制moldel,如何去设置展⽰views?如何将⾥⾯的images展⽰出来?
第六,tornado是否会更适合⼈意呢?
第七,如果转向linux开发,对我的爬⾍或者django开发有什么影响吗?为什么他们都要推荐学习linux shell呢?
Python往深了学,你会发现⾃⼰太渺⼩了。闭包,异步io,多线程,进程。⾯向对象(为什么⾯向对象也得学??你真以为很简单呐?⼈家骗你你也信,是,谁都会class XXX(object):xxx。但是我说的是往深了学。)django怎么学
上⾯那⼀个都能做成个项⽬了,做出来了。你还会觉得爬⾍没⽤??
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论