⽜客⽹⾼级项⽬总结
这个项⽬是以现在的知乎、⽜客⽹这类问答平台为原型，基于springboot的SSM框架的Java web应⽤项⽬。数据库使⽤了redis和mysql，同时加⼊了异步消息等进阶功能，同时使⽤python爬⾍进⾏数据填充。
GitHub：项⽬源码
quick-start
1.项⽬基本配置
ssm框架实现登录功能
2.基本框架开发
3.AOP和IOC
4.数据库配置和⾸页的创建
5.⽤户注册登录以及使⽤
6.新增发表问题功能，并防⽌xss注⼊以及敏感词过滤
7.新增评论和站内信功能
8.新增点赞和点踩功能，使⽤Redis实现
9.新增异步消息功能
10.新增关注功能，开发关注页⾯和粉丝页⾯
11.Timeline与新鲜事，推拉模式下的Feed流
12.使⽤python爬⾍爬取知乎话题数据，充实⽹站信息
13.使⽤solr搭建全⽂搜索引擎，开发知乎的全⽂搜索功能
14.产品功能扩展以及技术深度扩展
项⽬基础配置
创建git仓库，本地配置idea并测试pull和push。
创建springboot⼯程，导⼊web，velocity和aop的包。
⽣成maven项⽬，l包含上述依赖。
基本框架开发
创建基本的controller，service和model层。
controller中使⽤注解配置，requestmapping，responsebody基本可以解决请求转发以及响应内容的渲染。responsebody⾃动选择viewresolver进⾏解析。
使⽤pathvariable和requestparam传递参数。
使⽤velocity编写页⾯模板，注意其中的语法使⽤。常⽤!和 !{}和!和{}
使⽤http规范下的httpservletrequest和httpservletresponse来封装请求和相响应，使⽤封装好的session和cookie对象。
使⽤重定向的redirectview和统⼀异常处理器exceptionhandler。
AOP和IOC
IOC解决对象实例化以及依赖传递问题，解耦。
AOP解决纵向切⾯问题，主要实现⽇志和权限控制功能。
aspect实现切⾯，并且使⽤logger来记录⽇志，⽤该切⾯的切⾯⽅法来监听controller。
数据库配置和⾸页的创建
使⽤mysql创建数据库和表。
加⼊mybatis和mysql的maven仓库，注意，由于现在版本的springboot不再⽀持velocity进⽽导致我使⽤较早版本的springboot，所以这⾥提供⼀可以正常运⾏的版本设置。
springboot使⽤1.4.0
mybatis-spring-boot-starter使⽤1.2.1
mysql-connector-java使⽤8.0.12
接下来写controller，dao和service。注意mybatis的注解语法以及xml的配置要求，xml要求放在resource中并且与dao接⼝在相同的包路径下。
application.properties增加spring配置数据库链接地址
两个⼩⼯具：
ViewObject:⽅便传递任何数据到
VelocityDateTool:velocity⾃带⼯具类
写好静态⽂件html css和js。并且注意需要配置
spring.velocity.suffix=.html 保证跳转请求转发到html上
l
⾄此主页基本完成。
⽤户注册登录以及使⽤token
完成⽤户注册和登录的controller,service和dao层代码。
新建数据表login_ticket⽤来存储ticket字段。该字段在⽤户登录成功时被⽣成并存⼊数据库，并被设置为cookie，下次⽤户登录时会带上这个ticket，ticket是随机的uuid，有过期时间以及有效状态。
使⽤interceptor来拦截所有⽤户请求，判断请求中是否有有有效的ticket，如果有的话则将⽤户信息写⼊Threadlocal。所有线程的threadlocal都被存在⼀个叫做hostholder的实例中，根据该实例就可以
在全局任意位置获取⽤户的信息。
该ticket的功能类似session，也是通过cookie写回浏览器，浏览器请求时再通过cookie传递，区别是该字段是存在数据库中的，并且可以⽤于移动端。
通过⽤户访问权限来拦截⽤户的越界访问，⽐如⽤户没有管理员权限就不能访问管理员页⾯。
配置了⽤户的webconfiguration来设置启动时的配置，这⾥可以将上述的两个加到启动项⾥。
配置了json⼯具类以及md5⼯具类，并且使⽤Java⾃带的盐⽣成api将⽤户密码加密为密⽂。保证密码安全。
数据安全性的保障⼿段：https使⽤公钥加密私钥解密，⽐如⽀付宝的密码加密，单点登录验证，验证码机制等。
新增发表问题功能，并防⽌xss注⼊以及敏感词过滤
新增Question相关的model，dao，service和controller。
发布问题时检查标题和内容，防⽌xss注⼊，并且过滤敏感词。
防⽌xss注⼊直接使⽤HTMLutils的⽅法即可实现。
过滤敏感词⾸先需要建⽴⼀个字典树，并且读取⼀份保存敏感词的⽂本⽂件，然后初始化字典树。最后将过滤器作为⼀个服务，让需要过滤敏感词的服务进⾏调⽤即可。
新增评论和站内信功能
⾸先建⽴表comment和message分别代表评论和站内信。
依次开发model，dao，service和controller。
评论的逻辑是每⼀个问题下⾯都有评论，显⽰评论数量，具体内容，评论⼈等信息。
消息的逻辑是，两个⽤户之间发送⼀条消息，有⼀个唯⼀的会话id，这个会话⾥可以有多条这两个⽤户的交互信息。通过⼀个⽤户id获取该⽤户的会话列表，再根据会话id再获取具体的会话内的多条消息。
逻辑清楚之后，再加上⼀些附加功能，⽐如显⽰未读消息数量，根据时间顺序排列会话和消息。
本节内容基本就是业务逻辑的开发，没有新增什么技术点，主要是前后端交互的逻辑⽐较复杂，前端的开发量也⽐较⼤。
新增点赞和点踩功能，使⽤Redis实现
⾸先了解⼀下redis的基础知识，数据结构，jedis使⽤等。
编写list，string，hashmap，set，sortset的测试⽤例，熟悉jedis api。
开发点踩和点赞功能，在此之前根据业务封装好jedis的增删改查操作，放在util包中。
根据需求确定key字段，格式是 like：实体类型：实体id 和 dislike：实体类型：实体id 这样可以将喜欢⼀条新闻的⼈存在⼀个集合，不喜欢的存在另⼀个集合。通过统计数量可以获得点赞和点踩数。
⼀般点赞点踩操作是先修改redis的值并获取返回值，然后再异步修改mysql数据库的likecount数值。这样既可以保证点赞操作快速完成，也可保证数据⼀致性。
新增异步消息框架
在之前的功能中有⼀些不需要实时执⾏的操作或者任务，我们可以把它们改造成异步消息来进⾏发送。
具体操作就是使⽤redis来实现异步消息队列。代码中我们使⽤事件event来包装⼀个事件，事件需要记录事件实体的各种信息。
我们在async包⾥开发异步⼯具类，事件⽣产者，事件消费者，并且开发⼀个eventhandler接⼝，让各种事件的实现类来实现这个接⼝。事件⽣产者⼀般作为⼀个服务，由业务代码进⾏调⽤产⽣⼀个事件。⽽事件消费者我们在代码⾥使⽤了单线程循环获取队列⾥的事件，并且寻对应的handler进⾏处理。
如此⼀来，整个异步事件的框架就开发完成了。后⾯新加⼊的登录，点赞等事件都可以这么实现。
新增关注功能，开发关注页⾯和粉丝页⾯
新增关注功能，使⽤redis实现每⼀个关注对象的粉丝列表以及每⼀个⽤户的关注对象列表。通过该列表的crud操作可以对应获取粉丝列表和关注列表，并且实现关注和取关功能。
由于关注成功和添加粉丝成功时同⼀个事务⾥的两个操作，可以使⽤redis的事务multi来包装事务并进⾏提交。
除此之外，关注成功或者被关注还可以通过事件机制来⽣成发送邮件的事件，由异步的队列处理器来完成事件响应，同样是根据redis来实现。
对于粉丝列表，除了显⽰粉丝的基本信息之外，还要显⽰当前⽤户是否关注了这个粉丝，以便前端显⽰。
对于关注列表来说，如果被关注对象是⽤户的话，除了显⽰⽤户的基本信息之外，还要显⽰当前⽤户是被这个⽤户关注，以便前端显⽰。Timeline与新鲜事，推拉模式下的Feed流
微博的新鲜事功能介绍：关注好友的动态，⽐如关注好友的点赞，发表的问题，关注了某个问题等信息，都是feed流的⼀部分。
在知乎中的feed流主要体现于：关注⽤户的评论⾏为，关注⽤户的关注问题⾏为。
feed流主要分为两种，推模式和拉模式，推模式主要是把新鲜事推送给关注该⽤户的粉丝，本例使⽤redis来存储某个⽤户接受的新鲜事id 列表。这个信息流⼜称为timeline，根据⽤户的唯⼀key来存储。
拉模式主要是⽤户直接寻⾃⼰所有关注的⼈，并且到数据库去查这些关注对象的新鲜事，直接返回。
推模式主要适合粉丝较少的⼩⽤户，因为他们的粉丝量少，使⽤推模式产⽣的冗余副本也⽐较少，并且可以减少⽤户访问的压⼒。
拉模式主要适合⼤v，因为很多僵⼫粉根本不需要推送信息，⽤推模式发给这些僵⼫粉就是浪费资源，所以让⽤户通过拉模式请求，只需要⼀个数据副本即可。同时如果是热点信息，这些信息也可以放在缓存，让⽤户⾸先拉取这些信息，提⾼查询效率。
使⽤feedhandler异步处理上述的两个事件，当事件发⽣时，根据事件实体进⾏重新包装，构造⼀个新鲜事，因为所有新鲜事的格式是⼀样的。需要包括：⽇期，新鲜事类型，发起者，新鲜事内容，然后把该数据存⼊数据库，以便⽤户使⽤pull模式拉出。
为了适配推送模式，此时也要把新鲜事放到该⽤户所有粉丝的timeline⾥，这样的话就同时实现了推和拉的操作了。
使⽤python爬⾍爬取知乎和v2ex数据，充实⽹站信息
安装python3.x并且配置环境变量。同时安装pycharm，安装pip。
安装好以后，先熟悉python的语法，写⼀些例⼦，⽐如数据类型，操作符，⽅法调⽤，以及⾯向对象的技术。
因为数据是要导⼊数据库的，所以这⾥安装MySQLdb的⼀个库，并且写⼀下连接数据库的代码，写⼀下简单的crud进⾏测试。
使⽤requests库作为解析http请求的⼯具，使⽤beautifulsoup作为解析html代码的⼯具，请求之后直接使⽤css选择器匹配。即可获得内容。
当然现在我们有更⽅便的⼯具pyspider，可以⽅便解析请求并且可以设置代理，伪装⾝份等，直接传⼊url并且写好多级的解析函数，程序便会迭代执⾏，直到把所有页⾯的内容解析出来。这⾥我们直接启动pyspider的web应⽤并且写好python代码，就可以执⾏爬⾍了。
知乎：先到问题，再把问题下所有的回答进⾏爬取，最后把问题和评论⼀起处理。
使⽤solr搭建全⽂搜索引擎，开发知乎的全⽂搜索功能
solr是⼀个成熟的全⽂搜索引擎⼯具，底层是Lucene实现，主要是java语⾔写的。
下载solr6.2。完成solr环境搭建，简单测试多副本部署和单机部署。
solr默认英⽂分词，需要加⼊中⽂分词⼯具IK-Analyzer。
solr中⼀个core代表⼀个全⽂搜索集，我们可以在server⽂件夹中到我们创建的core。然后根据需要修改conf⾥的配置⽂件，⾸先修改managed-schema来设置分词规则，我们在此加⼊中⽂分词类型，并且配置其索引分词和查询分词，此处需要引⼊IK-Analyzer的jar
包，jar包可以通过maven项⽬打包⽽获得。
索引分词指的是建⽴索引使⽤的分词，⽐如你好北京，可以分为你 你好 北京 北 等情况。⽽查询分词是根据需求进⾏查询时的分词，可以分为你好 北京。
为了通过数据库向solr导⼊数据，我们需要配置数据导⼊处理器，这是需要修改solrconfig⽂件来配置数据导⼊处理器，并且在solr-data-config中配置本地数据库地址，这样就可以在solr的web页⾯中进⾏数据库导⼊了。导⼊之后⾃动建⽴索引，我们就可以使⽤solr来对数据库进⾏全⽂搜索了。⽐如mysql数据库进⾏普通搜索，把数据导⼊solr进⾏全⽂搜索。
开发搜索相关功能，开发service并且接⼊solr的api，从⽽连接本机的solr服务并且执⾏查询和索引操作。只需要指定关键字，以及我们要搜索的栏⽬（本例中主要title和content，所以传⼊这两个字段，并且在搜索结果中加亮关键字。开发相关controller以及页⾯。并且在新增问题以后执⾏异步事件，将新增的问题数据加⼊solr的数据库中，以便后⾯进⾏搜索。
产品功能扩展以及技术深度扩展
产品功能扩展
1. ⽤户注册，邮箱激活流程
2. ⾸页滚动到底部⾃动加载更多
3. 管理员后台管理
4. 运营推荐问题置顶
5. timeline推拉结合
6. 个性化⾸页，timeline更多事件
技术深度扩展
1. 搜索结果排序打分
2. 爬⾍覆盖⽤户，评论，内容去html标签
3. 个性化推荐

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。