JAVA分布式架构的演变及解决⽅案
分布式系统介绍
定义：
组件分布在⽹络计算机上
组件之间仅仅通过消息传递来通信并协调⾏动
负载均衡
硬件负载均衡
java dubbo如f5等，⼤多⽐较昂贵。
软件负载均衡
如lvs,nginx等。免费，可控性强
总结：
1：增加⽹络开销与延迟，不过基本上影响很⼩，可以不在考虑因素之内
2：负载均衡硬件/软件出现问题，那么整个⽹络都会受到影响，所以需要考虑代理服务器的双机热备问题。
⽽且在切换过程中，未完成的请求还是会受到影响。总的来说，是⼀种⾮常⽅便及适⽤的保证⾼可⽤的⼀种⽅式。
为了解决当交易数据库出现故障时，整个系统就会瘫痪这个单点的问题，我们可以添加另外⼀个数据库，与数据库⼀保持相同的数据。事务
分布式和集区别：
⼀句话：分布式是并联⼯作的，集是串联⼯作的。
分布式：⼀个业务分拆多个⼦业务，部署在不同的服务器上
集：同⼀个业务，部署在多个服务器上
集是个物理形态，分布式是个⼯作⽅式。
只要是⼀堆机器，就可以叫集，他们是不是⼀起协作着⼲活，这个谁也不知道；⼀个程序或系统，只要运⾏在不同的机器上，就可以叫分布式，嗯，C/S架构也可以叫分布式。
集⼀般是物理集中、统⼀管理的，⽽分布式系统则不强调这⼀点。
所以，集可能运⾏着⼀个或多个分布式系统，也可能根本没有运⾏分布式系统；分布式系统可能运⾏在⼀个集上，也可能运⾏在不属于⼀个集的多台（2台也算多台）机器上。
1：分布式是指将不同的业务分布在不同的地⽅。⽽集指的是将⼏台服务器集中在⼀起，实现同⼀业务。
分布式中的每⼀个节点，都可以做集。⽽集并不⼀定就是分布式的。
2：简单说，分布式是以缩短单个任务的执⾏时间来提升效率的，⽽集则是通过提⾼单位时间内执⾏的任务数来提升效率。
例如：
如果⼀个任务由10个⼦任务组成，每个⼦任务单独执⾏需1⼩时，则在⼀台服务器上执⾏该任务需10⼩时。
采⽤分布式⽅案，提供10台服务器，每台服务器只负责处理⼀个⼦任务，不考虑⼦任务间的依赖关系，执⾏完这个任务只需⼀个⼩时。(这种⼯作模式的⼀个典型代表就是Hadoop的Map/Reduce分布式计算模型）
⽽采⽤集⽅案，同样提供10台服务器，每台服务器都能独⽴处理这个任务。假设有10个任务同时到达，10个服务器将同时⼯作，1⼩时后，10个任务同时完成，这样，整⾝来看，还是1⼩时内完成⼀个任务！
分布式系统基础架构：
Hadoop（Hadoop的框架最核⼼的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算）
分布式系统解决⽅案：
Apache HTTP Server+tomcat+redis+mysql 分布式数据库+分布式⽂件系统
Nginx+Tomcat+redis+mysql 分布式数据库+分布式⽂件系统
系统架构演变
系统架构演化历程-初始阶段架构
初始阶段的⼩型系统应⽤程序、数据库、⽂件等所有的资源都在⼀台服务器上通俗称为LAMP
解决⽅案：单机部署
系统架构演化历程-应⽤服务和数据服务分离
数据量增加，单台服务器性能及存储空间不⾜，需要将应⽤和数据分离，并发处理能⼒和数据存储空间得到了很⼤改善。
应⽤程序、数据库、⽂件分别部署在独⽴的资源上
解决⽅案：多机部署应⽤、数据库、⽂件
系统架构演化历程-使⽤缓存改善性能
数据库中访问较集中的⼀⼩部分数据存储在缓存服务器中，减少数据库的访问次数，降低数据库的访问压⼒
系统访问特点遵循⼆⼋定律，即80%的业务访问集中在20%的数据上
缓存分为本地缓存和远程分布式缓存，本地缓存访问速度更快但缓存数据量有限，同时存在与应⽤程序争⽤内存的情况。
解决⽅案：Redis、Nosql、ORM框架的缓存机制、ehcache（分布式缓存框架）
系统架构演化历程-使⽤应⽤服务器集
分库分表之后，数据库，压⼒⼀切正常，之后查看webserver，发现apache阻塞了很多的请求
⽽应⽤服务器对每个请求也是⽐较快的，看来是请求数太⾼导致需要排队等待，响应速度变慢
多台服务器通过负载均衡同时向外部提供服务，解决单台服务器处理能⼒和存储空间上限的问题。
使⽤集是系统解决⾼并发、海量数据问题的常⽤⼿段。通过向集中追加资源，提升系统的并发处理能⼒，使得服务器的负载压⼒不再成为整个系统的瓶颈。
解决⽅案：tomcat+Apache HTTP Server+redis、Nginx+Tomcat+redis、Nginx+Tomcat+Memcached
系统架构演化历程-数据库读写分离
数据库写⼊、更新的这些操作的部分数据库连接的资源竞争⾮常激烈，导致了系统变慢。
读写分离，是把对数据库读和写的操作分开对应不同的数据库服务器。主数据库提供写操作，从数据库提供读操作。当主数据库进⾏写操作时，数据要同步到从的数据库，有效保证数据库完整性。
Quest SharePlex就是⽐较⽜的同步数据⼯具，听说⽐oracle本⾝的流复制还好，MySQL也有⾃⼰的同步数据技术。
mysql只要是通过⼆进制⽇志来复制数据。通过⽇志在从数据库重复主数据库的操作达到复制数据⽬的。这个复制⽐较好的就是通过异步⽅法，把数据同步到从数据库。
读的操作怎么样分配到从数据库上？应该根据服务器的压⼒把读的操作分配到服务器，⽽不是简单的随机分配。mysql提供了MySQL-Proxy 实现读写分离操作。不过MySQL-Proxy好像很久不更新了。oracle可以通过F5有效分配读从数据库的压⼒。
解决⽅案：mysql有Mysql Proxy、Amoeba、Atlas；
系统架构演化历程-反向代理和CDN加速
为了应付复杂的⽹络环境和不同地区⽤户的访问，通过CDN和反向代理加快⽤户访问的速度，同时减轻后端服务器的负载压⼒。CDN与反向代理的基本原理都是缓存。
解决⽅案：Nginx，apache
CDN：
⽬的是使⽤户可就近取得所需内容，解决Internet⽹络拥挤的状况，提⾼⽤户访问⽹站的相应速度。
反向代理（Reverse Proxy）⽅式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内
部⽹络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，
此时代理服务器对外就表现为⼀个反向代理服务器。这样做的好处是保护了真实的服务器
系统架构演化历程-分布式⽂件系统和分布式数据库
发现分库后查询仍然会有些慢，于是按照分库的思想开始做分表的⼯作
数据库采⽤分布式数据库（所有节点的数据加起来才算是整体数据），⽂件系统采⽤分布式⽂件系统
任何强⼤的单⼀服务器都满⾜不了⼤型系统持续增长的业务需求，数据库读写分离随着业务的发展最终
也将⽆法满⾜需求，需要使⽤分布式数据库及分布式⽂件系统来⽀撑。
分布式数据库是系统数据库拆分的最后⽅法，只有在单表数据规模⾮常庞⼤的时候才使⽤，更常⽤的数据库拆分⼿段是业务分库，将不同的业务数据库部署在不同的物理服务器上。
解决⽅案：mysql有mysql cluster 和 Mysql Proxy;mongodb(是⼀个基于分布式⽂件存储的数据库)；
分布式⽂件系统⽅案：CEPH、glusterfs、fastDFS、mogilefs 、moosefs，Hadoop实现了⼀个分布式⽂件系统（Hadoop Distributed File System）
系统架构演化历程-使⽤NoSQL和搜索引擎
特征：
系统引⼊NoSQL数据库及搜索引擎。
描述：
随着业务越来越复杂，对数据存储和检索的需求也越来越复杂，系统需要采⽤⼀些
⾮关系型数据库如NoSQL和分数据库查询技术如搜索引擎。应⽤服务器通过统⼀数据访问模块访问各种
数据，减轻应⽤程序管理诸多数据源的⿇烦。
系统架构演化历程-业务拆分
特征：
系统上按照业务进⾏拆分改造，应⽤服务器按照业务区分进⾏分别部署。
描述：
为了应对⽇益复杂的业务场景，通常使⽤分⽽治之的⼿段将整个系统业务分成不同的产品线，
应⽤之间通过超链接建⽴关系，也可以通过消息队列进⾏数据分发，
当然更多的还是通过访问同⼀个数据存储系统来构成⼀个关联的完整系统。
纵向拆分：
将⼀个⼤应⽤拆分为多个⼩应⽤，如果新业务较为独⽴，那么就直接将其设计部署为⼀个独⽴的Web应⽤系统
纵向拆分相对较为简单，通过梳理业务，将较少相关的业务剥离即可。
横向拆分：
将复⽤的业务拆分出来，独⽴部署为分布式服务，新增业务只需要调⽤这些分布式服务
横向拆分需要识别可复⽤的业务，设计服务接⼝，规范服务依赖关系。
系统架构演化历程-分布式服务
特征：
公共的应⽤模块被提取出来，部署在分布式服务器上供应⽤服务器调⽤。
描述：
随着业务越拆越⼩，应⽤系统整体复杂程度呈指数级上升，由于所有应⽤要和所有数据库系统连接，最终导致数据库连接资源不⾜，拒绝服务。
分布式服务应⽤会⾯临哪些问题?
(1) 当服务越来越多时，服务URL配置管理变得⾮常困难，F5硬件负载均衡器的单点压⼒也越来越⼤。
(2) 当进⼀步发展，服务间依赖关系变得错踪复杂，甚⾄分不清哪个应⽤要在哪个应⽤之前启动，架构师都不能完整的描述应⽤的架构关系。
(3) 接着，服务的调⽤量越来越⼤，服务的容量问题就暴露出来，这个服务需要多少机器⽀撑？什么时候该加机器？
(4) 服务多了，沟通成本也开始上升，调某个服务失败该谁？服务的参数都有什么约定？
(5) ⼀个服务有多个业务消费者，如何确保服务质量？
(6) 随着服务的不停升级，总有些意想不到的事发⽣，⽐如cache写错了导致内存溢出，故障不可避免，每次核⼼服务⼀挂，影响⼀⼤⽚，⼈⼼慌慌，如何控制故障的影响⾯？服务是否可以功能降级？或者资源劣化？
JAVA分布式应⽤技术基础
分布式服务下的关键技术：消息队列架构
消息对列通过消息对象分解系统耦合性，不同⼦系统处理同⼀个消息。
分布式服务下的关键技术：服务框架架构
服务框架通过接⼝分解系统耦合性，不同⼦系统通过相同的接⼝描述进⾏服务启⽤
服务框架是⼀个点对点模型
服务框架⾯向同构系统
适合：移动应⽤、互联⽹应⽤、外部系统
分布式服务下的关键技术：服务总线架构
服务总线同服务框架⼀样，均是通过接⼝分解系统耦合性，不同⼦系统通过相同的接⼝描述进⾏服务启⽤
服务总线是⼀个总线式的模型
服务总线⾯向同构、异构系统
适合：内部系统
分布式架构下系统间交互的5种通信模式
request/response模式（同步模式）：客户端发起请求⼀直阻塞到服务端返回请求为⽌。
Callback（异步模式）：客户端发送⼀个RPC请求给服务器，服务端处理后再发送⼀个消息给消息发送端提供的callback端点，此类情况⾮常合适以下场景：A组件发送RPC请求给B，B处理完成后，需要通知A组件做后续处理。
Future模式：客户端发送完请求后，继续做⾃⼰的事情，返回⼀个包含消息结果的Future对象。客户端需要使⽤返回结果时，使⽤Future对象的.get()，如果此时没有结果返回的话，会⼀直阻塞到有结果返回为⽌。
Oneway模式：客户端调⽤完继续执⾏，不管接收端是否成功。
Reliable模式：为保证通信可靠，将借助于消息中⼼来实现消息的可靠送达，请求将做持久化存储，在接收⽅在线时做送达，并由消息中⼼保证异常重试。
五种通信模式的实现⽅式-同步点对点服务模式
五种通信模式的实现⽅式-异步点对点消息模式1
五种通信模式的实现⽅式-异步点对点消息模式2
五种通信模式的实现⽅式-异步⼴播消息模式

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。