（⼀）Spark特点
Spark的特性主要有以下四点：
快速
与 Hadoop 的 MapReduce 相⽐, Spark 基于内存的运算是 MapReduce 的 100 倍.基于硬盘的运算也要快 10 倍以上.
Spark 实现了⾼效的 DAG 执⾏引擎, 可以通过基于内存来⾼效处理数据流
易⽤
Spark ⽀持 Scala, Java, Python, R 和 SQL 脚本, 并提供了超过 80 种⾼性能的算法, ⾮常容易创建并⾏ App
⽽且 Spark ⽀持交互式的 Python 和 Scala 的 shell, 这意味着可以⾮常⽅便地在这些 shell 中使⽤ Spark 集来验证解决问题的⽅法,⽽不是像以前⼀样需要打包, 上传集, 验证等. 这对于原型开发⾮常重要.
通⽤
Spark 结合了SQL, Streaming和复杂分析.
Spark 提供了⼤量的类库, 包括 SQL 和 DataFrames, 机器学习(MLlib), 图计算(GraphicX), 实时流处理(Spark Streaming) .
可以把这些类库⽆缝的柔和在⼀个 App 中.
减少了开发和维护的⼈⼒成本以及部署平台的物⼒成本.hadoop与spark的区别与联系
易融合性
Spark 可以⾮常⽅便的与其他开源产品进⾏融合，⽐如, Spark 可以使⽤ Hadoop 的 YARN 和 Appache Mesos 作为它的资源管理和调度器, 并且可以处理所有 Hadoop ⽀持的数据, 包括 HDFS, HBase等.

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。