基于Hadoop生态Storm框架的实时人气分布热力图构建分析
随着时代的发展，“大数据”已经成为一个耳熟能详的词汇，与此同时，大数据处理框架Hadoop也逐渐成为数据处理挖掘行业广泛使用的主流技术，而Storm作为“实时的Hadoop”，实现了大规模实时数据流处理的需求，达到实时数据监控的目的。本文将基于Storm框架，利用手机信令、Logstash、Kafka等技术实时采集人流地理位置坐标数据，以特殊高亮的形式显示访客热衷的区域和访客所在的地理区域的图示，能够准确并及时地分析人流信息，为出行者提供最优质的选择。
关键字： Hadoop；Storm；实时处理
引言
随着城市规模的扩张和交通的便利，闲暇时间的出游变的日常化。但城市交通可能会因为无法高效地利用路线和实时监控，很容易造成交通堵塞。改善城市的出行、提高出行效率成为构建智慧城市的当务之急。如何在海量的交通、出行数据中，及时准备分析的当前的人流信息并进行监控管理，为出行者提供优质的交通引导服务，减少拥堵状况，成为城市智能规划的核心所在。
在大数据时代，大数据处理的典型工具Hadoop是一个由Apache基金会所开发的分布式系统基础架构，主要解决的是海量数据的存储和分析计算问题，作为处理大数据的分布式存储和计算框架，得到了国内外大、中、小型企业的广泛应用。不过它并不是一套实时系统。为了解决这个问题，计算机工程师们又开发了Storm和Kafka。 Apache Storm是一套开源的分布式实时计算系统。最早由Nathan Marz开发，在被Twitter收购后开源，并在2014年9月起成为Apache顶级开源项目。Storm被广泛用于各种商业网站，包括 Twitter、Yelp、Groupon、百度、淘宝等。Storm的使用场景非常广泛，例如实时分析、在线机器学习、连续计算、分部署RPC、ET 等。Storm有着非常快的处理速度，单节点可以达到百万个元组每秒，此外它还具有高扩展、容错、保证数据处理等特性。
>hadoop分布式集搭建

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。