hbase查询性对⽐mysql_查询MYSQL和查询HBASE速度⽐较上⼀篇⽂章:我要上⾕歌
Mysql,关系型数据库;
HBase,NoSql数据库。
查询Mysql和查询HBase,到底哪个速度快呢?
与⼀些真正的⼤⽜讨论时,他们说HBase写⼊速度,可以达到每秒1W。⽽HBase的理想速度为每秒10W。
来个实验说明⼀下,此实验只能表明,当前环境下运⾏状态。我的实验效果,没有到1W,还在优化中…
环境:
有3台虚拟机,运⾏Hadoop集;3台虚拟机也在跑HBase:master,node1,node2
master上,同时安装了Mysql数据库。
⽬前有这样⼀个需求:
有⼀堆⽂本⽂件,每个⽂本⽂件内,存储着⽇志;
每⼀⾏为⼀条记录;
现在需要,逐⾏读取记录,并根据记录中的mac地址和sn号,去从HBase或Mysql中,获取账号信息。
然后合并成⼀条记录,写⼊HBase的“SHUJU”表内。
Mysql表结构:
id,mac,sn,addtime,account
HBase表结构:
ROWKEY为mac+sn,mac,sn,account,addtime
测试效果如下:
每隔⼀分钟,执⾏⼀次count操作,统计当前数据条数。
select count(1) from SHUJU
结果如下
=====================================
Mysql上,第⼀次测试。
开始时间11:03:15
28135(条数)
39014
49659
264564
274379
php mysql教程视频
285174(条数)
结束时间11.26.15
285174 – 28135 = 257039
257039 / 23 = 11 175.608695652
也是1W以上。。。
=====================================查询的 HBase库
开始时间14:43:00
5622(条数)
16671
25062
34848
46652
58001
69690
79908(条数)
结束 14:50:00
79908 – 5622 = 74 286
74286 /7 = 10 612 每分钟个数。
===================================== mysql
开始 14:58:30
19248(条数)
26526
36389
45837
51945
62497
72319
82695(条数)
结束时间:15:04:30
间隔 七分钟
82695 – 19248 = 63 447
93447 / 7 = 9 063.8571428571
======================================可以看出在HBase中速度,⽐mysql中速度略快⼀点。
但是总的速度,还是有待提⾼。。。
⽂章来⾃: ⼤⽜笔记
Mysql慢查询-Mysql慢查询详细教程
⼀.简介开启慢查询⽇志,可以让MySQL记录下查询超过指定时间的语句,通过定位分析性能的瓶颈,才能更好的优化数据库系统的性能.⼆.参数说明slow_query_log 慢查询开启状态slow_quer ...
php查询mysql数据库 查询条件替中⽂字符串变量时⽆法查询
$temp2 ='⼗年';mysql_query("SET NAMES GBK"); $res = mysql_query("select songer_name fro ...
MySQL加速查询速度的独门武器:查询缓存
[导读] 与朋友或同事谈到MySQL查询缓存功能的时候,个⼈喜欢把查询缓存功能Query Cache⽐作荔枝, 是⾮常营养的东西,但是⼀次性吃太多了,就容易上⽕⽽流⿐⾎,虽然不是特别恰当的⽐喻,但是有 ...
MySQL全⽂索引、联合索引、like查询、json查询速度⼤⽐拼
⽬录 查询背景 ⼀.like查询 ⼆.json函数查询 三.联合索引查询 四.全⽂索引查询 结论 查询背景 有⼀个表tmp_test_course⼤概有10万条记录,然后有个json字段叫outlin ...
插⼊和查询HBase速度都⽐较慢
表层问题:插⼊和查询HBase速度⽐较慢 排查⼀,查看HBase节点状态,发现正常运⾏: 排查⼆,查看访问HBase服务的状态,发现服务停⽌: 依次点击服务实例,查看服务状态 133和135节点上的服 ...
Mysql慢查询操作梳理
Mysql慢查询解释MySQL的慢查询⽇志是MySQL提供的⼀种⽇志记录,它⽤来记录在MySQL中响应时间超过阀值的语句,具体指运⾏时间超过long_query_time值的SQL,则会被记录到慢查询 ...
mysql 处理查询请求过程
需要搞清楚查询为什么会慢,就要搞清楚mysql处理查询请求的过程: 1.客户端发送SQL请求给服务器 2.服务器检查是否可以在查询缓存中命中该SQL  查询缓存对SQL性能的影响. 1.需要对缓存加 ...
linux下开启mysql慢查询,分析查询语句
⼀,为什么要开启这个查询呢? 数据库是很容易产⽣瓶颈的地⽅,现在Nosql⼤家讨论这么热,估计都被数据库搞郁闷了.mysql中最影响速度的就是那些查询⾮常慢的语句,这些慢的语句,可能是写的不够合理或者 ...
如何查MySQL中查询慢的SQL语句
如何查MySQL中查询慢的SQL语句 更多 如何在mysql查效率慢的SQL语句呢?这可能是困然很多⼈的⼀个问题,MySQL通过慢查询⽇志定位那些执⾏效率较低的SQL 语句,⽤--log-slow ...
随机推荐
学习CSS的瓶颈
何为学习瓶颈 学习到了⼀定的阶段,就很难继续提⾼⽔平的⼀种现象 这是很多⼈都正⾯对的,但同时⾃⼰并未意识到. 既然是瓶颈,那么⼀旦突破了,就是⼴阔天空! 你是否经常⾯对这样的情景: 遇到⼀个奇葩问题, ...
【转】java的socket编程
细谈HTML5
回顾过了html接下来我们就来看看HTML5吧! HTML5⼿机应⽤的最⼤优势就是可以在⽹页上直接调试和修改.原先应⽤的开发⼈员可能需要花费⾮常⼤的⼒⽓才能达到HTML5的效果,不断地重复编码.调试和 ...
DC-DC升压(BOOST)电路原理
BOOST升压电路中:      电感的作⽤:是将电能和磁场能相互转换的能量转换器件,当MOS开关管闭合后,电感将电能转换为磁场能储存起来,当MOS断开后电感将储存的磁场能转换为电场能,且这个能量在和 ...
Sql server 查询
--Student(S#,Sname,Sage,Ssex) 学⽣表 --Course(C#,Cname,T#) 课程表 --SC(S#,C#,score) 成绩表 --Teacher(T#,Tname ...
Design Pattern Memo 备忘录设计模式
本设计模式就是简单地记录当前状态.然后利⽤记录的数据恢复. ⽐⽅⾸先我们有⼀个类.类须要记录当前状态进⾏相关的⼯作的: class Memo; class Human { public: string ...
Webpack 2 视频教程 008 - WDS 端⼝号等配置相关
原⽂发表于我的技术博客 这是我免费发布的⾼质量超清「Webpack 2 视频教程」. Webpack 作为⽬前前端开发必备的框架,Webpack 发布了 2.0 版本,此视频就是基于 2.0 的版本讲 ...
[ ⾯向对象程序设计深⼊](26)实战设计模式——策略模式 Strategy (⾏为型)
[ ⾯向对象程序设计深⼊](26)实战设计模式——策略模式 Strategy (⾏为型) 1,策略模式定义 策略模式定义了⼀系列的算法,并将每⼀个算法封装起来,⽽且使它们还可以相互替换.策略模 ...
Google搜索中的突变XSS-JavaScript Library Introduced XSS Flaw in Google Search
前⾔2018年9⽉26⽇,开源Closure库(最初由⾕歌创建并⽤于⾕歌搜索)的⼀名开发⼈员创建了⼀个提交,删除了部分输⼊过滤.据推测,这是因为开发⼈员在⽤户界⾯设计⽅⾯出现了问题.但此次提交的开发⼈ ...
⾯向对象【day07】:析构函数(六)
⼆.析构函数 ⼀.概述 析构函数,第⼀次听说这个函数的名称,那这个函数到底是⼲嘛的呢?什么才是析构函数呐? 定义:在实例销毁的时候调⽤的函数 ⼆.析构函数定义 2.1 定义 1 2 3 4 5 6 7 ...

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。