信息安全服务工具列表
15 Troubleshooting
Troubleshooting -  Sysdig是一个能够让系统管理员和开发人员以前所未有方
式洞察其系统行为的监控工具。一款系统调试工具,能够对系统进行故障排查和监控,在系统故障的时候非常实用。
Troubleshooting - SystemTap 是监控和跟踪运行中的Linux 内核的操作的动态方法。
Troubleshooting - Perf 是Linux kernel自带的用来进行软件性能分析的工具。通过它,应用程序可以利用 PMU,tracepoint 和内核中的特殊计数器来进行性能统计。它不但可以分析指定应用程序的性能问题 (per thread),也可以用来分析内核的性能问题,当然也可以同时分析应用代码和内核,从而全面理解应用程序中的性能瓶颈。
16 服务发现
服务发现- etcd 是一个高可用的 Key/Value 存储系统,主要用于分享配置和服务发现。在分布式系统中,如何管理节点间的状态一直是一个难题,etcd像是专门为集环境的服务发现和注册而设计,它提
供了数据TTL失效、数据改变监视、多值、目录监听、分布式锁原子操作等功能,可以方便的跟踪并管理集节
点的状态。
17 持续集成
持续集成-Go 是一款先进的持续集成和发布管理系统,由ThoughtWorks开发。在Go的帮助下,我们能够以流水线的方式实现各类定期执行任务,而这些操作当
中的实例会被称为job。还有它能够利用值流图对整个持续交付流程进行可视化
处理。最终生成的图表能帮助我们追踪从提交到部署的整个流程中的各项具体变更。
持续集成-Jenkins,之前叫做Hudson,是基于Java开发的一种持续集成工具,用于监控秩序重复的工作,包括:1,持续的软件版本发布/测试项目 2,监控外部调用执行的工作。
持续集成-GitLab是一个利用 Ruby on Rails 开发的开源应用程序,实现一个自托管的Git项目仓库,可通过Web界面进行访问公开的或者私人项目。能够浏览源代码,管理缺陷和注释。可以管理团队对仓库的访问,它非常易于浏览提交过的版本并提供一个文件历史库。它还提供一个代码片段收集功能可以轻松实现
代码复用,便于日后有需要的时候进行查。
持续集成-facebook代码审查工具phabricator,工程师可以在页面上非常方便的针对每一段(单行或者多行)代码进行交互讨论;负责审查的工程师可以接受代码改变,可以提出疑问要求原作者继续修改,可以提出自己不适合以推出该代码审查,等等。只有代码被明确接受之后才能被工程师提交到服务器端的代码库,
这一点集成到提交工具中强制执行。基本理念就是凡是被很多人不断重复的好的
习惯,要将其自动化,绑定到工具之中。
持续集成-Spinnaker 是一个持续交付平台,它定位于将产品快速且持续的部署
到多种云平台上。能够实现:通过灵活和可配置的管道实现可重复的自动部署,
提供一个所有环境的全局视图,一个应用程序可以看见自己的在所属管道中的状态,通过一致且可靠的API,提供可编程配置,
18 磁盘压测
磁盘压测-fio 是一个 I/O 工具用来对硬件进行压力测试和验证,支持13种不同的I/O引擎,包括:sync, mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等, I/O priorities (for newer Linux kernels), rate I/O, forked or threaded jobs, 等等。
磁盘压测-iozone 是一个文件系统测试基准工具。可以测试不同的操作系统中文件系统的读写性能。可以通过 write, re-write, read, re-read, random read, random write, random mix, backwards read, record rewirte, strided read,
fwrite, frewrite, fread, freread, mmap, async I/0 等不同的模式下的硬盘的性能。
磁盘压测-Iometer(IO测试工具)是一款功能非常强大的IO测试软件,它除了可以在本机运行测试本机的IO(磁盘)性能之外,还提供了模拟网络应用的能力。
19 Memcache
Memcache-memcache是一个高性能的分布式的内存对象缓存系统,通过在内存里维护一个统一的巨大的hash表,它能够用来存储各种格式的数据,包括图像、
视频、文件以及数据库检索的结果等。
20 Redis
Redis-Dynomite 是一个key-value存储系统.它支持存储的value类型相对多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hashs(哈希类型).
Redis-Twemproxy 是一个快速的单线程代理程序,支持 Memcached ASCII协议和更新的Redis协议。它全部用C写成,使用Apache 2.0 License授权。项目在Linux上可以工作,而在OSX上无法编译。
Redis-Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来
说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务.
Redis-SSDB 是一个 C/C++ 语言开发的高性能 NoSQL 数据库, 支持
zset(sorted set), map(hash), kv, list 等数据结构, 用来替代或者与 Redis 配合存储十亿级别列表的数据. SSDB 在 QIHU 360 被大量使用, 同时也被国内外业界的众多互联网企业所使用.SSDB 支持 PHP/Java/Python/C/C++ 等客户端.
Redis-Aerospike是一个以分布式为核心基础,可基于行随机存取内存中索引、
数据或SSD存储中数据的数据库。主要用于广告业务,作为一个服务器端的
cookie存储来使用,在这种场景下读取和写入性能是至关重要的。
21 MySQL 监控
MySQL 监控-mytop 是一个类似 Linux 下的 top 命令风格的 MySQL 监控工具,可以监控当前的连接用户和正在执行的命令。
MySQL 监控-orzdba 的主要功能:将MySQL性能元数据进行计算,统计
MySQL/INNODB层面的各种指标(QPS/TPS/thread/buffer/log等)和性能阀值展现。将Linux和MySQL性能指标结合在一起,更方便的对主机和MySQL压力情况进行展示,能够直观一眼看出目前压力的瓶颈点。
MySQL 监控-Percona Toolkit 是一组高级的命令行工具,用来管理 MySQL 和系统任务,主要包括1验证主节点和复制数据的一致性2有效的对记录行进行归档
3 出重复的索引
4 总结 MySQL 服务器
5 从日志和 tcpdump 中分析查询
6 问题发生时收集重要的系统信息。
MySQL 监控-Maatkit是一个Perl写的Mysql开源管理工具。mk-table-checksum 检查主从表是否一致的有效工具2、mk-table-sync 有效保证表一致的工具,不
必重载从表而能够保证一致。3、mk-visual-explain  exlpain解释工具4、mk-heartbeat 主从同步的监视工具,能够给出从落后于主多少5、
mk-parallel-dump 多线程的mysqldump工具6、mk-parallel-restore 多线程的表回复工7、mk-query-profiler 查询检测分析工具8、mk-deadlock-logger 死锁的记录工具,支持innodb9、mk-duplicate-key-checker key侦测工具10、mk-show-grants 权限管理显示工具11、mk-slave-restart slave的检测和重启工具12、mk-slave-delay slave delay replication 的工具。
MySQL 监控-innotop 是一个顶级的 MySQL 监控工具,带来很多扩展特性和灵活性:完全可定制,使用插件接口,一次可监控多个服务器。
MySQL 监控-myawr以mysql instance 为单位,每隔一段时间进行采样,然后
把数据保存到数据库,以便分析。目前myawr脚本收集的信息包括5个部分:1系统方面的:负载、cpu、io、网络、swap、磁盘空间。2 Mysql状态方面的:Mysql整体的一些指标;Myisam 引擎的一些
指标;Innodb 引擎的一些指标。
3Mysql slow query方面的信息,可通过mysql instance id进行关联:4 如果Mysql开启了performance schema:还会收集
events_waits_summary_global_by_event_name、file_summary_by_event_name 等5 Mysql peak 信息的收集,包括当时的active session 信息,包括sql;当时的lock信息当时的innodb status
22 MySQL基准测试
MySQL基准测试-mysqlsla功能非常强大. 数据报表,非常有利于分析慢查询的
原因, 包括执行频率, 数据量, 查询消耗等.
MySQL基准测试-sql-bench 是一个用 Perl 语言开发的数据库性能测试工具,
可以用来进行多种数据库之间的性能比较测试。
MySQL基准测试-Super Smack测试数据库性能的简单工具,super smack比sysbench更小巧配置上更加灵活
MySQL基准测试-Tpcc-mysql 是 percona 基于 tpcc 衍生出来的产品,TPC-C 测试则能模拟真实压力,专用于 mysql 基准测试,其源码放在 bazaar 上
( Bazaar 是一个分布式的版本控制系统,采用 GPL 许可协议,可运行于Windows、GNU/Linux、UNIX 以及 Mac OS 系统之上。Bazaar 由 Canonical 公司(Ubuntu 母公司)赞助),因此还需要先安装 bazaar 客户端。
MySQL基准测试-sysbench是一个模块化的、跨平台、多线程基准测试工具,主
要用于评估测试各种不同系统参数下的数据库负载情况。主要包括以下几种方式的测试:1、cpu性能2、磁盘io性能3、调度程序性能4、内存分配及传输速度5、POSIX线程性能6、数据库性能(OLTP基准测试)
目前sysbench主要支持 MySQL,pgsql,oracle 这3种数据库。
是由搜狐数据库团队开发维护的一个MySQL Proxy-SOHU-DBProxySOHU-DBProxy
基于MySQL协议的数据中间层项目。DBProxy 主要功能:1 即使在同一个连接(只要不在同一个事务中)也能连接复用。2 负载均衡提高读性能,支持动态扩展。3 动态添加的SQL审核和过滤。能够统计的SQL长时间运行影响性能,并且阻止其运行。4 用户连接限制5自动摘除宕机的DB。6读写分离(当
mysql删除重复的数据保留一条前版本没有,代码和测试已经完成,没有合并到当前版本)。
23 MySQL Proxy
MySQL Proxy-Mycat一个彻底开源的,面向企业应用开发的大数据库集,支持
事务、ACID、可以替代MySQL的加强版数据库,可以视为MySQL集的企业级数
据库,用来替代昂贵的Oracle集,融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server,结合传统数据库和新型分布式数据仓库的新一代企业
级数据库产品,一个新颖的数据库中间件产品
MySQL Proxy-Atlas是由 Qihoo 360,  Web平台部基础架构团队开发维护的一
个基于MySQL协议的数据中间层项目。主要功能:读写分离,从库负载均衡,IP 过滤,SQL语句黑白名单,自动分表
MySQL Proxy-Cobar是关系型数据的分布式处理系统,它可以在分布式的环境下
看上去像传统数据库一样为您提供海量数据服务。
MySQL Proxy-58同城OceanusOceanus 定位于分布式存储数据的中间件解决方
案,致力于打造一个功能简单、可依赖、易于上手、易于扩展、易于集成的解决
方案,甚至是平台化系统。
MySQL Proxy-kingshard是一个由Go开发高性能MySQL Proxy项目,kingshard
在满足基本的读写分离的功能上,致力于简化MySQL分库分表操作;能够让DBA 通过kingshard轻松平滑地实现MySQL数据库扩容。
24 MySQL逻辑备份工具
MySQL逻辑备份工具-mysqldump是mysql用于转存储数据库的实用程序。它主要产生一个SQL脚本,其中包含从头重新创建数据库所必需的命令CREATE TABLE INSERT等。
MySQL逻辑备份工具-mysqlhotcopy是一个Perl脚本,最初由Tim Bunce编写并提供。它使用LOCK TABLES、FLUSH TABLES和cp或scp来快速备份数据库。它
是备份数据库或单个表的最快的途径,但它只能运行在数据库目录所在的机器
上。mysqlhotcopy只用于备份MyISAM。它运行在Unix和NetWare中。使用mysqlhotcopy之前需要安装perl-DBI和DBD-mysql
MySQL逻辑备份工具-mydumper 是取代mysqldump 的工具,主要的差异在mydumper 会同时对多个table备份,效率比 mysqldump 好。
MySQL逻辑备份工具-MySQLDumper是一个基于网络的备份/恢复MySQL的可处理
庞大的脚本。另外和phpMyAdmin一样可以创建,删除数据库,表和视图或视图,搜索,删除,编辑或添加一个简单易用的SQLBrowser领域。
MySQL逻辑备份工具-mk-parallel-dump它会同时并发4个mysqldump进程,同
时备份4个的表,默认是先备份大表,在备份小表。它将每个表生成一个单独的
文件。默认使用gzip对文件进行压缩。
MySQL逻辑备份工具-mk-parallel-restore其实就是mk-parallel-dump的反向操作,也会同时启用4个mysql进程去进行恢复,默认优先恢复大表
25 MySQL物理备份工具

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。