咕泡P6：ElasticStack⾼级开发与架构（实战）
Elastic Stack简称ELK，在本教程你将学习如何快速搭建并运⾏Elastic Stack。
⾸先你要安装核⼼开源产品：
Elasticsearch：
Kibana：
Beats：
Logstash：
然后，你将了解如何实现⼀个系统监视解决⽅案，该⽅案使⽤Metricbeat收集服务器度量并将数据发送到Elasticsearch，在Elasticsearch ⾥你可以使⽤Kibana搜索和可视化数据。在你完成基本的设置之后，你可以添加Logstash来进⾏额外的解析。
你可以在⼀个单个虚拟机甚⾄你的笔记本上安装Elastic Stack。
重要：
实现安全性是建⽴Elastic Stack的关键步骤。要使⽤⽰例安装快速启动和运⾏，现在就跳过这些步骤。在通过⽹络发送敏感数据之前，请确保对Elastic Stack进⾏，并启⽤。
在你开始之前
有关⽀持的操作系统和产品兼容性的信息，请参阅
验证您的系统满⾜Logstash和Elasticsearch的。
安装Elasticsearch
Elasticsearch是⼀个实时、分布式存储、搜索和分析引擎。它可以⽤于许多⽤途，但它擅长的⼀个上下⽂是对半结构化数据流(如⽇志或解码⽹络数据包)进⾏索引。
要下载和安装Elasticsearch，打开终端窗⼝，使⽤系统的命令(deb为Debian/Ubuntu, rpm为Redhat/Centos/Fedora, mac为OS X, win为Windows):
deb
rpm
mac
win
1.从Elasticsearch下载Elasticsearch 6.4.0 Windows zip⽂件。
2.将zip⽂件的内容解压缩到计算机上的⼀个⽬录，例如，C:\Program Files
3.作为管理员打开命令提⽰符并进⼊到包含提取⽂件的⽬录，例如：
cd C:\Program Files\elasticsearch-6.4.0
4.启动Elasticsearch
bin\elasticsearch.bat
对于其他操作系统，请访问Elasticsearch。
要了解关于安装、配置和运⾏Elasticsearch的更多信息，请阅读Elasticsearch
在Windows上，如果没有安装cURL，则将浏览器指向URL。
你会看到类似这样的回应:
{
"name" : "QtI5dUu",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "DMXhqzzjTGqEtDlkaMOzlA",
"version" : {
"number" : "6.4.0",
"build_flavor" : "default",
"build_type" : "tar",
"build_hash" : "00d8bc1",
"build_date" : "2018-06-06T16:48:02.249996Z",
"build_snapshot" : false,
"lucene_version" : "7.3.1",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}
安装kibana
Kibana是⼀个开源的分析和可视化平台，设计⽤于Elasticsearch。使⽤Kibana搜索、查看和与存储在Elasticsearch索引中的数据交互。你可以轻松地执⾏⾼级数据分析并在各种图表、表格和地图中可视化数据。
我们建议你将Kibana安装在与Elasticsearch相同的服务器上，但这不是必需的。如果将产品安装在不
同的服务器上，在开始Kibana之前，则需要更改Kibana配置⽂件l中的Elasticsearch服务器的URL (IP:PORT)。
要下载和安装Kibana，打开终端窗⼝，使⽤与系统匹配的命令:
deb or rpm
mac
win
1. 从Kibana下载Kibana 6.4.0 Windows zip⽂件。
2.将zip⽂件的内容解压缩到⼀个⽬录在您的计算机上，例如，C:\Program Files
3.作为管理员打开命令提⽰符并导航到包含提取⽂件的⽬录，例如:
cd C:\Program Files\kibana-6.4.0-windows
4.启动Kibanabox sizing
bin\kibana.bat
对于其他操作系统，请访问Kibana。
要了解关于安装、配置和运⾏Kibana的更多信息，请阅读Kibana。
安装Beats
Beats是作为开源数据托运⼈代理安装在服务器上，⽤于向Elasticsearch发送操作数据。Beats可以直接将数据发送到Elasticsearch或通过Logstash，在Logstash⾥你可以进⼀步处理和增强数据。
每个Beat是⼀个单独的可安装的产品。在本教程中，你将了解如何安装、运⾏Metricbeat和系统模块，使之能够收集系统指标。
要了解关于安装和配置其他Beat的更多信息，请参阅⼊门⽂档:
<colgroup ><col class="col_1" ><col class="col_2" ></colgroup>
Elastic Beats To capture
Audit data
Log files
Availability monitoring
Metrics
Network traffic
Windows event logs
安装Metricbeat
要下载和安装Metricbeat，打开终端窗⼝并使⽤与您的系统匹配的命令：
deb
rpm
mac
win
1.从Metricbeat下载Metricbeat Windows zip⽂件。
2.将zip⽂件的内容解压缩到 C:\Program Files中。
3.将Metricbeat -6.
4.0-windows⽬录重命名为Metricbeat。
4.作为管理员打开PowerShell提⽰符(右键单击PowerShell图标并选择以管理员⾝份运⾏)。
5.从PowerShell提⽰符，运⾏以下命令将Metricbeat安装为Windows服务
PS > cd 'C:\Program Files\Metricbeat'
PS C:\Program Files\Metricbeat> .\install-service-metricbeat.ps1
对于其他操作系统，请访问Beats
将系统指标传到Elasticsearch
Metricbeat提供预先构建的模块，您可以使⽤这些模块在⼤约5分钟内快速实现和部署⼀个系统监控解决⽅案，包括样例指⽰板和数据可视化。
在本节中，您将了解如何运⾏系统模块，以从运⾏在服务器上的操作系统和服务收集指标。系统模块收集系统级指标，如CPU使⽤率、内存、⽂件系统、磁盘IO和⽹络IO统计数据，以及系统上运⾏的每个进程的顶级统计数据。
在你开始之前验证Elasticsearch和Kibana正在运⾏，Elasticsearch准备从Metricbeat接收数据。
建⽴系统模块并开始收集系统指标。
sudo metricbeat modules enable system
mac：
./metricbeat modules enable system
win
PS C:\Program Files\Metricbeat> .\ modules enable system
2.设置初始环境
deb and rpm
sudo metricbeat setup -e
mac
./metricbeat setup -e
win
PS C:\Program Files\Metricbeat> setup -e
setup命令加载Kibana仪表板。如果仪表板已经设置好，则省略此命令。e标志是可选的，并将输出发送到标准错误，⽽不是syslog。
3.启动Metricbeat
deb and rpm
sudo service metricbeat start
mac
./metricbeat -e
win
PS C:\Program Files\Metricbeat> Start-Service metricbeat
Metricbeat运⾏并开始向Elasticsearch发送系统指标。
在Kibana中可视化系统指标
TIP：如果在Kibana没有看到数据，请尝试将⽇期范围更改为更⼤的范围。默认情况下，Kibana会显⽰最后15分钟。如果看到错误，请确保Metricbeat正在运⾏，然后刷新页⾯。
现在你已经知道了如何为Elastic Stack建⽴最简单的体系结构—⼀个或多个Beats将事件数据直接发送到同⼀个服务器上运⾏的Elasticsearch实例—现在让我们添加Logstash。
Logstash是⼀个强⼤的⼯具，可以集成多种部署。它提供了⼤量可供选择的插件，可以帮助您解析、充实、转换和缓冲各种来源的数据。
要下载和安装Logstash，打开终端窗⼝并使⽤与您的系统匹配的命令:
deb
rpm
mac
win
1.从Logstash下载Logstash 6.4.0 Windows zip⽂件。
2.将zip⽂件的内容解压缩到计算机上的⼀个⽬录，例如，C:\Program Files。使⽤短路径(少于30个字符)以避免在Windows上遇到⽂件路径长度限制。
对于其他操作系统，请访问Logstash的。
要了解关于安装、配置和运⾏Logstash的更多信息，请阅读logstash的。
配置logstash监听beats输⼊
Logstash提供从各种输⼊读取的。在本教程中，你将创建⼀个Logstash管道配置，它侦听Beats输⼊并将接收到的事件发送到Elasticsearch输出。
配置logstash：
1.创建⼀个新的⽇志存储管道配置⽂件，名为f。如果您将Logstash作为deb或rpm包安装的，请在Logstash config⽬录中创建该⽂件。该⽂件必须包含:
⼀种输⼊阶段，配置Logstash在端⼝5044上侦听传⼊Beats连接。
⼀个输⼊阶段，将事件索引到Elasticsearch。输出阶段还配置Logstash写⼊Metricbeat索引。
例如：
input {
beats {
port => 5044
}
}
# The filter part of this file is commented out to indicate that it
# is optional.
# filter {
#
# }
output {
elasticsearch {
hosts => "localhost:9200"
manage_template => false
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
}
}
当你开始使⽤这个管道配置Logstash时，Beats事件是通过logstash输出出来的，你可以完全访问logstach输出出来的收集、充实和转换数据的功能。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。