Elasticsearch的进阶之路-第⼆章之Elasticsearch⽬录结构及核
⼼配置⽂件介绍
1.
1. Elasticsearch集环境搭建
1. 下载
其中WINDOWS、LINUX和MACOS是Elasticsearch的压缩包，下载后解压缩到电脑上就可以使⽤，DEB包和RPM包是已经编译好适合于Linux环境的安装包，MSI是Windwos环境下的安装包，Docker是Docker容器环境的安装包。请根据⾃⼰的操作系统环境，下载适合的⽂件，笔者电脑是Linux Ubuntu，下载的就是适合Linux的压缩包。
1.
1.
1. ⽬录介绍
下载完成后将其解压缩，可以看到Elasticsearch如下的⽬录结构：
Eleasticsearch⽬录介绍
可执⾏⽂件的存放⽬录，包含关键命令如下：
elasticsearch：Elasticsearch的启动命令，Linux下加”-
d”参数以服务的形式后台运⾏。
elasticsearch-certutil：⽤于⽣成与Elastic Stack⼀起使⽤
的证书
elasticsearch-migrate：⽤于将基于⽂件的⽤户和⾓⾊，迁
bin elasticsearch-migrate：⽤于将基于⽂件的⽤户和⾓⾊，迁移到native realm
elasticsearch-node：该命令可以在当前节点关闭的时候，在该节点执⾏某些不安全的操作， 此命令可以⽤于调整当前节点在集中的⾓⾊，并且可以在灾难发⽣后⽤于恢复某些数据。
elasticsearch-saml-metadata：该命令⽤于⽣成SAML 2.0服务提供者(SP)元数据⽂件。
elasticsearch-setup-passwords：⽤于给x-pack内置⽤户（如elastic、kibana、logstash_system、beats_system 等）设置密码，此命令仅在初始配置Elasticsearch安全功能期间使⽤。
elasticsearch-shard：该命令⽤于在Lucene索引或translog的分⽚拷贝发⽣损坏、且⽆法⾃动恢复分⽚时，⽤于删除分⽚的损坏部分，然后恢复对未受影响的段中任何剩余数据的访问，使⽤该命令前必须停⽌Elasticsearch。elasticsearch-syskeygen：该命令⽤于在elasticsearch配置⽬录中创建系统密钥⽂件，可以使⽤⽣成的系统密钥⽂件对敏感数据进⾏对称加密。
elasticsearch-users：该命令⽤于管理基于⽂件的⽤户⾝份验证，它可以添加和删除⽤户、分配⽤户⾓⾊以及管理密码。
详细的功能及使⽤，后续的章节会谈到。
config 配置⽂件的存放⽬录，包括l和jvm.options等关键配置⽂件。
data 默认的数据存放⽬录（注：该⽬录默认不存在，当Elasticsearch通过默认的配置参数启后，该⽬录才会被创建）。
jdk 存放的是适合当前Elasticsearch版本的jdk，避免⽤户使⽤不兼容的JDK版本或者单独下载JDK，真正做到解压缩后就可以使⽤，不过也增加了下载包体的⼤⼩，达到了325M，该⽬录在7.x中才引⼊。
lib 引⽤的相关库的存放⽬录，elasticsearch.jar本⾝也放于该⽬录。
logs默认的⽇志存放⽬录。
modules 功能模块的存放⽬录，如aggs、reindex、geoip、xpack、eval，详细如下所⽰：
详细的功能及使⽤，后续的章节会谈到。
插件是Elasticsearch中⾮常重要的模块，让Elasticsearch 的功能可以灵活定制，更⽅便使⽤， 每个插件都将包含在⼀个⼦⽬录中，默认不包含任何插件，⽤户⾃⼰的情况进⾏下载，插件的下载⽅式，通过命令：
bin/elasticsearch-plugin install [plugin_name]
Elasticsearch分类以下⼏⼤类：
API扩展插件：API扩展插件通过添加新的API或功能，扩展Elasticsearch的搜索或映射等功能；
告警插件：告警插件提供了索引监视功能，并在警报阈值时
plugins 告警插件：告警插件提供了索引监视功能，并在警报阈值时触发警报；
分析插件：分析插件提供新的字段分析器(Analyzers)、分词器(tokenizer)、分词过滤器(token filters)或字符过滤器来扩展Elasticsearch的功能；
发现插件：插件提供了对Amazon EC2、Microsoft Azure Classic、GCE(Google Compute Engine)和Kubernate的搭建了搜索服务的节点的发现功能；
数据预处理插件：提供从附件（如PPT、XLS和PDT）中抽取数据、GeoIP信息处理、⽤户客户端信息提取等；
管理功能插件：插件提供了对Elasticsearch执⾏管理的功能或者交互功能的UI，如X-PACK；
映射插件：映射插件允许向Elasticsearch增加新的字段数据类型，如mapper-size插件提供_size元字段，当启⽤该字段时，索引原始_source字段的字节⼤⼩；
安全插件：为Elasticsearch增加了⼀层安全层，可以轻松地为其弹性堆栈添加企业级安全性，让Elasticsearch更加安全；
数据快照或数据还原插件：⽤于⽀持将数据存放到云存储或者分布式⽂件系统中，或者从云存储或者分布式⽂件系统进⾏数据恢复，⽀持包持Amazon S3、Microsoft Azure、HDFS、Google云存储以及Openstack等
存储插件：提供了除基于Lucene默认存储的额外存储⽅式的更多选择；
详细的功能及使⽤，后续的章节会谈到。
1.
1.
1. 核⼼配置⽂件介绍
Elasticsearch核⼼配置⽂件
l 该⽂件是Elasticsearch的核⼼配置⽂件，⾥⾯涉及到集名称、节点名称、⽇志存放路径、数据存放路径、所使⽤的IP地址和端⼝号、master节点、是否允许跨域访问等。
config/jvm.options 配置Elasticsearch使⽤的JVM参数，如堆的⼤⼩、单个线程的⼤⼩、所使⽤的垃圾收集的⽅式、是否开启JMX、GC⽇志的收集等。
1.
1.
1.
1. l        l的默认配置
# ======================== Elasticsearch Configuration
=========================
# 注：Elasticsearch使⽤很多合理的默认配置，该配置⽂件只列出了集及当前节点配置需要调整的参数
#
# 更多的配置选项参看:
#
# ------------------------ Cluster（集） -------------------------
# 集名称配置，默认是elasticsearch
# cluster.name: my-application
#
# -------------------------- Node（节点） --------------------------
# 配置节点名称，默认为随机名称
# node.name: node-1
#
# 当前节点的⾃定属性:
# node.rack: r1
#
# ------------------------- Paths（路径） --------------------------
# 指定es的数据存储⽬录，默认为$es_home/data⽬录
# path.data: /path/to/data
#
# 指定es的⽇志存储⽬录，默认为$es_home/logs⽬录
# path.logs: /path/to/logs
#
# ------------------------- Memory（内存） -------------------------
#
# 锁定物理内存地址，防⽌es的内存被交换出去，避免使⽤swap交换分区，因为当系统进⾏内存交换的时候，
# es的性能表现会很差。当network.host配置为⾮127.0.0.1时，需要在Linux的/etc/f增
# 加允许应⽤对内存锁定的配置:
# * soft memlock unlimited
# * hard memlock unlimited
# _lock: true
#
# 确保ES_HEAP_SIZE参数设置为系统可⽤内存的⼀半左右，且执⾏ES进程的⽤户具有使⽤这些内存的权限
#
# ------------------------ Network（⽹络） -------------------------
#
# 为es设置绑定的ip，默认是127.0.0.1，设置为0.0.0.0允许绑定到该服务器的所有IP地址都可以访问
# network.host: 192.168.0.1
#
# 为es设置监听端⼝，默认是9200，p.port的值为http.port 加上100
# http.port: 9200
#
# 更多关于⽹络的配置，参看:
#
</guide/en/elasticsearch/reference/current/modules-network.html>
#
# ------------------------ Discovery（发现） ------------------------
#
# 初使服务器列表，当此节点时启动时会执⾏发现动作，如需要配置端⼝，
则需要配置p.port的值
# 默认列表为 ["127.0.0.1", "[::1]"]
#
#discovery.seed_hosts: ["host1", "host2"]
#
# ⽤于在集启动时，选择master节点的节点，该值在network.host的值不
为127.0.0.1时，且只有⼀个节点时，其值必须要填写:
#
#cluster.initial_master_nodes: ["node-1", "node-2"]
#
# ------------------------ Gateway（⽹关） -------------------------
#
# 设置集中需要指定个节点启动后，才进⾏数据恢复处理，其默认值是1
# ver_after_nodes: 3
#
# 更多信息:
linux安装jdk rpm安装
#
</guide/en/elasticsearch/reference/current/modules-
gateway.html>
#
# ------------------------ Various -------------------------
#
# 设置是否允许删除多个索引库，默认true表⽰必须需要显式指定索引库名
称
# action.destructive_requires_name: true
1.
1.
1.
1. jvm.options
jvm.options的默认配置
## JVM配置
>>>>>>>>>>>>#### ## 重要: JVM堆⼤⼩
>>>>>>>>>>>>#### ##
## 为了使Elasticsearch避免频繁的发⽣Full GC，最⼤堆和最⼩堆的值，，
## 要设置为⼀样，如下设置为4G。Xms表⽰初使化堆的⼤⼩，Xms表⽰最⼤
## 的⼤⼩
## -Xms4g
## -Xmx4g
## 更多参看：
##
>>>>>>>>>>>>#### # 堆的默认值为1G

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。

大数据之Linux常用命令集合
« 上一篇
logstash配置文件详解_ELK搭建与使用详解
下一篇 »

发表评论