elasticsearch基本概念介绍 -
止水的专栏 - CSDN博客
elasticsearch基本概念介绍
elasticsearch
elasticsearch基本概念介绍
本文主要参考：
1、https://www.elastic.co/guide/en/elasticsearch/reference/current/_basic_concepts.html
2、《elasticsearch权威指南》
好，下面上货。
Near Realtime(NRT)
Elasticsearch 是一个接近实时的查询平台。它有很低的延迟（接近1秒）从你索引一个文档，到能够查询这个文档。
集群是一个由多个节点（服务器）组成的。这些节点共同存储你的数据，并且提供一个联邦的索引和跨节点查询的能力。每一个集群有一个唯一的名字作为标识（默认情况下是elasticsearch）。这个名字很重要，因为一个节点想要成为一个集群的一员就必须设置与集群相同的名字。
必须保证在不同的环境中使用不同的集群名字，否则你的节点会join到错误的集群上。比如，你可以使用logging-dev,logging-stage和logging-prod这三个名字，分别给开发，平台和生产。
注意，只有一个节点的集群是合法的，而且，你可能会有很多独立的集群，每个集群有自己的名字。
节点是集群中的一台服务器。它存储数据并且参与索引和查询。和集群类似，每一个节点在启动时都由默认的随机的UUID进行标识。你可以定义这个标识，从而不使用默认的标识。这个名字对于集群管理员来说很重要，因为这个名字标识了现实中的机器和集群中节点的对应关系。
一个节点通过配置集群名字能够被添加到一个集群中。默认情况下，一个几点会被添加到名字为elasticsearch的集群中。那也就意味着如果你在启动很多节点，而且这些节点能够在网络中相互感知的话，那么这些节点会自动的组织添加到名字为elaticsearch的集群中。
在一个单独的集群中，你可以添加很多节点。而且如果没有其他的elasticsearch 节点在你的网络中运行，启动一个节点，会自动的组成一个叫做elasticsearch的集群。
Index 索引
Document 文档
上面三个概念，我引用《elasticsearch权威指南》中的说法
关系数据库&
elasticsearch
Shards&Replicas
一个索引有潜力存储大量的数据，大量的数据很快会到达单个节点的硬件极限。比如：一个索引有十亿文档，总共小号1TB的磁盘空间，那么这样就适合存储在单个节点上，而且也会造成查询缓慢的的现象。
为了解决这问题，elasticsearch提供了一个把数据细分的能力，叫做分片。当你定义一个索引的时候你可以指定分片数。每一个分片是功能独立的“索引”，可以别存储在集群中的任意一个节点上。
提供分片的两个主要原因：
1、能够水平的切分和扩展存储空间。
2、能够分布式平行的在多个分片上计算，从而提高性能和吞吐量。
分片是如何分布式存储的和文档在查询请求后如何聚合的完全由elasticsearch进行管理，对用户来说是透明的。
在网络或者集群环境中错误经常发生。有一套容错机制防止分片或者节点由于任何原因掉线或者丢失是非常有必要的。为此，elasticsearch为集群中的分片提供了一个或多个副本分片，简称副本。
提供副本的两个主要原因：
1、当分片或者节点出错时，提供高可用性。为此，最重要的是存储副本分片的位置不能再这个分片的原始节点或者主节点。
2、能够提高吞吐率，因为查询可以并行的运行在平行的副本上。
总之，每一个索引能够被切分成多个分片。一个索引能够被复制0到多次。一旦复制，每个索引就会有主分片（索引的原始分片，复制的来源地）和复制分片（从主分片复制出来的）。每个索引的副本个数能够在创建索引时指定。在创建索引之后，你可能想再次改变副本的数量，但是，一段创建了副本的数量是不能改变的。
默认情况下，elasticsearch中的索引有分片数为5，副本数为1。也就是说，如果你有一个两个节点的集群，你的索引会有5个分片，5个副本分片。每个索引有10个分片。（默认情况下）
每个elasticsearch 分片是一个Lucene索引。单独的Lucene索引有最大文档数显示，在Lucene-5843中记载，最大是2,147,483,519&(=
Integer.MAX_VALUE - 128) 个文档。你可以监控分片的大小通过&api
我的热门文章
即使是一小步也想与你分享Hadoop生态系统（50）
ElasticSearch核心概念
1.& Cluster
&& &&& 代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。ES的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看ES集群，在逻辑上是个整体，你与任何一个节点的通信和与整个ES集群通信是等价的。
&& &&& 主节点的职责是负责管理集群状态，包括管理分片的状态和副本的状态，以及节点的发现和删除。
&& &&& 只需要在同一个网段之内启动多个ES节点，就可以自动组成一个集群。
&& &&& 默认情况下ES会自动发现同一网段内的节点，自动组成集群。
&& &集群的查看状态
&& &&& http://&ip|host&:9200/_cluster/health?pretty
2. & shards
&& &&& 代表索引分片，ES可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上，构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。
&& &可以在创建索引库的时候指定
&& &curl -XPUT 'localhost:9200/test1/' -d '{&settings&:{&number_of_shards&:3}}'
&& &&& 默认是一个索引库有5个分片 index.number_of_shards:5
3. && replicas
&& &&& 代表索引副本，ES可以给索引设置副本，副本的作用一是提高系统的容错性，当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高ES的查询效率，ES会自动对搜索请求进行负载均衡。
&& &可以在创建索引库的时候指定
&& &curl -XPUT 'localhost:9200/test2/' -d'{&settings&:{&number_of_replicas&:2}}'
&& &&& 默认是一个分片有1个副本 index.number_of_replicas:1
4. & recovery
&& &&& 代表数据恢复或者叫数据重新分布，ES在有节点加入或退出时会根据机器的负载对索引分片进行重新分配，挂掉的节点重新启动时也会进行数据恢复。
5. & gateway
&& &&& 代表ES索引的持久化存储方式，ES默认是先把索引存放到内存中，当内存满了时再持久化到硬盘。当这个ES集群关闭在重新启动是就会从gateway中读取索引数据。Es支持多种类型的gateway，有本地文件系统(默认)，分布式文件系统，Hadoop的HDFS和amazon的s3云存储服务。
6. & discovery.zen
&& &&& 代表ES的自动发现节点机制，ES是一个基于p2p的系统，它先通过广播寻找存在的节点，再通过多播协议来进行节点之间的通信，同时也支持点对点的交互。
&& &**如果是不同网段的节点如果组成ES集群
&& &&& 禁用自动发现机制&& discovery.zen.ping.multicast.enabled: false
&& &设置新节点被启动时能够发现的注解列表
&& &discovery.zen.ping.unicast.hosts: [&master:9300&, &slave01:9300&]
7. && Transport
&& && 代表ES内部节点或集群与客户端的交互方式，默认内部是使用tcp协议进行交互，同时它支持http协议(json格式)、thrift、servlet、memcached、zeroMQ等传输协议(通过插件方式集成)。
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：11518次
积分：1686
积分：1686
排名：千里之外
原创：169篇藤本植物导航
&>&&>&&>&正文
Elasticsearch是由Shay Banon发起的一个开源搜索服务器项目，2010年2月发布。迄今，该项目已发展成为搜索和数据分析解决方案领域的主要一员，广泛应用于声名卓著或鲜为人知的搜索应用程序。此外，由于其分布式性质和实时功能，许多人把它作为文...
Elasticsearch是什么以及核心概念
Elasticsearch是什么以及核心概念Elasticsearch是由Shay Banon发起的一个开源搜索服务器项目，2010年2月发布。迄今，该项目已发展成为搜索和数据分析解决方案领域的主要一员，广泛应用于声名卓著或鲜为人知的搜索应
Elasticsearch是由Shay Banon发起的一个开源搜索服务器项目，2010年2月发布。迄今，该项目已发展成为搜索和数据分析解决方案领域的主要一员，广泛应用于声名卓著或鲜为人知的搜索应用程序。此外，由于其分布式性质和实时功能，许多人把它作为文...ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。 Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的级搜索引擎。 设计用于云计算中，能够达到...为了支持高可用性与高伸缩性，Elasticsearch本身就是分布式设计的。 从顶层的角度来说，Elasticsearch在索引（或者集合） 中保存文档（或者数据记录），每个集合又分解为多个小块，称为分片。ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达...Elasticsearch是什么 Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它可以在很短的时间内存储，搜索和分析大量的数据。它通常作为具有复杂搜索场景情况下的核心发动机。我们举几个例子来说明Elasticsearch能做什么？ 当你经营一家网...一、插件准备 网上有介绍说可以直接用plugin -install medcl/elasticsearch-analysis-ik的办法，但是我执行下来的效果只是将插件的源码下载下来，elasticsearch只是将其作为一个_site插件看待。 所以只有执行maven并将打包后的jar文件拷贝到上级...在output-&elasticsearch下增加一个index配置 output { elasticsearch { hosts =& ["192.168.10.166:9200"] index =& "test_system_log" } } 查看的的话，就装kibana好了，在kibana的settings-&indices页面，在页面里面的输入框输入test_system_。Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。 接近实时（NRT） Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）。 集群（cluste...由于需要提升项目的搜索质量，最近研究了一下Elasticsearch，一款非常优秀的分布式搜索程序。最开始的一些笔记放到github，这里只是归纳总结一下。 首先，为什么要使用Elasticsearch？最开始的时候，我们的项目仅仅使用MySQL进行简单的搜索，然...Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。 接近实时（NRT） Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）
种植经验最新
种植经验推荐
台词网 版权所有
渝ICP备号-23