优化 Elasticsearch 性能的 10 个技巧-JavaScript中文网-JavaScript教程资源分享门户

Elasticsearch 是一个基于 Lucene 的分布式、开源搜索引擎，能够实现各种数据的全文本搜索、结构化查询和分析等功能。它的性能和吞吐量对于搜索引擎应用来说非常重要。在这篇文章中，我们将会介绍 10 个优化 Elasticsearch 性能的技巧。

1. 缩小索引的范围

将索引规模缩小到最小化的大小有助于 Elasticsearch 的性能。这可以通过指定 index 的范围来实现，以避免对没有必要的数据进行查询。

例如，在运行GET /_cat/indices?v 命令以获得 Elasticsearch 索引列表时，它会返回所有的索引。然而，您可能只需要查询一个特定的索引，例如 my_index。

下面是一个例子，展示了如何只搜索 my_index 索引：

GET my_index/_search
{
  "query": {
    "match_all": {}
  }
}

2. 选择正确的分片数量和副本数量

适当数量的分片和副本能够有效地管理数据和负载。但是，过多的分片会导致集群性能下降而过多的副本会占用集群的存储容量。因此，必须根据集群大小、数据量和负载来配置正确的分片和副本数量。

以下是一个创建 3 个主分片和 2 个副本的示例：

PUT /my_index
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 2
  }
}

3. 使用索引模板

索引模板提供了预定义的模板，可以按照您的需求定制索引设置。这有助于重用模板，并确保新索引与现有索引具有相同的设置。

以下是一个使用索引模板的示例：

PUT /_index_template/my_index_template
{
  "index_patterns": ["my_*"],
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 2
  }
}

上述示例会将索引模板应用于所有以 my_ 开头的索引。

4. 禁用不需要的索引功能

禁用不需要的功能可以减少 Elasticsearch 的资源消耗。例如，如果您没有需要分析日志，则可以在创建索引时禁用分析功能。仅使用您需要的功能可以提高性能。

下面是一个禁用分析功能的示例：

PUT /my_index
{
  "settings": {
    "analysis": false
  }
}

5. 优化索引存储

采用正确的索引存储策略能够提高 Elasticsearch 的性能。将小型、快速的文件系统和 RAID 配置与高端存储结合使用可以显著提高 Elasticsearch 的性能。此外，SSD 相对于磁盘驱动器具有更快的响应时间和更高的吞吐量。

6. 避免热点分片

热点分片是一种负载不均衡的情况，在这种情况下，某些分片将接收更多的搜索查询或写操作。这导致了集群的部分资源被浪费。为了避免热点分片，可以考虑使用混合索引和在写操作期间使用路由。

使用混合索引可为某些频繁查询的字段创建单独的、不同的索引。在写操作期间使用路由策略，则可以将类似 ID、时间戳等字段中相同值的文档全部发送到同一分片上，从而避免热点分片。

7. 合并和压缩冷数据

存储大量数据可以导致 Elasticsearch 中慢速查询的执行时间变得明显比较久。为了避免此问题，可以利用 Elasticseach 的字段门户，将不需要进行即时搜索的数据移入场外。这些数据可以被打包并压缩，并在需要时进行解压缩以复原，从而最大限度地减少对 IO 性能的影响。

8. 使用 Fielddata 和 Doc Values

Fielddata 和 Doc Values 是 Elasticsearch 的两种内置特性。Fielddata 可以将字段值加载到 JVM 内存中，以便进行搜索和聚合操作。使用 Fielddata 可以避免许多 Costly、频繁的磁盘加载操作，从而提高性能。Doc Values 则将字段值作为单独的结构存储在倒排索引数据中，以便更快地检索和排序。

9. 通过调整 JVM 参数提高性能

JVM 参数是优化 Elasticsearch 性能的关键部分。通过调整 JVM 参数，可以控制内存大小、垃圾收集等设置。例如， -Xms 和 -Xmx 参数可以帮助我们设置堆栈内存大小， -XX:+PrintGCDateStamps 可以帮助我们记录垃圾收集行为。

下面是一个典型的 Elasticsearch JVM 参数示例：

/usr/bin/java -Xms4g -Xmx4g -XX:MaxMetaspaceSize=256m -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+DisableExplicitGC -XX:+HeapDumpOnOutOfMemoryError -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:/var/log/elasticsearch/gc.log -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Djava.io.tmpdir=/usr/share/elasticsearch/tmp -XX:+ExitOnOutOfMemoryError -Des.path.home=/usr/share/elasticsearch -Des.path.conf=/etc/elasticsearch -p /var/run/elasticsearch/elasticsearch.pid -Edefault.path.logs=/var/log/elasticsearch -Edefault.path.data=/var/lib/elasticsearch -Edefault.path.config=/etc/elasticsearch org.elasticsearch.bootstrap.Elasticsearch -d -Epath.home=/usr/share/elasticsearch -Epath.conf=/etc/elasticsearch

10. 使用合适的 Elasticsearch 版本

新版本的 Elasticsearch 通常都包含了一些新的特征或更好的性能优化。因此，使用最新版本的 Elasticsearch 能够有效地提高性能。为了确保应用程序与新版本兼容，务必在更新 Elasticsearch 版本之前进行测试。

综上所述，以上 10 个技巧可以有效地优化 Elasticsearch 的性能，尤其是在大型集群环境中。通过正确配置和优化，能够显著提高 Elasticsearch 的性能和吞吐量，从而满足搜索和查询等应用程序的要求。

来源：JavaScript中文网，转载请注明来源 https://www.javascriptcn.com/post/67cfe99ee46428fe9ec35bc7

优化 Elasticsearch 性能的 10 个技巧