搜索
简帛阁>技术文章>elasticsearch 内存溢出,节点崩溃

elasticsearch 内存溢出,节点崩溃

elasticsearch内存溢出.

错误日志

[2018-06-29T08:40:07,221][ERROR][o.e.b.ElasticsearchUncaughtExceptionHandler] [node02] fatal error in thread [elasticsearch[node02][bulk][T#2]], exiting
java.lang.OutOfMemoryError: Java heap space
[2018-06-29T08:40:32,504][ERROR][o.e.t.n.Netty4Utils ] fatal error on the network layer
at org.elasticsearch.transport.netty4.Netty4Utils.maybeDie(Netty4Utils.java:140)
at org.elasticsearch.transport.netty4.Netty4MessageChannelHandler.exceptionCaught(Netty4MessageChannelHandler.java:83)
at io.netty.channel.AbstractChannelHandlerContext.invokeExceptionCaught(AbstractChannelHandlerContext.java:286)
at io.netty.channel.AbstractChannelHandlerContext.notifyHandlerException(AbstractChannelHandlerContext.java:851)
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:365)
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:349)
at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:341)
at io.netty.handler.codec.ByteToMessageDecoder.fireChannelRead(ByteToMessageDecoder.java:293)
at io.netty.handler.codec.ByteToMessageDecoder.fireChannelRead(ByteToMessageDecoder.java:280)

配置信息

jvm.options

-Xms6g
-Xmx6g

此处未超过内存的50%

elasticsearch.yml
限制fielddata 上限

indices.fielddata.cache.size: 20%

##参考链接
https://www.elastic.co/guide/cn/elasticsearch/guide/current/_limiting_memory_usage.html

转载于:https://blog.51cto.com/phospherus/2134188

elasticsearch内存溢出错误日志[20180629T08:40:07,221][ERROR][oebElasticsearchUncaughtExceptionHandler][node0
ES在做聚合的时候,容易发生内存溢出https://wwwelasticco/guide/cn/elasticsearch/guide/current/_limiting_memory_usageh
问题的产生遇到一个线上问题,es深度分页导致内存溢出,进而导致es节点挂掉。本人在项目里使用的是from+size这种分页方式,这种方式有一个弊端,就是会导致深度分页。这里简单介绍下啥是深度分页:首
首先,说明笔者的机器环境(不结合环境谈解决方案都是耍流氓):cpu32核,内存128G,非固态硬盘:RAID0(4T*6),单节点,数据量在700G到1800G,索引15亿~21亿。敖丙大人,在蘑菇街
一、事故分析在生产项目中,频繁遇到iserver隔一段时间就会出现崩溃的情况。将iserver错误日志发给技术客服后,说是内存溢出的问题。查看服务器的配置是32g内存,按理说不该出现此类问题。自己实际
Java内存溢出(javalangOutOfMemoryError)的常见情况和处理方式总结javalangOutOfMemoryError这个错误我相信大部分开发人员都有遇到过,产生该错误的原因大都
目录1问题2错误原因3解决1问题在部署Elasticsearch的时候,有一台128g左右的机器,有两套es起初分配给es各64g,但是会出现内存溢出问题2错误原因参考了一些大佬的文章,如下ES是JA
一天晚上,生产环境升级,升级的主要内容是将用户服务折分出去,并用户数据从mongo中复制到ES中助力查询。在测试环境和预发环境都测试通过,然后在生产环境,一次后台查询导致整个系统崩溃。后来查找到原来是
一、问题描述在java应用中按批次生成elasticsearch中的索引数据的同时,首先在mysql中查询大量数据转成对象存放在list列表,然后把list中的大批量数据通过bulk的方式写入索引,
这篇文章主要包括以下几个点展开,一个是内存分配的问题,一个是节点数的问题,一个是分片数量的问题,还有就是磁盘的问题。这是我目前遇到的一些最需要考虑的问题,我看了很多文章,进行一些摘录。集群规模和容量