博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
storm配置:设置worker进程内存大小
阅读量:6123 次
发布时间:2019-06-21

本文共 433 字,大约阅读时间需要 1 分钟。

转自:

Storm中真正干活的是各个worker,而worker由supervisor负责启动。在topology启动过程中我们会看到如下的启动日志:

这就是启动一个worker进程,也就是一个JVM进程。

默认情况下,Storm启动worker进程时,JVM的最大内存是768M。

但我在使用过程中,由于会在Bolt中加载大量数据,768M内存无法满足需求,会导致内存溢出程序崩溃。

经过研究发现,可以通过在Strom的配置文件storm.yaml中设置worker的启动参数: worker.childopts: "-Xmx2048m"

该参数会在启动时传递给JVM,然后就可以在worker中使用2048m内存了。

目前好像Storm还没有配置文件的详细说明,比如可以配置哪些参数,怎么配置?

大家可以先参考Storm源代码中的Config..

 

 

转载于:https://www.cnblogs.com/yunkong/articles/4497823.html

你可能感兴趣的文章
第七章 概率图模型理论在计算机视觉中的应用
查看>>
构建Logstash+tomcat镜像(让logstash收集tomcat日志)
查看>>
zabbix
查看>>
dll的使用
查看>>
通过show status 来优化MySQL数据库
查看>>
微信小程序服务范围重大更新
查看>>
web.xml配置DispatcherServlet (***-servlert.xml)
查看>>
微信小程序排行榜
查看>>
在windows上部署使用Redis
查看>>
如约而至:微信自用的移动端IM网络层跨平台组件库Mars已正式开源
查看>>
ADO.NET对象模型
查看>>
hadoop集群之HDFS和YARN启动和停止命令
查看>>
重温web服务器--细说Tomcat服务器
查看>>
常用键盘快捷键
查看>>
shell不排序去重
查看>>
【 Android Manifest 权限描述大全 】
查看>>
springmvc-servlet.xml中use-default-filters的作用
查看>>
浏览器数据库IndexedDB介绍
查看>>
CSS简介
查看>>
Robots.txt 不让搜索引擎收录网站的方法
查看>>