storm任务启动过程中一个worker启动失败,通过supervisor日志发现一直在尝试启动,最后定位到时worker的端口被其他进程占用了导致启动失败,尤其是当机器上有大量短连接时会增加worker端口被占的几率。
解决办法
- 其他服务避开worker端口
- 通过内核参数配置将storm使用到的端口配置成以监听的方式启动
三种查看随机端口范围
sysctl net.ipv4.ip_local_port_range net.ipv4.ip_local_port_range = 1024 65000 cat /etc/sysctl.conf |grep local net.ipv4.ip_local_port_range = 1024 65000 cat /proc/sys/net/ipv4/ip_local_port_range 1024 65000
如果storm使用的端口在这个范围内就有冲突的几率。
配置预留端口
echo "5710-5714,15710-15714" > /proc/sys/net/ipv4/ip_local_reserved_ports shell> vim /etc/sysctl.conf net.ipv4.ip_local_reserved_ports = 5710-5714,15710-15714 shell> sysctl -p
net.ipv4.ip_local_reserved_ports描述
ip_local_reserved_ports - list of comma separated ranges Specify the ports which are reserved for known third-party applications. These ports will not be used by automatic port assignments (e.g. when calling connect() or bind() with port number 0). Explicit port allocation behavior is unchanged. The format used for both input and output is a comma separated list of ranges (e.g. "1,2-4,10-10" for ports 1, 2, 3, 4 and 10). Writing to the file will clear all previously reserved ports and update the current list with the one given in the input. Note that ip_local_port_range and ip_local_reserved_ports settings are independent and both are considered by the kernel when determining which ports are available for automatic port assignments. You can reserve ports which are not in the current ip_local_port_range, e.g.: $ cat /proc/sys/net/ipv4/ip_local_port_range 32000 61000 $ cat /proc/sys/net/ipv4/ip_local_reserved_ports 8080,9148 although this is redundant. However such a setting is useful if later the port range is changed to a value that will include the reserved ports. Default: Empty
相关推荐
一次特殊的storm端口占用storm任务迁移, 老集群下线迁移到新集群, 出现一个诡异的问题, 任务死活起不来总是卡主, 卡在链接其他worker上, 也没细
命令php think worker:gateway在windows下运行...根据GatewayWorker-for-win提供的demo修改的 本资源依赖GatewayWorker扩展,请先安装扩展。 使用方法,把解压后的文件夹放到项目根目录,双击start_for_win.bat,启动
NextJS Worker示例这是使Web Worker在NextJS项目中运行的示例。 要使用worker-loader将Web Worker加载到NextJS站点上,并允许在其worker上运行babel等webpack加载器,必须覆盖构建输出路径。 感谢。 // next.config....
(6) 而此时,我们预先准备的那几个Worker线程就不能闲着了, 我们在前面建立的几个Worker就要忙活起来了,都需要分别调用GetQueuedCompletionStatus() 函数在扫描完成端口的队列里是否有网络通信的请求存在(例如...
gif.worker.js js的多张图片转成gif的插件
webworker封装调用face-api.js
用于《vue3中使用Web Worker多线程》这篇文章的项目Demo下载 文章地址:https://blog.csdn.net/weixin_42063951/article/details/125300644
worker1 :storm worker VM,在 192.168.111.102 上运行受监督的主管 Storm-code 目录包含一个用于部署和测试的简单风暴拓扑。 有关该项目的更多详细信息... 用法 vagrant up 等待 ... 验证 worker 和 nimbus 已...
线程示例WorkerThread_demo,线程示例WorkerThread_demo, 线程示例WorkerThread_demo,
用于《vue3中使用Web Worker多线程》这篇文章的项目Demo下载 文章地址:https://blog.csdn.net/weixin_42063951/article/details/125300644
• BasicBolt • Storm 批处理 • Storm TOPN • Storm 流程聚合 • Storm DRPC • Storm executor、worker、task之间的关系和调优 • Storm异常解决
http://blog.csdn.net/comaple/article/details/7896167 storm实时流式计算框架集群搭建过程中,用到的jar文件。
Thinkphp6 redis队列 消息事件 gatewayworker聊天打通版
内容概要: • Storm 记录级容错原理 • Storm 配置详解 • Storm 批处理 • Storm TOPN • Storm 流程聚合 • Storm DRPC • Storm executor、worker、task之间的关系和调优 • Storm异常解决
简单的定时任务 .NETCore3.1 WorkerService windows服务 linunx服务程序
前端预览pdf pdf.js中代码文件pdf.worker.js,文件过大,可修改web/viewer.js中的workerSrc路径,改为对应版本地址
官方只给出了workerman和thinkphp的整合教程,但是没有和gateway的整合教程,网上的教程水平参差不齐,本人就曾写过一篇现在...index/controller/Events 中可以编写事件,可以完美使用thinkphp和gatewayWorker全部功能
前端开源库-web-worker-manager网络工人经理,工人经理
web worker 详解 web worker 详解 web worker 详解 web worker 详解