博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Storm集群搭建
阅读量:5341 次
发布时间:2019-06-15

本文共 1799 字,大约阅读时间需要 5 分钟。

  (1)前期准备三台服务器,IP地址分别是172.31.19.222,172.31.19.223,172.31.19.224

  (2)zookeeper集群搭建:可以参考之前的博文 http://www.cnblogs.com/gdpuzxs/p/7126241.html

  (3)安装storm依赖库,执行 python -V ,如果显示如下,则系统已经安装,否则需要安装python。

    

  (4)下载并解压storm压缩包

tar -xzvf  apache-storm-0.9.5.tar.gz -C /usr/local

  (5)配置环境变量

vim /etc/profileexport STORM_HOME=/usr/local/stormPATH=$PATH:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$JRE_HOME/bin:$STORM_HOME/bin

  (6)修改storm.yaml配置文件

vim /usr/local/storm/conf/storm.yaml storm.zookeeper.servers:     - "172.31.19.222"     - "172.31.19.223"     - "172.31.19.224" nimbus.host: "172.31.19.222" storm.local.dir: "/usr/local/storm/data" ui.port: 18080 supervisor.slots.ports:    - 6700    - 6701    - 6702    - 6703
其中,(1)storm.zookeeper.servers:storm集群使用的zookeeper集群地址。     (2)nimbus.host:storm 集群nimbus的IP地址。     (3)storm.local.dir:Nimbus和Supervisor进程存储少量状态位置,需要提前建立data文件夹,如下:
mkdir -p /usr/local/storm/data

    (4)ui.port:设置storm ui 启动端口号

    (5)supervisor.slots.ports:对于每个Supervisor工作节点,需要配置该工作节点可以运行的worker数量。

      每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些端口是可被worker使用的。

      默认情况下,每个节点上可运行4个workers,分别在6700、6701、6702和6703端口。

  (7)启动storm

    (1)先启动三个节点的zookeeper集群

    (2)Nimbus: 在Storm主控节点上运行 "storm nimbus &" 启动Nimbus后台程序,并放到后台执行;

           启动后,目录 /usr/local/storm 会产生一个logs日志文件下,进入目录,可以使用 tail -f nimbus.log 查看启动是否成功。

    (3)Supervisor: 在Storm各个工作节点上运行" storm supervisor &"启动Supervisor后台程序,并放到后台执行;

            启动后,目录 /usr/local/storm 会产生一个logs日志文件下,进入目录,可以使用 tail -f  supervisor.log 查看启动是否成功。

    (4)UI: 在Storm主控节点上运行 "storm ui &" 启动UI后台程序,并放到后台执行;

            启动后可以通过http://172.31.19.222:18080/index.html 观察集群的worker资源使用情况、Topologies的运行状态等信息,

       界面如下:

   

   至此,storm集群已经搭建完成!

   参考地址:http://blog.csdn.net/wulantian/article/details/46894727

转载于:https://www.cnblogs.com/gdpuzxs/p/7423221.html

你可能感兴趣的文章
解决响应式布局下兼容性的问题
查看>>
京东静态网页练习记录
查看>>
使用DBCP连接池对连接进行管理
查看>>
【洛谷】【堆+模拟】P2278 操作系统
查看>>
hdu3307 欧拉函数
查看>>
Spring Bean InitializingBean和DisposableBean实例
查看>>
Solr4.8.0源码分析(5)之查询流程分析总述
查看>>
[Windows Server]安装系统显示“缺少计算机所需的介质驱动程序”解决方案
查看>>
[容斥][dp][快速幂] Jzoj P5862 孤独
查看>>
Lucene 学习之二:数值类型的索引和范围查询分析
查看>>
软件开发工作模型
查看>>
Java基础之字符串匹配大全
查看>>
面向对象
查看>>
lintcode83- Single Number II- midium
查看>>
移动端 响应式、自适应、适配 实现方法分析(和其他基础知识拓展)
查看>>
selenium-窗口切换
查看>>
使用vue的v-model自定义 checkbox组件
查看>>
[工具] Sublime Text 使用指南
查看>>
Hangfire在ASP.NET CORE中的简单实现方法
查看>>
Algorithm——何为算法?
查看>>