博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
STORM_0002_在做好的zookeeper集群上搭建storm的开发环境
阅读量:5989 次
发布时间:2019-06-20

本文共 4201 字,大约阅读时间需要 14 分钟。

参考文献

http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html
按照这个文献安装相应的支持软件

参考文献

http://blog.csdn.net/u011362822/article/details/42463695
提醒我一个关于zeromq的./configure时候的错误

参考文献

http://uohzoaix.github.io/studies/2014/04/15/stormCluster/
提醒我两个关于jzmq安装时候的错误处理

在~/.bashrc中配置

#storm
export STORM_HOME="/home/jason/StormProcessing/apache-storm-1.0.1"
export PATH=$STORM_HOME/bin:$PATH

在storm的配置文件中这样去配置

storm.zookeeper.servers:     - "192.168.60.129"     - "192.168.60.132"     - "192.168.60.133" storm.local.dir: "/home/jason/StormProcessing/apache-storm-1.0.1/workdir" nimbus.host: "192.168.60.129" supervisor.slots.ports:     - 6700    - 6701    - 6702    - 6703

这个配置文件的格式的要求比较严格要小心

 

在其中的一个节点运行下面的命令,让这个节点成为nimbus:

Nimbus: 在Storm主控节点上运行"bin/storm nimbus >/dev/null 2>&1 &"启动Nimbus后台程序,并放到后台执行;

在其他的节点运行下面的命令,成为supervisor:

Supervisor: 在Storm各个工作节点上运行"bin/storm supervisor >/dev/null 2>&1 &"启动Supervisor后台程序,并放到后台执行;

在nimbus运行下面的命令去看ui监控的情况:

UI: 在Storm主控节点上运行"bin/storm ui >/dev/null 2>&1 &"启动UI后台程序,并放到后台执行,启动后可以通过http://{nimbus host}:8080观察集群的worker资源使用情况、Topologies的运行状态等信息。

[小总结]    bin/storm nimbus >/dev/null 2>&1 &    bin/storm ui >/dev/null 2>&1 &    bin/storm supervisor >/dev/null 2>&1 &    storm/bin/storm logviewer >/dev/null 2>&1 &

 

https://192.168.60.129:8080/

发现没什么东西

 

事实上我的后台程序,没运行就出错退出了。

为了看到出错的问题
我不再用后台运行了

jason@ubuntu:~/StormProcessing/apache-storm-1.0.1/bin$ storm nimbusTraceback (most recent call last):  File "/home/jason/StormProcessing/apache-storm-1.0.1/bin/storm.py", line 766, in 
main() File "/home/jason/StormProcessing/apache-storm-1.0.1/bin/storm.py", line 763, in main (COMMANDS.get(COMMAND, unknown_command))(*ARGS) File "/home/jason/StormProcessing/apache-storm-1.0.1/bin/storm.py", line 526, in nimbus jvmopts = parse_args(confvalue("nimbus.childopts", cppaths)) + [ File "/home/jason/StormProcessing/apache-storm-1.0.1/bin/storm.py", line 144, in confvalue p = sub.Popen(command, stdout=sub.PIPE) File "/usr/lib/python2.7/subprocess.py", line 710, in __init__ errread, errwrite) File "/usr/lib/python2.7/subprocess.py", line 1327, in _execute_child raise child_exceptionOSError: [Errno 8] Exec format error File "/home/jason/StormProcessing/apache-storm-1.0.1/bin/storm.py", line 766, in
main() File "/home/jason/StormProcessing/apache-storm-1.0.1/bin/storm.py", line 763, in main (COMMANDS.get(COMMAND, unknown_command))(*ARGS) File "/home/jason/StormProcessing/apache-storm-1.0.1/bin/storm.py", line 569, in supervisor jvmopts = parse_args(confvalue("supervisor.childopts", cppaths)) + [ File "/home/jason/StormProcessing/apache-storm-1.0.1/bin/storm.py", line 144, in confvalue p = sub.Popen(command, stdout=sub.PIPE) File "/usr/lib/python2.7/subprocess.py", line 710, in __init__ errread, errwrite) File "/usr/lib/python2.7/subprocess.py", line 1327, in _execute_child raise child_exception

可以看到仿佛是权限或者是python的问题

 

那么关闭ubuntu的防火墙
ufw disable
ufw enable//重新开启防火墙

 

因为我没安装python本身自己带python

所以配置一下就行了
#python
export PYTHON_HOME="/usr/lib/python2.7"
export PATH=$PYTHON_HOME:$PATH

 

但是还是出现很多的错误根本运行不起来

而且发现虽然这些需要的脚本都在$PATH路径下
但是用sudo执行的时候还是找不到命令
有时候zookeeper根本启动不起来

 

所以每次运行比如

sudo ./zkServer.sh start
sudo ./zkServer.sh status
sudo ./storm nimbus
sudo ./storm supervisor
的时候都需要跑到相应的bin路径下才可以

 

无奈没法运行就全部重启,然后就可以看到亲爱的UI界面了

 

启动拓扑

storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3
allmycode.jar是包含Topology实现代码的jar包
org.me.MyTopology的main方法是Topology的入口
arg1、arg2和arg3为org.me.MyTopology执行时需要传入的参数
停止拓扑
storm kill {toponame}
其中,{toponame}为Topology提交到Storm集群时指定的Topology任务名称。

 

为了真实的看到效果

参考文献
http://blog.csdn.net/loloxiaoz3/article/details/19294289
按照上面的方法,下载一个例子程序
使用maven编译storm_starter源码
下载:git clone https://github.com/nathanmarz/storm-starter.git
编译:sudo mvn -f m2-pom.xml compile
打包:sudo mvn -f m2-pom.xml package
删除:sudo mvn -f m2-pom.xml clean
mvn -f 表示强制使用 m2-pom来编译

但是mvn下载的Jar包比较慢,到现在还没看到结束的迹象,估计今天看不到UI了。

向storm集群提交storm_starter中的example
提交topology:
sudo storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology WordCount
终止topology:
storm kill WordCount

 

转载于:https://www.cnblogs.com/kongchung/p/5528216.html

你可能感兴趣的文章
【火炉炼AI】机器学习047-图像的直方图均衡化操作
查看>>
前端进阶课程之声明提升
查看>>
树和二叉树简介
查看>>
左手读红楼梦,右手写 BUG,闲快活
查看>>
Python猫荐书系列之五:Python高性能编程
查看>>
CSS原理解析之模型篇
查看>>
如何在自定义 Tool Bar 和 Tab Bar 之间切换显示
查看>>
云技术平台赋能媒体融合发展创新
查看>>
流量和广告
查看>>
JavaScript EventEmitter
查看>>
Python 从入门到入门基础练习十五题
查看>>
Redux源码分析--中间件篇
查看>>
Java 基础(十)字节流
查看>>
回首2018,展望2019 | 掘金年度征文
查看>>
JavaScript数组小方法
查看>>
Java&Android 基础知识梳理(1) 注解
查看>>
2018,很多APP的logo渐变了 -- 渐变色教程
查看>>
Flutter中的3D透视效果
查看>>
5月,请对开发者好一点。
查看>>
阿里云上Kubernetes集群联邦
查看>>