博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Strom(三)-Strom的特性
阅读量:6906 次
发布时间:2019-06-27

本文共 1101 字,大约阅读时间需要 3 分钟。

hot3.png

一、storm的可靠性

storm保证从spout发出的每个tuple都会被完全处理 即可靠性

Acker工作流程

1 Spout 创建一个新的Tuple时候,会发射一个消息通知acker去跟踪;

    collector.emit( new Values("value1" , "value2") , msgId );

2 Bolt 在处理Tuple成功或者失败,也会发送一个消息通知Acker

     collector.emit( tuple, new Values( word));

 3 Acker会找到发射该TupleSpout,回调其Ack fail方法

103428_m5dG_1259702.png

发射tuple的时候spout会提供一个message-id, 后面我们通过这个message-id来追踪这个tuple。

IBasicBolt类会自动调用ack/fail方法,而IRichBolt则需要我们手动调用ack/fail方法。

三种方法可以去掉可靠性

第一是把Config.TOPOLOGY_ACKERS 设置成 0. 在这种情况下,storm会在spout发射一个tuple之后马上调用spoutack方法。也就是说这个tuple树不会被跟踪。

第二个方法是在tuple层面去掉可靠性。 你可以在发射tuple的时候不指定messageid来达到不跟粽某个特定的spout tuple的目的。

最后一个方法是如果你对于一个tuple树里面的某一部分到底成不成功不是很关心,那么可以在发射这些tuple的时候unanchor它们。 这样这些tuple就不在tuple树里面, 也就不会被跟踪了。

6. 快速的消息处理

用ZeroMQ作为底层消息队列, 保证消息能快速被处理

支持水平扩展

在Storm集群中真正运行topology的主要有三个实体:工作进程、线程和任务。Storm集群中的每台机器上都可以运行多个工作进程,每个工作进程又可创建多个线程,每个线程可以执行多个任务,任务是真正进行数据处理的实体,我们开发的spout、bolt就是作为一个或者多个任务的方式执行的。

因此,计算任务在多个线程、进程和服务器之间并行进行,支持灵活的水平扩展。

4. 容错性强

如果在消息处理过程中出了一些异常,Storm会重新安排这个出问题的处理单元。Storm保证一个处理单元永远运行(除非你显式杀掉这个处理单元)。

5. 可靠的消息保证

Storm可以保证spout发出的每条消息都能被“完全处理”,这也是直接区别于其他实时系统的地方,

转载于:https://my.oschina.net/u/1259702/blog/631970

你可能感兴趣的文章
z-index
查看>>
Oracle表空间满处理方式
查看>>
js时间戳转化为日期格式,日期格式转化为时间戳
查看>>
android起源
查看>>
linux 标准输出和后台运行
查看>>
this
查看>>
nginx.conf
查看>>
python 基础复习 09 之基础函数
查看>>
jQuery返回顶层与返回底部
查看>>
/Date(1410019200000+0800)/如何转换为date对象
查看>>
1.1 Python 安装
查看>>
英特尔2011年IDF四月在京召开
查看>>
基于数组的无锁队列(译)
查看>>
【7】解决:移动端点击a链接出现蓝色边框
查看>>
自动化测试和手工测试
查看>>
final、finally和finalize的区别
查看>>
SQL Server 日常维护--查询当前正在执行的语句、死锁、堵塞
查看>>
SQL Server的三种物理连接之Merge join(二)
查看>>
Linux 文件名颜色
查看>>
wget命令 -c断点续传
查看>>