一、storm的可靠性
storm保证从spout发出的每个tuple都会被完全处理 即可靠性
Acker工作流程
1 Spout 创建一个新的Tuple时候,会发射一个消息通知acker去跟踪;
collector.emit( new Values("value1" , "value2") , msgId );
2 Bolt 在处理Tuple成功或者失败,也会发送一个消息通知Acker
collector.emit( tuple, new Values( word));
3 Acker会找到发射该Tuple的Spout,回调其Ack ,fail方法
发射tuple的时候spout会提供一个message-id, 后面我们通过这个message-id来追踪这个tuple。
IBasicBolt类会自动调用ack/fail方法,而IRichBolt则需要我们手动调用ack/fail方法。
三种方法可以去掉可靠性
第一是把Config.TOPOLOGY_ACKERS 设置成 0. 在这种情况下,storm会在spout发射一个tuple之后马上调用spout的ack方法。也就是说这个tuple树不会被跟踪。
第二个方法是在tuple层面去掉可靠性。 你可以在发射tuple的时候不指定messageid来达到不跟粽某个特定的spout tuple的目的。
最后一个方法是如果你对于一个tuple树里面的某一部分到底成不成功不是很关心,那么可以在发射这些tuple的时候unanchor它们。 这样这些tuple就不在tuple树里面, 也就不会被跟踪了。
6. 快速的消息处理
用ZeroMQ作为底层消息队列, 保证消息能快速被处理
支持水平扩展
在Storm集群中真正运行topology的主要有三个实体:工作进程、线程和任务。Storm集群中的每台机器上都可以运行多个工作进程,每个工作进程又可创建多个线程,每个线程可以执行多个任务,任务是真正进行数据处理的实体,我们开发的spout、bolt就是作为一个或者多个任务的方式执行的。
因此,计算任务在多个线程、进程和服务器之间并行进行,支持灵活的水平扩展。
4. 容错性强
如果在消息处理过程中出了一些异常,Storm会重新安排这个出问题的处理单元。Storm保证一个处理单元永远运行(除非你显式杀掉这个处理单元)。
5. 可靠的消息保证
Storm可以保证spout发出的每条消息都能被“完全处理”,这也是直接区别于其他实时系统的地方,