比尔云BierYun--阿里云最新优惠活动
阿里云优惠码丨阿里云代金券

Samza框架—–学习笔记

Samza框架—–学习笔记http://www.bieryun.com/2453.html

基本概念:

作业:是对一组输入流进行处理转化成输出流的程序。

分区:

Samza的流数据单位既不是Storm中的元组,也不是Spark Streaming中的DStream,而是一条条消息;

Samza中的每个流都被分割成一个或多个分区,对于流里的每一个分区而言,都是一个有序的消息序列,后续到达的消息会根据一定规则被追加到其中一个分区里;

任务:

一个作业会被进一步分割成多个任务(Task)来执行,其中,每个任务负责处理作业中的一个分区

分区之间没有定义顺序,从而允许每一个任务独立执行

YARN调度器负责把任务分发给各个机器,最终,一个工作中的多个任务会被分发到多个机器进行分布式并行处理

数据流图:

一个数据流图是由多个作业构成的,其中,图中的每个节点表示包含数据的流,每条边表示数据传输
多个作业串联起来就完成了流式的数据处理流程

由于采用了异步的消息订阅分发机制,不同任务之间可以独立运行

Samza系统架构主要包括:

处理分析过程:

1.Samza客户端需要执行一个Samza作业时,它会向YARN的ResouceManager提交作业请求
2.ResouceManager通过与NodeManager沟通为该作业分配容器(包含了CPU、内存等资源)来运行Samza ApplicationMaster
3.Samza ApplicationMaster进一步向ResourceManager申请运行任务的容器
4.获得容器后,Samza ApplicationMaster与容器所在的NodeManager沟通,启动该容器,并在其中运行Samza Task Runner

5.Samza Task Runner负责执行具体的Samza任务,完成流数据处理分析;

Storm、Spark Streaming和Samza的应用场景:

从编程的灵活性来讲,Storm是比较理想的选择,它使用Apache Thrift,可以用任何编程语言来编写拓扑结构(Topology)
当需要在一个集群中把流计算和图计算、机器学习、SQL查询分析等进行结合时,可以选择Spark Streaming,因为,在Spark上可以统一部署Spark SQL,Spark Streaming、MLlib,GraphX等组件,提供便捷的一体化编程模型
当有大量的状态需要处理时,比如每个分区都有数十亿个元组,则可以选择Samza。当应用场景需要毫秒级响应时,可以选择Storm和Samza,因为Spark Streaming无法实现毫秒级的流计算;

未经允许不得转载:比尔云 » Samza框架—–学习笔记
分享到: 更多 (0)

相关推荐

  • 暂无文章

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

强烈推荐

高性能SSD云服务器ECS抗攻击,高可用云数据库RDS