Spark Streaming中RateController是什么

本篇内容主要讲解“Spark Streaming中RateController是什么”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“Spark Streaming中RateController是什么”吧!

Spark Streaming中采用的模型如下，基本思想是按照100ms的批次发送数据给Controller，刚开始Controller直接转给JobGenerator，JobGenerator在生成Job，交给JobProcessor来处理，JobProcessor将job统计信息发送给Controller，Controller接收到统计信息，会动态改变Batch Size来给Job发送数据。

RateController的子类有ReceiverRateController、DirectKafkaRateController。

ReceiverRateController会向receiverTracker发送UpdateReceiverRateLimit消息。

    ReceiverTracker接收到UpdateReceiverRateLimit消息后，向ReceiverSupervisorImpl转发UpdateRateLimit消息。

    ReceiverSupervisorImpl接收到UpdateRateLimit消息后，调用BlockGenerator的updateRate方法，来控制数据的接收速度。

    BlockGenerator继承自RateLimiter。

到此，相信大家对“Spark Streaming中RateController是什么”有了更深的了解，不妨来实际操作一番吧！这里是蜗牛博客网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：niceseo99@gmail.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。