J*G
2 楼
现在就比较红,听说颜色会越来越深,是吗?
a*y
3 楼
各位大侠,
我理解kafka的producer是push log 到broker,如何能够保证producer不会
floodbroker?比如client有个bug,所有的user都不停的send log。理论上broker的处
理能力是有限的,即使使用system 的pagecache,如果无法处理实时送过来的log,是
否会有data loss,应该怎么避免呢?
多谢!
我理解kafka的producer是push log 到broker,如何能够保证producer不会
floodbroker?比如client有个bug,所有的user都不停的send log。理论上broker的处
理能力是有限的,即使使用system 的pagecache,如果无法处理实时送过来的log,是
否会有data loss,应该怎么避免呢?
多谢!
w*z
5 楼
如果是load 问题, 就scale, 加 broker, 这不是distributed system 的精髓? 如
果是 client bug, 你应该有必要 的 monitoring and alerting, 在把系统搞当之前应
该就被alert 了。
【在 a****y 的大作中提到】
: 各位大侠,
: 我理解kafka的producer是push log 到broker,如何能够保证producer不会
: floodbroker?比如client有个bug,所有的user都不停的send log。理论上broker的处
: 理能力是有限的,即使使用system 的pagecache,如果无法处理实时送过来的log,是
: 否会有data loss,应该怎么避免呢?
: 多谢!
果是 client bug, 你应该有必要 的 monitoring and alerting, 在把系统搞当之前应
该就被alert 了。
【在 a****y 的大作中提到】
: 各位大侠,
: 我理解kafka的producer是push log 到broker,如何能够保证producer不会
: floodbroker?比如client有个bug,所有的user都不停的send log。理论上broker的处
: 理能力是有限的,即使使用system 的pagecache,如果无法处理实时送过来的log,是
: 否会有data loss,应该怎么避免呢?
: 多谢!
g*e
6 楼
Have more partitions on your Kafka topic
Rate limit client and drop event
Rate limit client and drop event
相关阅读