avatar
kafka的兼容性问题# Programming - 葵花宝典
f*y
1
今天被拉到校园里拍照,说是要用在学校网页上。
愿广大华人同行都心想事成!
avatar
n*2
2
【 以下文字转载自 NextGeneration 讨论区 】
发信人: njty1982 (御风行), 信区: NextGeneration
标 题: 爸妈11月18日东航上海飞纽约求同行
发信站: BBS 未名空间站 (Thu Oct 17 14:43:58 2013, 美东)
借人气问一下。我预产期12月下旬,爸妈11月18日从上海浦东机场坐东航的587航班飞
纽约,北京时间11:50am起飞,东部时间1:25pm抵达。想找同行的,会不会英语的都
行(当然最好会啦),起码路上有个伴儿,万一有什么突发情况也有个商量。。。
感兴趣的给我站内发信联系!谢谢。:)
avatar
c*g
3
你如果是吃软件这碗饭的,在你的职业生涯中一定会遭遇印度帮。如果这帮还是H1B直
接从印度招的,十有八九你会吃他们的亏。微软陆奇牛不牛?还不是被排挤出局?
任何一个IT公司你去看看都会惊奇于印度人的数量。这样大规模的占领没有猫腻就怪了
在美国读过研究生的老印还是OK的,最可恨就是H1B直接从印度签来的。他们大都是只
有很一般的学位,速成学习的编程。基本上是一个路子,没有什么创新或者水准可言,
就是大量的,没水平的代码。我见过某项目印度方面考评的标准就是数代码行数。这在
电脑业界就是笑话。所以使用印度外包服务的公司都会发现一段时间之后原来的系统越
来越慢,支持的费用越来越高。原以为会节省的开支没有节省,因为以往一个人的活,
要三个人来干了。而且他们来到美国马上就不便宜了。同时一个项目一旦落入印度人手
中,其他族裔有能力和他们竞争的都会陆续被他们排挤出局。
多少有希望的大小公司就这么被他们毁了。印度人除了占领现有企业,没有能力发明创
造。这也是为什么印度出不了阿里华为,而只能做外包。
印度绝对是IT业的毒瘤。
avatar
l*k
4
睡得饱饱的才起床
化个美美的妆,daily大地色放一旁
橙色眼影最明亮
在街边小店喝杯凉凉的frappuccino
公园里闻着花香,捧一本可看可不看的书,拨弄发梢,等他的来到。。。
阳光透过树叶,轻抚脸庞
时间刚刚好,与他携手追逐七彩阳光
P.S.谢谢iyiya MM提供图画:)
avatar
F*k
5
炒土豆片。。。
因为我说要那种糊糊的,不要醋溜的,结果。。。
avatar
s*k
6
卡夫卡什么都好,就是兼容太坑了,0.8和0.10兼容吗?0.8和1.0+呢?
avatar
m*1
7
good to know.
avatar
n*2
8
【 以下文字转载自 NextGeneration 讨论区 】
发信人: njty1982 (御风行), 信区: NextGeneration
标 题: 爸妈11月18日东航上海飞纽约求同行
发信站: BBS 未名空间站 (Thu Oct 17 14:43:58 2013, 美东)
借人气问一下。我预产期12月下旬,爸妈11月18日从上海浦东机场坐东航的587航班飞
纽约,北京时间11:50am起飞,东部时间1:25pm抵达。想找同行的,会不会英语的都
行(当然最好会啦),起码路上有个伴儿,万一有什么突发情况也有个商量。。。
感兴趣的给我站内发信联系!谢谢。:)
avatar
i*n
9
哇,好甜蜜

【在 l******k 的大作中提到】
: 睡得饱饱的才起床
: 化个美美的妆,daily大地色放一旁
: 橙色眼影最明亮
: 在街边小店喝杯凉凉的frappuccino
: 公园里闻着花香,捧一本可看可不看的书,拨弄发梢,等他的来到。。。
: 阳光透过树叶,轻抚脸庞
: 时间刚刚好,与他携手追逐七彩阳光
: P.S.谢谢iyiya MM提供图画:)

avatar
g*o
10
赞!!!!
avatar
d*n
11
sub版本可以落后,但是pub一定要比sub版本高。本质上是wire protocol变化造成的,
当然最近都没啥变化。

【在 s********k 的大作中提到】
: 卡夫卡什么都好,就是兼容太坑了,0.8和0.10兼容吗?0.8和1.0+呢?
avatar
v*y
12
恭喜

【在 f******y 的大作中提到】
: 今天被拉到校园里拍照,说是要用在学校网页上。
: 愿广大华人同行都心想事成!

avatar
n*2
13
顶一下!求同行
avatar
l*k
14
不是小资?
呵呵
我这些愿望比你的是不是要靠谱?

【在 i****n 的大作中提到】
: 哇,好甜蜜
avatar
F*k
15
哈哈,怎一个赞字了得啊!现在还在厨房奋斗呢,从下班到现在一口饭都还没吃,一直
在忙活,感动死了

【在 g*********o 的大作中提到】
: 赞!!!!
avatar
s*k
16
client和server的版本之间兼容也是很多问题,得去趟坑啊

【在 d****n 的大作中提到】
: sub版本可以落后,但是pub一定要比sub版本高。本质上是wire protocol变化造成的,
: 当然最近都没啥变化。

avatar
d*y
17
牛啊。多雇华人教授。
avatar
l*h
18
我觉得都可以实现,不难

【在 l******k 的大作中提到】
: 不是小资?
: 呵呵
: 我这些愿望比你的是不是要靠谱?

avatar
B*a
19
排包子

【在 F*********k 的大作中提到】
: 哈哈,怎一个赞字了得啊!现在还在厨房奋斗呢,从下班到现在一口饭都还没吃,一直
: 在忙活,感动死了

avatar
d*n
20
你就装上和pub一样的版本就可以了。

【在 s********k 的大作中提到】
: client和server的版本之间兼容也是很多问题,得去趟坑啊
avatar
s*y
21
牛啊!工资升了吧?这个是我最近最关心的事情。呵呵

【在 f******y 的大作中提到】
: 今天被拉到校园里拍照,说是要用在学校网页上。
: 愿广大华人同行都心想事成!

avatar
j*n
22
你们双鱼和白羊还征文么

【在 l******k 的大作中提到】
: 睡得饱饱的才起床
: 化个美美的妆,daily大地色放一旁
: 橙色眼影最明亮
: 在街边小店喝杯凉凉的frappuccino
: 公园里闻着花香,捧一本可看可不看的书,拨弄发梢,等他的来到。。。
: 阳光透过树叶,轻抚脸庞
: 时间刚刚好,与他携手追逐七彩阳光
: P.S.谢谢iyiya MM提供图画:)

avatar
g*e
23
还不赶紧传授经验

【在 B*******a 的大作中提到】
: 排包子
avatar
s*k
24
是啊,但是上下游很多不同的service不同部门,各自历史,用的版本都是不太一样,
虽说很多软件也有这样的问题,但是kafka太多version不能backward compatible实在
有点坑啊

【在 d****n 的大作中提到】
: 你就装上和pub一样的版本就可以了。
avatar
m*t
25
cong

【在 f******y 的大作中提到】
: 今天被拉到校园里拍照,说是要用在学校网页上。
: 愿广大华人同行都心想事成!

avatar
t*c
26
对呀,这个不是很容易实现么?
avatar
B*a
27
刚舵面前不敢班门弄斧。

【在 g***e 的大作中提到】
: 还不赶紧传授经验
avatar
f*2
28
为啥不用kinesis呢?便宜很多。


: sub版本可以落后,但是pub一定要比sub版本高。本质上是wire protocol变化造
成的,

: 当然最近都没啥变化。



【在 d****n 的大作中提到】
: 你就装上和pub一样的版本就可以了。
avatar
c*r
29
赞!

【在 f******y 的大作中提到】
: 今天被拉到校园里拍照,说是要用在学校网页上。
: 愿广大华人同行都心想事成!

avatar
a*y
30

我这两天正在想呢,橙色是不是最适合金牛座的呢~
avatar
g*e
31
你的经验新鲜,刚出炉,更好。

【在 B*******a 的大作中提到】
: 刚舵面前不敢班门弄斧。
avatar
n*p
32
这正是头疼的地方。如果topic有很多不同consumer,不同的team在用,同时upgrade很
不现实。

【在 d****n 的大作中提到】
: 你就装上和pub一样的版本就可以了。
avatar
b*d
33
恭喜!
avatar
t*c
34
水瓶是蓝色?

【在 a******y 的大作中提到】
: 赞
: 我这两天正在想呢,橙色是不是最适合金牛座的呢~

avatar
K*N
35
看着好好吃哦
avatar
n*p
36
Kinesis 怎么便宜? Kafka is free

【在 f******2 的大作中提到】
: 为啥不用kinesis呢?便宜很多。
:
:
: sub版本可以落后,但是pub一定要比sub版本高。本质上是wire protocol变化造
: 成的,
:
: 当然最近都没啥变化。
:

avatar
d*y
37
cong

【在 f******y 的大作中提到】
: 今天被拉到校园里拍照,说是要用在学校网页上。
: 愿广大华人同行都心想事成!

avatar
l*h
38
哈哈,牛是黄皮肤,水是蓝色。是这个逻辑么?

【在 t******c 的大作中提到】
: 水瓶是蓝色?
avatar
b*d
39
potato chips?haha
avatar
s*k
40
不是所有都在AWS上啊,有自己需要搭建的,有需要在其他cloud的

【在 f******2 的大作中提到】
: 为啥不用kinesis呢?便宜很多。
:
:
: sub版本可以落后,但是pub一定要比sub版本高。本质上是wire protocol变化造
: 成的,
:
: 当然最近都没啥变化。
:

avatar
l*d
41
牛,恭喜啊

【在 f******y 的大作中提到】
: 今天被拉到校园里拍照,说是要用在学校网页上。
: 愿广大华人同行都心想事成!

avatar
t*c
42
没有逻辑,好像以上两位MM分别喜欢这两种颜色。

【在 l**h 的大作中提到】
: 哈哈,牛是黄皮肤,水是蓝色。是这个逻辑么?
avatar
k*s
43
看图我以为是烤面包
avatar
d*n
44
事先定好upgrade path和support schedule,不发布就rate limit,再不行就block。
话说kafka不向后兼容的情况很少。
而且要管sub啥事情呢?这不是传输的内容而只是底层的东西。

【在 n***p 的大作中提到】
: 这正是头疼的地方。如果topic有很多不同consumer,不同的team在用,同时upgrade很
: 不现实。

avatar
L*s
45
牛!

【在 f******y 的大作中提到】
: 今天被拉到校园里拍照,说是要用在学校网页上。
: 愿广大华人同行都心想事成!

avatar
l*k
46
你们这些幸福的人儿呀~
我连第一句话里的愿望都好几年没有实现过。。。
avatar
L*A
47
我妹夫的烤土豆片太赞了!表扬.
avatar
n*w
48
kafka在aws上是不是只能搞个ec2?
avatar
s*g
49
恭喜恭喜
avatar
l*k
50
征,每个月,每天都有活动
随时欢迎参加

【在 j******n 的大作中提到】
: 你们双鱼和白羊还征文么
avatar
h*s
51
蛋炸土豆快?
avatar
d*n
52
AWS MSK

【在 n*w 的大作中提到】
: kafka在aws上是不是只能搞个ec2?
avatar
l*t
53
恭喜!也写一下经验分享?

【在 f******y 的大作中提到】
: 今天被拉到校园里拍照,说是要用在学校网页上。
: 愿广大华人同行都心想事成!

avatar
l*k
54
你这个古怪的脑袋,琢磨这个干嘛,哈哈
我以前在国内化妆师给我试过眼影,试出橙色系对我最合适
比较自恋的说,因为皮肤比较白又好,所以橙色最显气色:)

【在 a******y 的大作中提到】
: 赞
: 我这两天正在想呢,橙色是不是最适合金牛座的呢~

avatar
w*m
55
现在redis也有了stream,比kafka简单多了。
avatar
T*g
56
avatar
i*a
57
写的很好啊~~图片是某巴西插画家画的,呵呵。
赞小资~~赞优雅~~(*^__^*)

【在 l******k 的大作中提到】
: 睡得饱饱的才起床
: 化个美美的妆,daily大地色放一旁
: 橙色眼影最明亮
: 在街边小店喝杯凉凉的frappuccino
: 公园里闻着花香,捧一本可看可不看的书,拨弄发梢,等他的来到。。。
: 阳光透过树叶,轻抚脸庞
: 时间刚刚好,与他携手追逐七彩阳光
: P.S.谢谢iyiya MM提供图画:)

avatar
s*k
58
怎么用?但是redis全memory肯定贵得多把

【在 w********m 的大作中提到】
: 现在redis也有了stream,比kafka简单多了。
avatar
s*n
59
cong!!
avatar
l*k
60
再谢iyiya MM:)
这个巴西画家的风格都是这样吗?
求作者名字

【在 i***a 的大作中提到】
: 写的很好啊~~图片是某巴西插画家画的,呵呵。
: 赞小资~~赞优雅~~(*^__^*)

avatar
w*m
61
用message queue估计就是图个快。
卡夫卡一启动就耗1g内存,可以放好多message了。
redis加点内存。实在不行就上redis cluster吧。
卡夫卡太复杂了。redis就把它照抄了一遍。
以redis在后端的普及率,对卡夫卡是个威胁。

【在 s********k 的大作中提到】
: 怎么用?但是redis全memory肯定贵得多把
avatar
d*a
62
Big cong!
avatar
a*y
63
唉,被你一说我也觉得了。。我就是个外星人,唉
橙色好看,鲜明,明快,和你性格也很适合
还和蓝色互为补色哦 :)

【在 l******k 的大作中提到】
: 你这个古怪的脑袋,琢磨这个干嘛,哈哈
: 我以前在国内化妆师给我试过眼影,试出橙色系对我最合适
: 比较自恋的说,因为皮肤比较白又好,所以橙色最显气色:)

avatar
f*2
64
kafka对msg是有retention功能的,和redis的那种pubsub场景的queue不在一个范畴。
一家之言哈


: 用message queue估计就是图个快。

: 卡夫卡一启动就耗1g内存,可以放好多message了。

: redis加点内存。实在不行就上redis cluster吧。

: 卡夫卡太复杂了。redis就把它照抄了一遍。

: 以redis在后端的普及率,对卡夫卡是个威胁。



【在 w********m 的大作中提到】
: 用message queue估计就是图个快。
: 卡夫卡一启动就耗1g内存,可以放好多message了。
: redis加点内存。实在不行就上redis cluster吧。
: 卡夫卡太复杂了。redis就把它照抄了一遍。
: 以redis在后端的普及率,对卡夫卡是个威胁。

avatar
F*r
65
恭喜大牛!

【在 f******y 的大作中提到】
: 今天被拉到校园里拍照,说是要用在学校网页上。
: 愿广大华人同行都心想事成!

avatar
l*k
66
我说我们怎么这么投缘嘛:)
原来是互补呀
现在很忙,恨死!从来没时间跟你好好聊聊

【在 a******y 的大作中提到】
: 唉,被你一说我也觉得了。。我就是个外星人,唉
: 橙色好看,鲜明,明快,和你性格也很适合
: 还和蓝色互为补色哦 :)

avatar
n*p
67
Again, it's easy for you to say.
0.9和1.0 cluster的behavior都不一样。0.9 leader node如果server is up几乎不变。
1.0的leader node经常变动。0.9的sub code都必须动一个变量才能对付leader node变
动这种情况。这就是坑,所以楼主说得没错。

【在 d****n 的大作中提到】
: 事先定好upgrade path和support schedule,不发布就rate limit,再不行就block。
: 话说kafka不向后兼容的情况很少。
: 而且要管sub啥事情呢?这不是传输的内容而只是底层的东西。

avatar
b*h
68
恭喜,沾喜气,等包子!
avatar
i*a
69
这个风格基本是这样,名字记不清了。:)其它城市风格的还有一些。还有另外一种清
新风格的,不知道lily你喜欢吗~~?我最喜欢的,是韩国的echi。电脑上存了几百张,
随便给你贴3张呀~~:)
晚安~好梦甜甜~~下次来刷~~(*^__^*)

【在 l******k 的大作中提到】
: 再谢iyiya MM:)
: 这个巴西画家的风格都是这样吗?
: 求作者名字

avatar
n*p
70
的确,有retention能reset sub offset重新process是Kafka主要卖点。redis没有那功
能的话那就没什么可比性了

【在 f******2 的大作中提到】
: kafka对msg是有retention功能的,和redis的那种pubsub场景的queue不在一个范畴。
: 一家之言哈
:
:
: 用message queue估计就是图个快。
:
: 卡夫卡一启动就耗1g内存,可以放好多message了。
:
: redis加点内存。实在不行就上redis cluster吧。
:
: 卡夫卡太复杂了。redis就把它照抄了一遍。
:
: 以redis在后端的普及率,对卡夫卡是个威胁。
:

avatar
m*c
71
厉害! 恭喜恭喜! 不指望了,只能羡慕

【在 f******y 的大作中提到】
: 今天被拉到校园里拍照,说是要用在学校网页上。
: 愿广大华人同行都心想事成!

avatar
l*k
72
喜欢喜欢
很童真
雪叔又要笑我装萝莉了,哈哈

【在 i***a 的大作中提到】
: 这个风格基本是这样,名字记不清了。:)其它城市风格的还有一些。还有另外一种清
: 新风格的,不知道lily你喜欢吗~~?我最喜欢的,是韩国的echi。电脑上存了几百张,
: 随便给你贴3张呀~~:)
: 晚安~好梦甜甜~~下次来刷~~(*^__^*)

avatar
w*m
73
你说的是Redis 3出来的pub/sub吧。
这个是最新的Redis 5的streams,相当于卡夫卡的C实现。
跟卡夫卡的区别是一个用内存,一个用硬盘。相当于hadoop和spark的区别。

【在 f******2 的大作中提到】
: kafka对msg是有retention功能的,和redis的那种pubsub场景的queue不在一个范畴。
: 一家之言哈
:
:
: 用message queue估计就是图个快。
:
: 卡夫卡一启动就耗1g内存,可以放好多message了。
:
: redis加点内存。实在不行就上redis cluster吧。
:
: 卡夫卡太复杂了。redis就把它照抄了一遍。
:
: 以redis在后端的普及率,对卡夫卡是个威胁。
:

avatar
h*y
74
cong! 恭祝早日再拿一把椅子! :) kidding
avatar
c*e
75
太浪漫,感觉像是在法国巴黎的某个露天咖啡馆发生的事
要是能让我有一次这样的体验就不错了,哈哈

【在 l******k 的大作中提到】
: 睡得饱饱的才起床
: 化个美美的妆,daily大地色放一旁
: 橙色眼影最明亮
: 在街边小店喝杯凉凉的frappuccino
: 公园里闻着花香,捧一本可看可不看的书,拨弄发梢,等他的来到。。。
: 阳光透过树叶,轻抚脸庞
: 时间刚刚好,与他携手追逐七彩阳光
: P.S.谢谢iyiya MM提供图画:)

avatar
n*p
76
用内存server一同时当机data就没了

【在 w********m 的大作中提到】
: 你说的是Redis 3出来的pub/sub吧。
: 这个是最新的Redis 5的streams,相当于卡夫卡的C实现。
: 跟卡夫卡的区别是一个用内存,一个用硬盘。相当于hadoop和spark的区别。

avatar
r*e
77
cong

【在 f******y 的大作中提到】
: 今天被拉到校园里拍照,说是要用在学校网页上。
: 愿广大华人同行都心想事成!

avatar
l*k
78
:)
看到伊伊妹发的第一张图我就有这种感觉了
明快,时尚,和休闲
忙里偷闲有这样一天多好

【在 c**********e 的大作中提到】
: 太浪漫,感觉像是在法国巴黎的某个露天咖啡馆发生的事
: 要是能让我有一次这样的体验就不错了,哈哈

avatar
w*m
79
Redis其实也有persistence,选AOF的话重启有可能丢一点数据。
不过,再快的硬盘也比内存慢十倍,需要速度的话用redis不错。

【在 n***p 的大作中提到】
: 用内存server一同时当机data就没了
avatar
n*l
80
祝贺! 改天我自己买把椅子去!

【在 f******y 的大作中提到】
: 今天被拉到校园里拍照,说是要用在学校网页上。
: 愿广大华人同行都心想事成!

avatar
c*e
81
恩,我觉得重要的是那种心态,怡然自得,非常难得

【在 l******k 的大作中提到】
: :)
: 看到伊伊妹发的第一张图我就有这种感觉了
: 明快,时尚,和休闲
: 忙里偷闲有这样一天多好

avatar
s*k
82
是啊,关键是0.8和0.9,0.9和1.0都有兼容问题,有些事参数设置,有些事client
server的不同behavior,有些事message format,有些事package,防不胜防啊

变。

【在 n***p 的大作中提到】
: Again, it's easy for you to say.
: 0.9和1.0 cluster的behavior都不一样。0.9 leader node如果server is up几乎不变。
: 1.0的leader node经常变动。0.9的sub code都必须动一个变量才能对付leader node变
: 动这种情况。这就是坑,所以楼主说得没错。

avatar
u*y
83
恭喜!
avatar
l*k
84
你是说我的心态
还是图片表达出来的意境?

【在 c**********e 的大作中提到】
: 恩,我觉得重要的是那种心态,怡然自得,非常难得
avatar
s*k
85
redis如果用AOF做persistence会不会出现AOF的log太大的问题?如果选用RDB好像又不
能实时update,其实要是redis引入kafka的log compaction在AOF log里面倒是不错,
就不用记下那么多的log了

【在 w********m 的大作中提到】
: Redis其实也有persistence,选AOF的话重启有可能丢一点数据。
: 不过,再快的硬盘也比内存慢十倍,需要速度的话用redis不错。

avatar
O*r
86
祝贺!!顺便看了看楼主以前的帖子,太励志啦!

【在 f******y 的大作中提到】
: 今天被拉到校园里拍照,说是要用在学校网页上。
: 愿广大华人同行都心想事成!

avatar
w*m
87
要选high availability的话,还是master/slave或者partition吧。
redis有sentinel还有cluster,方案比较成熟。

【在 s********k 的大作中提到】
: redis如果用AOF做persistence会不会出现AOF的log太大的问题?如果选用RDB好像又不
: 能实时update,其实要是redis引入kafka的log compaction在AOF log里面倒是不错,
: 就不用记下那么多的log了

相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。