Redian新闻
>
spark就是因为吃饱了要做rdd成immutable导致了无法实现真正意义上的stream processing吧?
avatar
spark就是因为吃饱了要做rdd成immutable导致了无法实现真正意义上的stream processing吧?# Programming - 葵花宝典
k*k
1
这是个传统的东北菜。今天跟 VCD 上学来的。
葱姜用热水泡几分钟成葱姜水。里脊肉片 1cm 大厚片,两面十字花刀切一下,增加嫩
肉效果。然后改成 1 cm 宽的肉条。加适量葱姜水,盐,鸡精,酱油,料酒,麻油,白
胡椒粉抓匀备用。鸡蛋两个打匀,加三大勺生粉,拌匀成糊。将蛋糊倒入肉条,抓匀。
起油锅,倒入足够量的油,烧到五成热(电炉大概 medium high 的位置),肉条一条
一条的下去。炸到肉条发白捞出。所有肉条都炸好以后把油温升高到八九成热(电炉
high 的位置),所有肉条一起下去略炸出锅装盘。
肉条松软可口,外焦里嫩。
avatar
C*a
2
一个半小时转机,如果不找人一起,会不会有什么问题?
请过来人,给个意见和建议?
先谢了。
avatar
r*d
3
问:现在有些“高僧大德”,经常说自己是某某佛菩萨的化身,可看到别人的前世后世
,能否以此来判断此人是假冒的大德?
答:我觉得他应该是个大德!因为大德才敢说自己的成就。
问:可是在密宗戒律里,不是规定不能随便说自己的境界吗?
答:自己有的话,应该可以说。开玩笑!
不管是藏传佛教、汉传佛教,一个人若在直接宣扬“我是某某大德的转世,与天人鬼神
等经常交流”,这种行为在佛教中不太赞叹。不但不赞叹,而且真正有法相的上师,据
我所知,不会宣扬自己的成就如何。因为真正的大德用不着自我宣扬,别人通过他的清
净戒律、超越智慧等,也能推知他的不凡。相反,假如一个人到处宣扬自己是某某的化
身,这个人可能有一些问题。
但有些信众比较愚笨,具有法相的大德不欢迎,成天围着那些自我吹嘘的人转。包括国
外,这种现象也特别多。前段时间,有位修行人说:“除了释迦牟尼佛没有转世以外,
其他的大菩萨、大成就者,如莲花生大师二十五大弟子、玛尔巴、米拉日巴等,都已经
出现了,新活佛都找不到自己的‘前世'了。”这种说法比较讽刺,但确实令人值得深
思。
实际上,真正的大成就者不太宣扬这些,如观音上师、噶玛巴、法王如意宝,根本不承
avatar
z*e
4
这么做是不是因为依赖了akka的缘故?
immutable真是一个十分无聊的设计
对这个feature实在是无爱
flink只要能改掉这个设计,俺们就换flink
要不然一下storm一下spark的,有些蛋疼
avatar
H*o
5
香啊。
好像很久没看见猫猫头了。
avatar
i*g
6
事先查好机场地图,大体了解下可能在哪个登机口(国际航班一般登机口比较固定的那么
几个),对于中转时怎么走心里有数.尤其要换terminal的一定要事先查好哪坐,坐几站
还有反复提醒别忘了交I-94
avatar
p*2
7
这个应该是一点关系也没有

【在 z****e 的大作中提到】
: 这么做是不是因为依赖了akka的缘故?
: immutable真是一个十分无聊的设计
: 对这个feature实在是无爱
: flink只要能改掉这个设计,俺们就换flink
: 要不然一下storm一下spark的,有些蛋疼

avatar
x*u
8
赞一条一条下去。

【在 k*k 的大作中提到】
: 这是个传统的东北菜。今天跟 VCD 上学来的。
: 葱姜用热水泡几分钟成葱姜水。里脊肉片 1cm 大厚片,两面十字花刀切一下,增加嫩
: 肉效果。然后改成 1 cm 宽的肉条。加适量葱姜水,盐,鸡精,酱油,料酒,麻油,白
: 胡椒粉抓匀备用。鸡蛋两个打匀,加三大勺生粉,拌匀成糊。将蛋糊倒入肉条,抓匀。
: 起油锅,倒入足够量的油,烧到五成热(电炉大概 medium high 的位置),肉条一条
: 一条的下去。炸到肉条发白捞出。所有肉条都炸好以后把油温升高到八九成热(电炉
: high 的位置),所有肉条一起下去略炸出锅装盘。
: 肉条松软可口,外焦里嫩。

avatar
C*a
9
谢谢。
I-94很重要,多谢提醒。
我刚打电话给航空公司,CSP建议用轮椅服务,说是虽是轮椅,倒是可以不要轮椅,这
样就有人领路了。不知道那个CSP对不对?

【在 i****g 的大作中提到】
: 事先查好机场地图,大体了解下可能在哪个登机口(国际航班一般登机口比较固定的那么
: 几个),对于中转时怎么走心里有数.尤其要换terminal的一定要事先查好哪坐,坐几站
: 还有反复提醒别忘了交I-94

avatar
z*e
10
那把spark绑死在batch processing上是什么考虑?

【在 p*****2 的大作中提到】
: 这个应该是一点关系也没有
avatar
l*2
11
不错。这个我管它叫椒盐里脊。大红,青辣椒切粒洒上去颜色更漂亮了。
非常好吃。
avatar
w*g
13
不是batch的做不出来。要能做出来干嘛要batch。BLAS的性能要发挥出来矩阵得足够大
才行。

【在 z****e 的大作中提到】
: 那把spark绑死在batch processing上是什么考虑?
avatar
R*s
14
赞!
avatar
n*3
16
我猜是因为要 尽量reuse 现有的 code base,
大多 user case spa RK steaming 够用的。
瓶颈应该不在这。
IM MU table 在 concurrency 方面 优势还是很大的。clojure same approach

【在 z****e 的大作中提到】
: 那把spark绑死在batch processing上是什么考虑?
avatar
k*k
17
ah,是好久没来了,你是。。。?

【在 H***o 的大作中提到】
: 香啊。
: 好像很久没看见猫猫头了。

avatar
i*n
18
胡扯

【在 C*********a 的大作中提到】
: 谢谢。
: 我有一些update, 等有空给大家分享一下。

avatar
z*e
19
这说的是dataset吧
streaming不就是为了能够real time process而消耗一部分性能么?
硬件开销和响应时间本来就是一个trade off
micro batch最大问题是不能即时反应
目前比较理想的方案就是kafka+storm
spark因为固定在batch上,所以不太行的样子
这一块好新啊,感觉在摸着石头过河,有谁是做streaming的?
古德霸他们弄视频的是不是用这个比较多?

【在 w***g 的大作中提到】
: 不是batch的做不出来。要能做出来干嘛要batch。BLAS的性能要发挥出来矩阵得足够大
: 才行。

avatar
E*A
20
蘸辣酱肯定很好吃
avatar
C*a
21
我非常担心她是胡扯,所以再三盯着她说是否确定。人家说,这就是这些服务存在的原
因。我晕啊。细想,如果飞机上所有老年人都用这个服务,那航空公司的成本得多大!!
保险起见,还是自己把功课做足.

【在 i*n 的大作中提到】
: 胡扯
avatar
z*e
22
我感觉是rdd这种数据结构限制了他们的发挥
dstream最终还是捆死在rdd上,也就是dstream是rdd的一种
而rdd比较适合dataset,并不十分适合datastream
而spark的基石就是rdd,算法是ml那些,但是数据结构基本上都是rdd
而rdd是为dataset也就是batch处理而设计出来的
为了迁就dataset,硬把datastream的数据结构搞成rdd
这看来不是一个什么很好的选择
当然对于大多数应用来说,micro batch够用
但是总感觉怪怪的,any way,如果flink改掉这个的话
能够结合spark和storm的优点的话,我觉得蛮好
值得一试,比起自己去折腾storm+spark要强
这两个光弄其中一个就已经够呛了

【在 n*****3 的大作中提到】
: 我猜是因为要 尽量reuse 现有的 code base,
: 大多 user case spa RK steaming 够用的。
: 瓶颈应该不在这。
: IM MU table 在 concurrency 方面 优势还是很大的。clojure same approach

avatar
c*h
23
软炸里脊蘸辣酱,倒是新鲜。
一般都是蘸椒盐。

【在 E*A 的大作中提到】
: 蘸辣酱肯定很好吃
avatar
z*e
24
rdd最后一个d就是dataset的意思
datastream跟dataset还是有本质上的区别的
dstream->rdd并不是一个非常make sense的解决方案
还有这两个都用了akka,所以目前python什么其实都比较蛋疼
最主要的还是java和scala,要么就自己去写python那些接口
那就麻烦了,估计flink也不是个头,将来基于vert.x应该会有更好的
能够满足更多脚本的类似spark/flink的数据转换framework出现
avatar
l*e
25
啊。。。猫猫头上菜了!
我昨天去别人家蹭饭,ms也吃到了这个。
话说我回国下馆子就爱点软炸里脊和锅宝肉,受到国内亲朋的一致鄙视。

【在 k*k 的大作中提到】
: 这是个传统的东北菜。今天跟 VCD 上学来的。
: 葱姜用热水泡几分钟成葱姜水。里脊肉片 1cm 大厚片,两面十字花刀切一下,增加嫩
: 肉效果。然后改成 1 cm 宽的肉条。加适量葱姜水,盐,鸡精,酱油,料酒,麻油,白
: 胡椒粉抓匀备用。鸡蛋两个打匀,加三大勺生粉,拌匀成糊。将蛋糊倒入肉条,抓匀。
: 起油锅,倒入足够量的油,烧到五成热(电炉大概 medium high 的位置),肉条一条
: 一条的下去。炸到肉条发白捞出。所有肉条都炸好以后把油温升高到八九成热(电炉
: high 的位置),所有肉条一起下去略炸出锅装盘。
: 肉条松软可口,外焦里嫩。

avatar
z*e
26
看了下flink
streaming部分的数据结构就是DataStream
不是dataset,这个貌似不错的样子
然后batch的部分数据结构是DataSet
这两个分开比较好,目前streaming部分flink只支持java和scala
dataset两个都有python api
底层都用了akka
然后后面就是map, flatmap, reduce, filter这些
avatar
p*e
27
锅宝肉是什么样的?

【在 l******e 的大作中提到】
: 啊。。。猫猫头上菜了!
: 我昨天去别人家蹭饭,ms也吃到了这个。
: 话说我回国下馆子就爱点软炸里脊和锅宝肉,受到国内亲朋的一致鄙视。

avatar
l*e
29
写错了,是锅包肉。。:(

【在 p*****e 的大作中提到】
: 锅宝肉是什么样的?
avatar
d*e
30
不是有pyhton for j嘛
一点都不蛋疼

【在 z****e 的大作中提到】
: rdd最后一个d就是dataset的意思
: datastream跟dataset还是有本质上的区别的
: dstream->rdd并不是一个非常make sense的解决方案
: 还有这两个都用了akka,所以目前python什么其实都比较蛋疼
: 最主要的还是java和scala,要么就自己去写python那些接口
: 那就麻烦了,估计flink也不是个头,将来基于vert.x应该会有更好的
: 能够满足更多脚本的类似spark/flink的数据转换framework出现

avatar
j*e
31
晕,这个也被c了。。。

【在 l******e 的大作中提到】
: 啊。。。猫猫头上菜了!
: 我昨天去别人家蹭饭,ms也吃到了这个。
: 话说我回国下馆子就爱点软炸里脊和锅宝肉,受到国内亲朋的一致鄙视。

avatar
g*g
32
Lambda architecture

【在 z****e 的大作中提到】
: 这说的是dataset吧
: streaming不就是为了能够real time process而消耗一部分性能么?
: 硬件开销和响应时间本来就是一个trade off
: micro batch最大问题是不能即时反应
: 目前比较理想的方案就是kafka+storm
: spark因为固定在batch上,所以不太行的样子
: 这一块好新啊,感觉在摸着石头过河,有谁是做streaming的?
: 古德霸他们弄视频的是不是用这个比较多?

avatar
l*e
33
什么叫“被c了”啊?不懂。。。。

【在 j****e 的大作中提到】
: 晕,这个也被c了。。。
avatar
f*x
34
解铃还需系铃人:
http://cloud.google.com/dataflow/

【在 z****e 的大作中提到】
: 这么做是不是因为依赖了akka的缘故?
: immutable真是一个十分无聊的设计
: 对这个feature实在是无爱
: flink只要能改掉这个设计,俺们就换flink
: 要不然一下storm一下spark的,有些蛋疼

avatar
F*w
35
对国内屏蔽。

【在 l******e 的大作中提到】
: 什么叫“被c了”啊?不懂。。。。
avatar
z*e
36
不开源,会被lockin在gce上
算了吧,这种lockin一般都不怎么用,除非对这个平台特别有信心

【在 f********x 的大作中提到】
: 解铃还需系铃人:
: http://cloud.google.com/dataflow/

avatar
e*e
37
哈哈

【在 x****u 的大作中提到】
: 赞一条一条下去。
avatar
j*x
38
还好吧
反正依赖google不算大问题
这个内部外部都在用
除非google死了
这个才会完蛋
能活过google的早已经是成功了反正

【在 z****e 的大作中提到】
: 不开源,会被lockin在gce上
: 算了吧,这种lockin一般都不怎么用,除非对这个平台特别有信心

avatar
e*e
39
赞!

【在 k*k 的大作中提到】
: 这是个传统的东北菜。今天跟 VCD 上学来的。
: 葱姜用热水泡几分钟成葱姜水。里脊肉片 1cm 大厚片,两面十字花刀切一下,增加嫩
: 肉效果。然后改成 1 cm 宽的肉条。加适量葱姜水,盐,鸡精,酱油,料酒,麻油,白
: 胡椒粉抓匀备用。鸡蛋两个打匀,加三大勺生粉,拌匀成糊。将蛋糊倒入肉条,抓匀。
: 起油锅,倒入足够量的油,烧到五成热(电炉大概 medium high 的位置),肉条一条
: 一条的下去。炸到肉条发白捞出。所有肉条都炸好以后把油温升高到八九成热(电炉
: high 的位置),所有肉条一起下去略炸出锅装盘。
: 肉条松软可口,外焦里嫩。

avatar
f*x
40
SDK开源,Execution engine不会被lockin。Google其实早有预谋去统一这块市场。
Dataflow over Spark:
http://googlecloudplatform.blogspot.com/2015/01/easily-run-data
Dataflow over Flink:
http://googlecloudplatform.blogspot.com/2015/03/announcing-Goog
Genome analysis pipeline over Dataflow:
http://github.com/googlegenomics/dataflow-java

【在 z****e 的大作中提到】
: 不开源,会被lockin在gce上
: 算了吧,这种lockin一般都不怎么用,除非对这个平台特别有信心

avatar
k*k
41
我的锅包肉失败了 :(

【在 l******e 的大作中提到】
: 啊。。。猫猫头上菜了!
: 我昨天去别人家蹭饭,ms也吃到了这个。
: 话说我回国下馆子就爱点软炸里脊和锅宝肉,受到国内亲朋的一致鄙视。

avatar
l*e
42
怎么个失败法?啥现象?

【在 k*k 的大作中提到】
: 我的锅包肉失败了 :(
avatar
k*k
43
面糊没挂住

【在 l******e 的大作中提到】
: 怎么个失败法?啥现象?
avatar
h*i
44
里脊肉英文叫什么啊?
avatar
n*p
45
上个方子吧~~看起来真不错~~~~~~~~~~~~~~~~
avatar
k*k
46
sirloin?

【在 h******i 的大作中提到】
: 里脊肉英文叫什么啊?
avatar
k*k
47
原帖就有啊

【在 n********p 的大作中提到】
: 上个方子吧~~看起来真不错~~~~~~~~~~~~~~~~
avatar
z*r
48
好久不见

【在 k*k 的大作中提到】
: 原帖就有啊
avatar
k*k
49
是啊,最近忙啥呢?有机会来西雅图不?

【在 z**r 的大作中提到】
: 好久不见
avatar
z*r
50
最近出差比较多,不过大多都是东部城市。下半年应该会去一次西雅图,很久没去拜访
那里的客户了

【在 k*k 的大作中提到】
: 是啊,最近忙啥呢?有机会来西雅图不?
avatar
k*k
51
cool. 来了联系我

【在 z**r 的大作中提到】
: 最近出差比较多,不过大多都是东部城市。下半年应该会去一次西雅图,很久没去拜访
: 那里的客户了

avatar
z*r
52
ok

【在 k*k 的大作中提到】
: cool. 来了联系我
相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。