c*o
2 楼
w*g
3 楼
这两天又开始维护我那堆spark代码。发现scala已经完全不会写了。过了30,学了的
东西几天不用就会忘干净。
真是一失足成千古恨啊。要不还是用java重新写一遍得了。
东西几天不用就会忘干净。
真是一失足成千古恨啊。要不还是用java重新写一遍得了。
t*b
10 楼
w*e
12 楼
啊霉比那阴靠谱。
N*m
15 楼
pyspark的性能肯定不如native jvm
但是如果你对scala不熟,未必就能写出比python快的
然后还有一些特殊的情况,比如有些库,python直接用的c libraries,这样就比scala
快了
这里有个例子:
http://stackoverflow.com/questions/32464122/spark-performance-f
【在 w***g 的大作中提到】![](/moin_static193/solenoid/img/up.png)
: 速度怎么样?我刚开始就是用的pyspark,后来发现用scala快10倍以上才转的。
: 我们数据量还是比较大的,而且老板应该是天天盼望还能爆炸性增长。
: 不然我弄到一台机器上用C++算还能快点,就怕哪天真的爆炸了单机抗不住。
: 上次我来版上抱怨那次就已经加了注释了,并且把若干超长的行拆散了。
: 不然日子真的没发过了。
但是如果你对scala不熟,未必就能写出比python快的
然后还有一些特殊的情况,比如有些库,python直接用的c libraries,这样就比scala
快了
这里有个例子:
http://stackoverflow.com/questions/32464122/spark-performance-f
【在 w***g 的大作中提到】
![](/moin_static193/solenoid/img/up.png)
: 速度怎么样?我刚开始就是用的pyspark,后来发现用scala快10倍以上才转的。
: 我们数据量还是比较大的,而且老板应该是天天盼望还能爆炸性增长。
: 不然我弄到一台机器上用C++算还能快点,就怕哪天真的爆炸了单机抗不住。
: 上次我来版上抱怨那次就已经加了注释了,并且把若干超长的行拆散了。
: 不然日子真的没发过了。
m*u
18 楼
阿妹居然放弃了她一直力挺的塔斯肯,真难得
S*8
19 楼
wdong兄有没有搞过 spark+mpi ?
w*g
20 楼
一语中的!我也不是不会写scala,而是写下去一行代码不知道performance会是怎么样
的,
所以不怎么敢写。我手下那些人根本没有performance的概念,所以反而什么东西都敢
写。
scala
【在 N*****m 的大作中提到】![](/moin_static193/solenoid/img/up.png)
: pyspark的性能肯定不如native jvm
: 但是如果你对scala不熟,未必就能写出比python快的
: 然后还有一些特殊的情况,比如有些库,python直接用的c libraries,这样就比scala
: 快了
: 这里有个例子:
: http://stackoverflow.com/questions/32464122/spark-performance-f
的,
所以不怎么敢写。我手下那些人根本没有performance的概念,所以反而什么东西都敢
写。
scala
【在 N*****m 的大作中提到】
![](/moin_static193/solenoid/img/up.png)
: pyspark的性能肯定不如native jvm
: 但是如果你对scala不熟,未必就能写出比python快的
: 然后还有一些特殊的情况,比如有些库,python直接用的c libraries,这样就比scala
: 快了
: 这里有个例子:
: http://stackoverflow.com/questions/32464122/spark-performance-f
相关阅读
谁用过Playorm 连nosql数据库电视游戏大厅截流CP 催生还是催死?(转载)我由Angular转向React,为什么?Andrei Alexandrescu, C++ guru, leaves Facebook to work on D language full-timejavascript一统江湖为什么IDE软件能赚钱?越来越觉得spark是nicheBAT巨头已经出手,互联网金融到底去向何方?(转载)想更新一下有点过时的知识体系,大家给开个单子吧javascript是大势所趋,应该有人搞个弱问 blas 该怎么在Visual studio调用计算机硕士找工作问题peking2: how to transfer your groupon tickets to friend ?nodejs cluster和vert.x比较怎么样?求开源的通用PHP的Apache程序用于MySQL查询操作php网站还是最容易被hack..mro是什么语言?node.js: how to post date (from backend socket) to the webvert.x 3.1月底发布,一个重要功能fiber有什么类似Cygwin的Unix工具集不需要安装即可使用?