c*o
2 楼
w*g
3 楼
这两天又开始维护我那堆spark代码。发现scala已经完全不会写了。过了30,学了的
东西几天不用就会忘干净。
真是一失足成千古恨啊。要不还是用java重新写一遍得了。
东西几天不用就会忘干净。
真是一失足成千古恨啊。要不还是用java重新写一遍得了。
t*b
10 楼
w*e
12 楼
啊霉比那阴靠谱。
N*m
15 楼
pyspark的性能肯定不如native jvm
但是如果你对scala不熟,未必就能写出比python快的
然后还有一些特殊的情况,比如有些库,python直接用的c libraries,这样就比scala
快了
这里有个例子:
http://stackoverflow.com/questions/32464122/spark-performance-f
【在 w***g 的大作中提到】
: 速度怎么样?我刚开始就是用的pyspark,后来发现用scala快10倍以上才转的。
: 我们数据量还是比较大的,而且老板应该是天天盼望还能爆炸性增长。
: 不然我弄到一台机器上用C++算还能快点,就怕哪天真的爆炸了单机抗不住。
: 上次我来版上抱怨那次就已经加了注释了,并且把若干超长的行拆散了。
: 不然日子真的没发过了。
但是如果你对scala不熟,未必就能写出比python快的
然后还有一些特殊的情况,比如有些库,python直接用的c libraries,这样就比scala
快了
这里有个例子:
http://stackoverflow.com/questions/32464122/spark-performance-f
【在 w***g 的大作中提到】
: 速度怎么样?我刚开始就是用的pyspark,后来发现用scala快10倍以上才转的。
: 我们数据量还是比较大的,而且老板应该是天天盼望还能爆炸性增长。
: 不然我弄到一台机器上用C++算还能快点,就怕哪天真的爆炸了单机抗不住。
: 上次我来版上抱怨那次就已经加了注释了,并且把若干超长的行拆散了。
: 不然日子真的没发过了。
m*u
18 楼
阿妹居然放弃了她一直力挺的塔斯肯,真难得
S*8
19 楼
wdong兄有没有搞过 spark+mpi ?
w*g
20 楼
一语中的!我也不是不会写scala,而是写下去一行代码不知道performance会是怎么样
的,
所以不怎么敢写。我手下那些人根本没有performance的概念,所以反而什么东西都敢
写。
scala
【在 N*****m 的大作中提到】
: pyspark的性能肯定不如native jvm
: 但是如果你对scala不熟,未必就能写出比python快的
: 然后还有一些特殊的情况,比如有些库,python直接用的c libraries,这样就比scala
: 快了
: 这里有个例子:
: http://stackoverflow.com/questions/32464122/spark-performance-f
的,
所以不怎么敢写。我手下那些人根本没有performance的概念,所以反而什么东西都敢
写。
scala
【在 N*****m 的大作中提到】
: pyspark的性能肯定不如native jvm
: 但是如果你对scala不熟,未必就能写出比python快的
: 然后还有一些特殊的情况,比如有些库,python直接用的c libraries,这样就比scala
: 快了
: 这里有个例子:
: http://stackoverflow.com/questions/32464122/spark-performance-f
相关阅读
anyone using boost.asio?如何同步多个程序同时读取一个文件Microsoft freeze 了?如何自动切换无线网络对pthread熟悉的XD请进来看看[合集] 问2个微软电话面试题目多线程/进程并发读文件有无开销问题?func调用结束时出错请教如何实现:几百个点find 20 largest values in CPimp My Widgets Developer Contestinvalid opcodehow to convert GMT to timestamp of the computer's current time怎么样用C++读取网页内容?MSG file readerWhat is this trick in Excel?c++ 怎么让一段程序每10秒钟run一次?问一下bash编程Why Google Chrome is so fast?[合集] 关于求解链表中环的起始位置问题[合集] 微软另一道智力题,求救