一个用java写spark应用的问题 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

一个用java写spark应用的问题

一个用java写spark应用的问题# Programming - 葵花宝典

p*g2016-01-04 08:01

1 楼

有一个问题请教版上做过期刊associate editors的牛人们。任何期刊都可以，如果是
IEEE的期刊就最好了。
问题如下：
当文章的reviwers都把审稿意见submit到了系统，文章的状态变为“await editor
decision”了。如果这个时候editor很忙来不及处理，结果就拖了下来。系统会每隔一
段时间提醒这个editor还有未处理的文章吗？如果不会，那么有没有可能这个editor最
终就忘记处理这个文章了?

j*e2016-01-04 08:01

2 楼

猜对有包子!

v*n2016-01-04 08:01

3 楼

如题
guava的immutable collection在组合的时候，比如concatenation的时候都是
defensive copy，这和scala的immutable collection在组合的时候行为完全不一样，
我想这主要是因为java没有val，全都是var
java下有没有什么immutable collection能和scala的immutable collection行为一样
呢？谢谢

z*i2016-01-04 08:01

4 楼

会的。如果拖的时间太长了，主编会发信警告。
刚想起来，我就有一篇文章2周了还没处理呢。

【在 p*******g 的大作中提到】

: 有一个问题请教版上做过期刊associate editors的牛人们。任何期刊都可以，如果是
: IEEE的期刊就最好了。
: 问题如下：
: 当文章的reviwers都把审稿意见submit到了系统，文章的状态变为“await editor
: decision”了。如果这个时候editor很忙来不及处理，结果就拖了下来。系统会每隔一
: 段时间提醒这个editor还有未处理的文章吗？如果不会，那么有没有可能这个editor最
: 终就忘记处理这个文章了?

H*S2016-01-04 08:01

5 楼

你可以在java下调用Scala的collection。

【在 v*****n 的大作中提到】

: 如题
: guava的immutable collection在组合的时候，比如concatenation的时候都是
: defensive copy，这和scala的immutable collection在组合的时候行为完全不一样，
: 我想这主要是因为java没有val，全都是var
: java下有没有什么immutable collection能和scala的immutable collection行为一样
: 呢？谢谢

m*m2016-01-04 08:01

6 楼

不提醒也不可能永久遗忘
除非AE永远不登录杂志了

【在 p*******g 的大作中提到】

v*n2016-01-04 08:01

7 楼

能说说具体怎么调用么？或者给个链接
我大概搜索了一下，scala调用java的库挺容易的，但是反过来java调用scala的库似乎
有些麻烦

【在 H****S 的大作中提到】

: 你可以在java下调用Scala的collection。

C*S2016-01-04 08:01

8 楼

递交论文到ASCE某悲催Journal。马上要两个月了，还是＂with editor"。一个月的时
候发过一个message问询，说是会提醒一下。看来没啥用。师姐有何办法赐教?

【在 z******i 的大作中提到】

: 会的。如果拖的时间太长了，主编会发信警告。
: 刚想起来，我就有一篇文章2周了还没处理呢。

H*S2016-01-04 08:01

9 楼

先创建一个Scala project，然后在里面创建一个.java文件进行编辑，然后直接调用
scala collection。如果你的函数需要用Java collection，用JavaConversions把
Scala collection转化过来。

【在 v*****n 的大作中提到】

:
: 能说说具体怎么调用么？或者给个链接
: 我大概搜索了一下，scala调用java的库挺容易的，但是反过来java调用scala的库似乎
: 有些麻烦

p*g2016-01-04 08:01

10 楼

顺便再问下，你们是如何当上editor的？是主动向杂志主编请缨，还是别人推荐的？

n*32016-01-04 08:01

11 楼

抛砖引玉一下。
我以前做的一 spark project，要用一 Java library／framwark， business
logic
都围绕这 Java library 做的。所以我就用 Java 先写个单机版的，
然后用Scala／spark call Java class／object
我那个project没有同步的问题，所以 immutable or not is not an issue for me。

【在 H****S 的大作中提到】

: 先创建一个Scala project，然后在里面创建一个.java文件进行编辑，然后直接调用
: scala collection。如果你的函数需要用Java collection，用JavaConversions把
: Scala collection转化过来。

v*n2016-01-04 08:01

12 楼

现在问题是项目要用java project，要用java编译
我大概看了下，在java project里面用scala collection好像挺麻烦的，好像要用建个
scala class,里面要自己包装一下collection让它暴露一个java.util.List的接口出来
，然后再在java project里面用javaConversion把scala对象变成java对象。
不知道理解的对不对，我还没试，觉得这是一个比较麻烦的方案，后面debug估计还会
有各种坑

【在 H****S 的大作中提到】

v*n2016-01-04 08:01

13 楼

me。
恩，我现在的问题就是java本身没有合适的像scala immutable collection一样的
persistent collection，我也打算把逻辑写到java里面，但是在reduce/group/
aggregate的时候如果是普通的immutable list会做defensive copy，因为我的对象都
是immutable的，所以这个copy完全没必要，我想避免它

【在 n*****3 的大作中提到】

: 抛砖引玉一下。
: 我以前做的一 spark project，要用一 Java library／framwark， business
: logic
: 都围绕这 Java library 做的。所以我就用 Java 先写个单机版的，
: 然后用Scala／spark call Java class／object
: 我那个project没有同步的问题，所以 immutable or not is not an issue for me。
:

v*n2016-01-04 08:01

14 楼