有尝请教关于spark api java coding (转载) - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

有尝请教关于spark api java coding (转载)

有尝请教关于spark api java coding (转载)# Programming - 葵花宝典

l*e2017-12-28 08:12

1 楼

【以下文字转载自 Hardware 讨论区】
发信人: daye520 (AGOG), 信区: Hardware
标题: fry's的便宜电视 (转载)
发信站: BBS 未名空间站 (Tue Dec 1 18:06:46 2009, 美东)
发信人: superyl ([email protected]), 信区: shopping
标题: fry's的便宜电视
发信站: BBS 未名空间站 (Tue Dec 1 18:04:18 2009, 美东)
你们谁家附近有fry's,幸福了
http://www.frys.com/product/5391788?site=sr:SEARCH:MAIN_RSLT_PG

M*o2017-12-28 08:12

2 楼

他们居然前后分别动用了沙宝亮，华少，黄渤
，大张伟，阿宝，孙楠，刘欢，冯巩。

p*m2017-12-28 08:12

3 楼

http://www.engadget.com/2012/03/07/new-ipad-vs-ipad-2/

h*s2017-12-28 08:12

4 楼

【以下文字转载自 DataSciences 讨论区】
发信人: hjxds (Kiss My Shiny Metal Ass), 信区: DataSciences
标题: 有尝请教关于spark api java coding
发信站: BBS 未名空间站 (Thu Dec 14 00:00:11 2017, 美东)
现有一个Java 写的gbm 的scoring code，剧长因为是很多tree。
现在我想把这个code搬到spark上去run,所以需要改写.
我的理解是把所有x 建立一个rdd，每一个row是一个(key,vector)，然后rdd.map((k,v
)=>
(k,tree(vector))), 这个思路对不对？
如果对的话，我就要确保我的tree function take a vector as input and return
the
score.对吧？
vector里面的x1,x2,x3,...的位置要确保一致对吧？
哪里能找到一些类似的code？谢谢。

z*n2017-12-28 08:12

5 楼

哇塞，要不要买一个呢，太便宜了吧

【在 l******e 的大作中提到】

: 【以下文字转载自 Hardware 讨论区】
: 发信人: daye520 (AGOG), 信区: Hardware
: 标题: fry's的便宜电视 (转载)
: 发信站: BBS 未名空间站 (Tue Dec 1 18:06:46 2009, 美东)
: 发信人: superyl ([email protected]), 信区: shopping
: 标题: fry's的便宜电视
: 发信站: BBS 未名空间站 (Tue Dec 1 18:04:18 2009, 美东)
: 你们谁家附近有fry's,幸福了
: http://www.frys.com/product/5391788?site=sr:SEARCH:MAIN_RSLT_PG

l*y2017-12-28 08:12

6 楼

我觉得大张伟、冯巩和孙楠都比他帅

【在 M****o 的大作中提到】

: 他们居然前后分别动用了沙宝亮，华少，黄渤
: ，大张伟，阿宝，孙楠，刘欢，冯巩。

s*i2017-12-28 08:12

7 楼

front camera is for video calls. the bottleneck is network speed. i got
compliant about iphone but not ipad while making video calls.

h*s2017-12-28 08:12

8 楼

score是要产生预测的y，所以data里没有y，只有快上千的x1..x999,所以不用split y
吧？由于x
太多了，我只能用vector或者list？
其实我的问题还有一点麻烦的地方，我的score function是另一个软件产生的java
code。很长
所以手动改很烦，所以我试图保持原样看能不能wrap起来放到spark api里。以下是
score
function的例子，
private double XB_TOTAL_ACTIV_MNTH_P1Q; /*XB_TOTAL_ACTIV_MNTH_P1Q 是我的x1
，其
他省略了 ×/
/*这里是用vector values[]赋值给x1
public void setDoubleVariables(double [] values) {
if (values.length != doubleVariables.length) {
System.out.println("Error! expecting " + doubleVariables.length + "
values for double predictors.");
} else {
XB_TOTAL_ACTIV_MNTH_P1Q = values[1];
}
}
这是一个tree function（x1）= score1；
private class tree_1 {
/* Tree 1 of 993 */
public double score() {
double target;
int node;
boolean done;
/* N terminal nodes = 6, Depth = 5 */
target = 0.0;
node = 1; /* start at root node */
done = false; /* set at terminal node */
while (!done) switch (node) {
case 1:
if (XB_POS_ACTIV_MNTH_L12M < 3.5) node = 2;
else node = 3;
break;
case 2:
............ /* skipped all cases here */
default: /* error */
target = 0.0;
done = true;
node = 0;
break;
}
return target;
}
}
tree_1 tree_1_obj=new tree_1();
把所有tree（x）都加起来是我的score
public double TreeNet_1_1() {
double response = 0.0;
response += init;
response+=tree_1_obj.score();
return response;
}
这样的写法有先赋值的一步把values[]里的x1等先搬到XB_TOTAL_ACTIV_MNTH_P1Q 里，
然后后
面的tree()是用XB_TOTAL_ACTIV_MNTH_P1Q做的计算，而不是直接用values[0]. 如果这
样的写
法我直接放到.map()里能work吗？