A join B, spark里面怎么写？ - 未名空间MITBBS历史存档

A join B, spark里面怎么写？# Programming - 葵花宝典

b*n2015-09-24 07:09

1 楼

刚签了唯一的offer，州立烂校research school，生物系tenure-track，有30万启动经
费包含2年support一个博后。
背景：国内博士，在美国非名校州立大学博后7年（没错，是千老），生物专业偏计算
方向，文章1作12篇包括并列一作，总数30多。
心得：
- 生物专业faculty位置现在竞争极其激烈，有好文章的人太多；
- 老板支持和方向match最重要；
- 土博research不一定差，博后期间要尽量争取到teaching experience，否则很难有
面试机会；
- 英语要好，要学会跟不同背景的人胡侃；
- 除了老板推荐信，其他人的推荐信也非常重要，温开水似的推荐信没用，推荐信里有
任何隐性negative的话，都会kill你；
- 面试前一定要仔细看job description，人家要什么你就卖什么。

T*s2015-09-24 07:09

2 楼

家住天津，本来以为是北京总领馆
结果中信银行说递签现在改成广州领事馆
不知道到哪里确认阿？
谢谢！

p*e2015-09-24 07:09

3 楼

按下这边香香和大脚共进午餐不说。再说那如烟镇熙攘的集市里走来一人。只见他：头
戴四角方帽，顶垂几绺流苏，身罩黑绸大氅，领绣缨红滚边，手握卷轴一副，肩跨电脑
包一个，行动处如巨石落沙，一步一个脚印。有道是：
风云起兮松涛震
行得端来坐得正
天赐才华如井喷
下里巴人莫要恨
镇上众人见这人装束古怪，神情又极稳重，颇感好奇，都驻足扭头注视。鸭蛋迎过去，
招呼道:"这位…大师，欢迎您来到如烟镇。我是这里副镇长，有啥需要帮忙的，仅管说
来。"
只见那人上上下下仔细打量了一下鸭蛋，一字一句地道："我叫风行。我是教授
，不是大师。我来随便逛逛，不烦劳老兄。"
不知道怎么搞的，鸭蛋说话的语气也被影响了，学着那风行说道："大师。Oh, no。教授
您慢慢逛，我不奉陪了。"说着鸭蛋一眨眼就滚没影了。
时当正午，风行教授走得半日，腹中饥饿，恰见十余丈远处一展大旗迎风招展，旗上写
着"苹果甜汤"，那旗立在道边一草棚旁，草棚旁另竖着一块板，上面大书"白吃白喝"。
风行心道，听说如烟镇民与世无争，恰如世外桃源一般，不想这镇内还有这样不收钱做
生意的，想是我rp好，赶上店里促销搞活动；更难得的是，镇民们并不蜂拥而抢，只有
3，5人在那里悠闲地聊天饮茶。风行想：正自饥渴，不妨去尝尝，填了肚子好赶路。
风行想罢，迈开大步，径直朝"苹果甜汤"走去，眼见得就到棚下，风行忽地瞅到"白吃白
喝"木板上另有一行小字--"是被坚决打击滴"。风行此时想要转身离去却也不好意思了，
只得进内入座。
甜汤旋即送到，风行一尝，真是甘之如饴，爽如冰泉，半日疲乏一扫而尽。大赞，妙，
好手艺。结帐时，老板送来一张收据，消费额确是0，风行诧异，问老板何意。老板随
手指指门口那块木板道：“这里民风淳朴，有的客人乏了，渴了又没带银两，喝几杯糖
水解渴，我乐得做善事。镇上的老主顾不时光顾，赞助费比卖糖水挣得多多了。客官您
随意。”
风行听罢，点头不语。沉思片刻将手中那卷轴递与老板，道:“老板高义，送金银显得
肤浅了，这里有幅画，是我极珍爱的手绘画，赠与老板抵为茶资吧。”
若要知画上为何，且听下回分解。

b*12015-09-24 07:09

4 楼

你们都是聪明人，谁能帮忙写个例子。就算是1对多的join.
a的变量假设是var1, var2,var3
b的变量假设是var4,var5,var6
假设var1,var4是primary key, foreign key的关系。
不管是用scala, python 还是rdd spark.
我打算先看懂哪个就学哪个.
本人编程零基础, 只会写query.
说穿了，我就是想要 create table c as
select a.*, b.var5, b.var6
from a
join b
on a.var1=b.var4
然后把c下载到excel里面看看.
网上看了半天教程，都是天马行空的东西。
我就奇了怪了，这么简单的事情，hadoop上怎么就这么难实现？

n*v2015-09-24 07:09

5 楼

Cong!

【在 b****n 的大作中提到】

: 刚签了唯一的offer，州立烂校research school，生物系tenure-track，有30万启动经
: 费包含2年support一个博后。
: 背景：国内博士，在美国非名校州立大学博后7年（没错，是千老），生物专业偏计算
: 方向，文章1作12篇包括并列一作，总数30多。
: 心得：
: - 生物专业faculty位置现在竞争极其激烈，有好文章的人太多；
: - 老板支持和方向match最重要；
: - 土博research不一定差，博后期间要尽量争取到teaching experience，否则很难有
: 面试机会；
: - 英语要好，要学会跟不同背景的人胡侃；

i*i2015-09-24 07:09

6 楼

：凡是递签，统统送广州领馆。

【在 T**s 的大作中提到】

: 家住天津，本来以为是北京总领馆
: 结果中信银行说递签现在改成广州领事馆
: 不知道到哪里确认阿？
: 谢谢！

b*k2015-09-24 07:09

7 楼

哈哈，果然有风大的神韵

【在 p*****e 的大作中提到】

: 按下这边香香和大脚共进午餐不说。再说那如烟镇熙攘的集市里走来一人。只见他：头
: 戴四角方帽，顶垂几绺流苏，身罩黑绸大氅，领绣缨红滚边，手握卷轴一副，肩跨电脑
: 包一个，行动处如巨石落沙，一步一个脚印。有道是：
: 风云起兮松涛震
: 行得端来坐得正
: 天赐才华如井喷
: 下里巴人莫要恨
: 镇上众人见这人装束古怪，神情又极稳重，颇感好奇，都驻足扭头注视。鸭蛋迎过去，
: 招呼道:"这位…大师，欢迎您来到如烟镇。我是这里副镇长，有啥需要帮忙的，仅管说
: 来。"

l*m2015-09-24 07:09

8 楼

spark 是可以写sql的

【在 b********1 的大作中提到】

: 你们都是聪明人，谁能帮忙写个例子。就算是1对多的join.
: a的变量假设是var1, var2,var3
: b的变量假设是var4,var5,var6
: 假设var1,var4是primary key, foreign key的关系。
: 不管是用scala, python 还是rdd spark.
: 我打算先看懂哪个就学哪个.
: 本人编程零基础, 只会写query.
: 说穿了，我就是想要 create table c as
: select a.*, b.var5, b.var6
: from a

m*d2015-09-24 07:09

9 楼

cong!!!

【在 b****n 的大作中提到】

: 刚签了唯一的offer，州立烂校research school，生物系tenure-track，有30万启动经
: 费包含2年support一个博后。
: 背景：国内博士，在美国非名校州立大学博后7年（没错，是千老），生物专业偏计算
: 方向，文章1作12篇包括并列一作，总数30多。
: 心得：
: - 生物专业faculty位置现在竞争极其激烈，有好文章的人太多；
: - 老板支持和方向match最重要；
: - 土博research不一定差，博后期间要尽量争取到teaching experience，否则很难有
: 面试机会；
: - 英语要好，要学会跟不同背景的人胡侃；

p*e2015-09-24 07:09

10 楼

师妹好
呵呵，我刚刚在结尾又续了些

【在 b*********k 的大作中提到】

: 哈哈，果然有风大的神韵

b*12015-09-24 07:09

11 楼

谢。你们成天几个争论这个语言长那个语言短的有时间上来比划比划。
我来做个裁判，看看哪个语言简洁漂亮。
零基础的人能捉摸懂得语言才是好语言。

【在 l*******m 的大作中提到】

: spark 是可以写sql的

z*y2015-09-24 07:09

12 楼

恭喜

b*k2015-09-24 07:09

13 楼

好，我再看一眼去

【在 p*****e 的大作中提到】

: 师妹好
: 呵呵，我刚刚在结尾又续了些

g*g2015-09-24 07:09

14 楼

就写sql就行。
http://spark.apache.org/sql/

【在 b********1 的大作中提到】

: 你们都是聪明人，谁能帮忙写个例子。就算是1对多的join.
: a的变量假设是var1, var2,var3
: b的变量假设是var4,var5,var6
: 假设var1,var4是primary key, foreign key的关系。
: 不管是用scala, python 还是rdd spark.
: 我打算先看懂哪个就学哪个.
: 本人编程零基础, 只会写query.
: 说穿了，我就是想要 create table c as
: select a.*, b.var5, b.var6
: from a

m*h2015-09-24 07:09

15 楼

cong

【在 b****n 的大作中提到】

: 刚签了唯一的offer，州立烂校research school，生物系tenure-track，有30万启动经
: 费包含2年support一个博后。
: 背景：国内博士，在美国非名校州立大学博后7年（没错，是千老），生物专业偏计算
: 方向，文章1作12篇包括并列一作，总数30多。
: 心得：
: - 生物专业faculty位置现在竞争极其激烈，有好文章的人太多；
: - 老板支持和方向match最重要；
: - 土博research不一定差，博后期间要尽量争取到teaching experience，否则很难有
: 面试机会；
: - 英语要好，要学会跟不同背景的人胡侃；

b*k2015-09-24 07:09

16 楼

啥画

【在 p*****e 的大作中提到】

: 师妹好
: 呵呵，我刚刚在结尾又续了些

x*42015-09-24 07:09

17 楼

你是来问问题还是当裁判的？诚恳一点好不好。

【在 b********1 的大作中提到】

: 谢。你们成天几个争论这个语言长那个语言短的有时间上来比划比划。
: 我来做个裁判，看看哪个语言简洁漂亮。
: 零基础的人能捉摸懂得语言才是好语言。

t*e2015-09-24 07:09

18 楼

Cong!

【在 b****n 的大作中提到】

: 刚签了唯一的offer，州立烂校research school，生物系tenure-track，有30万启动经
: 费包含2年support一个博后。
: 背景：国内博士，在美国非名校州立大学博后7年（没错，是千老），生物专业偏计算
: 方向，文章1作12篇包括并列一作，总数30多。
: 心得：
: - 生物专业faculty位置现在竞争极其激烈，有好文章的人太多；
: - 老板支持和方向match最重要；
: - 土博research不一定差，博后期间要尽量争取到teaching experience，否则很难有
: 面试机会；
: - 英语要好，要学会跟不同背景的人胡侃；

p*e2015-09-24 07:09

19 楼

让风行奔啊，他奔啥，画上就是啥，嘿嘿

【在 b*********k 的大作中提到】

: 啥画

l*t2015-09-24 07:09

20 楼

sql本身很fp，可惜当年没从fp起步

h*72015-09-24 07:09

21 楼

congratulations!

b*k2015-09-24 07:09

22 楼

嘿嘿，好，等
btw，今天我这回帖短小了吧：P

【在 p*****e 的大作中提到】

: 让风行奔啊，他奔啥，画上就是啥，嘿嘿

z*e2015-09-24 07:09

23 楼

其实对于vert.x的file system来说，这个join很容易实现
就是内存中的io而已，hadoop是google，不搞点东西忽悠你怎么行？
hdfs这些就是ejb
还有一个就是，太简单傻瓜的东西，一般都是收费的
这里面有市场，因为不会写代码的傻瓜太多了
人家也没有义务来伺候傻瓜，除非给钱

N*S2015-09-24 07:09

24 楼

cong~

【在 b****n 的大作中提到】

: 刚签了唯一的offer，州立烂校research school，生物系tenure-track，有30万启动经
: 费包含2年support一个博后。
: 背景：国内博士，在美国非名校州立大学博后7年（没错，是千老），生物专业偏计算
: 方向，文章1作12篇包括并列一作，总数30多。
: 心得：
: - 生物专业faculty位置现在竞争极其激烈，有好文章的人太多；
: - 老板支持和方向match最重要；
: - 土博research不一定差，博后期间要尽量争取到teaching experience，否则很难有
: 面试机会；
: - 英语要好，要学会跟不同背景的人胡侃；

p*e2015-09-24 07:09

25 楼

嗯，要是天天这么乖就好了:)

【在 b*********k 的大作中提到】

: 嘿嘿，好，等
: btw，今天我这回帖短小了吧：P

l*m2015-09-24 07:09

26 楼

我给你写一个吧
scala> val tableA = sc.parallelize(List((1, 5), (2, 3), (2, 1))).toDF("id", "
value")
tableA: org.apache.spark.sql.DataFrame = [id: int, value: int]
scala> tableA.show()
+--+-----+
|id|value|
+--+-----+
| 1| 5|
| 2| 3|
| 2| 1|
+--+-----+
scala> val tableB = sc.parallelize(List((1, "A"), (2, "B"))).toDF("id", "
name")
tableB: org.apache.spark.sql.DataFrame = [id: int, name: string]
scala> tableB.show
+--+----+
|id|name|
+--+----+
| 1| A|
| 2| B|
+--+----+
scala> tableA.join(tableB, "id").show()
+--+-----+----+
|id|value|name|
+--+-----+----+
| 1| 5| A|
| 2| 3| B|
| 2| 1| B|
+--+-----+----+

【在 b********1 的大作中提到】

: 谢。你们成天几个争论这个语言长那个语言短的有时间上来比划比划。
: 我来做个裁判，看看哪个语言简洁漂亮。
: 零基础的人能捉摸懂得语言才是好语言。

e*g2015-09-24 07:09

27 楼

Cong!

【在 b****n 的大作中提到】

: 刚签了唯一的offer，州立烂校research school，生物系tenure-track，有30万启动经
: 费包含2年support一个博后。
: 背景：国内博士，在美国非名校州立大学博后7年（没错，是千老），生物专业偏计算
: 方向，文章1作12篇包括并列一作，总数30多。
: 心得：
: - 生物专业faculty位置现在竞争极其激烈，有好文章的人太多；
: - 老板支持和方向match最重要；
: - 土博research不一定差，博后期间要尽量争取到teaching experience，否则很难有
: 面试机会；
: - 英语要好，要学会跟不同背景的人胡侃；

a*72015-09-24 07:09

28 楼

把风行写得这么帅。。。我觉得师妹你已经变心了。。。

【在 p*****e 的大作中提到】

: 按下这边香香和大脚共进午餐不说。再说那如烟镇熙攘的集市里走来一人。只见他：头
: 戴四角方帽，顶垂几绺流苏，身罩黑绸大氅，领绣缨红滚边，手握卷轴一副，肩跨电脑
: 包一个，行动处如巨石落沙，一步一个脚印。有道是：
: 风云起兮松涛震
: 行得端来坐得正
: 天赐才华如井喷
: 下里巴人莫要恨
: 镇上众人见这人装束古怪，神情又极稳重，颇感好奇，都驻足扭头注视。鸭蛋迎过去，
: 招呼道:"这位…大师，欢迎您来到如烟镇。我是这里副镇长，有啥需要帮忙的，仅管说
: 来。"

r*c2015-09-24 07:09

29 楼

niu!

A*82015-09-24 07:09

30 楼

啊，已写过了。那就气龙和牛津一起吧

【在 p*****e 的大作中提到】

: 按下这边香香和大脚共进午餐不说。再说那如烟镇熙攘的集市里走来一人。只见他：头
: 戴四角方帽，顶垂几绺流苏，身罩黑绸大氅，领绣缨红滚边，手握卷轴一副，肩跨电脑
: 包一个，行动处如巨石落沙，一步一个脚印。有道是：
: 风云起兮松涛震
: 行得端来坐得正
: 天赐才华如井喷
: 下里巴人莫要恨
: 镇上众人见这人装束古怪，神情又极稳重，颇感好奇，都驻足扭头注视。鸭蛋迎过去，
: 招呼道:"这位…大师，欢迎您来到如烟镇。我是这里副镇长，有啥需要帮忙的，仅管说
: 来。"

j*u2015-09-24 07:09

31 楼

cong~

【在 b****n 的大作中提到】

: 刚签了唯一的offer，州立烂校research school，生物系tenure-track，有30万启动经
: 费包含2年support一个博后。
: 背景：国内博士，在美国非名校州立大学博后7年（没错，是千老），生物专业偏计算
: 方向，文章1作12篇包括并列一作，总数30多。
: 心得：
: - 生物专业faculty位置现在竞争极其激烈，有好文章的人太多；
: - 老板支持和方向match最重要；
: - 土博research不一定差，博后期间要尽量争取到teaching experience，否则很难有
: 面试机会；
: - 英语要好，要学会跟不同背景的人胡侃；

p*e2015-09-24 07:09

32 楼

放心，我不会认风行做师兄滴

【在 a*********7 的大作中提到】

: 把风行写得这么帅。。。我觉得师妹你已经变心了。。。

t*e2015-09-24 07:09

33 楼

祝贺，
不过你是不是找的本校的(。千老本校)
如果是这样，你老板一定是重量级人物。

【在 b****n 的大作中提到】

: 刚签了唯一的offer，州立烂校research school，生物系tenure-track，有30万启动经
: 费包含2年support一个博后。
: 背景：国内博士，在美国非名校州立大学博后7年（没错，是千老），生物专业偏计算
: 方向，文章1作12篇包括并列一作，总数30多。
: 心得：
: - 生物专业faculty位置现在竞争极其激烈，有好文章的人太多；
: - 老板支持和方向match最重要；
: - 土博research不一定差，博后期间要尽量争取到teaching experience，否则很难有
: 面试机会；
: - 英语要好，要学会跟不同背景的人胡侃；

a*72015-09-24 07:09

34 楼

小心洋葱头咬你

【在 A*****8 的大作中提到】

: 啊，已写过了。那就气龙和牛津一起吧

p*x2015-09-24 07:09

35 楼

恭喜！

a*72015-09-24 07:09

36 楼

也不许认他做师嫂

【在 p*****e 的大作中提到】

: 放心，我不会认风行做师兄滴

b*n2015-09-24 07:09

37 楼

多谢！不是本校，比现在博后的学校差多了……
老板还算牛，chair prof，中国人，人很好，找工作期间非常支持，以培养faculty为
荣……

【在 t*****e 的大作中提到】

: 祝贺，
: 不过你是不是找的本校的(。千老本校)
: 如果是这样，你老板一定是重量级人物。

p*e2015-09-24 07:09

38 楼

洋葱头这么凶啊

【在 a*********7 的大作中提到】

: 小心洋葱头咬你

m*g2015-09-24 07:09

39 楼

Big Cong!

a*72015-09-24 07:09

40 楼

听说耳机都很怕它

【在 p*****e 的大作中提到】

: 洋葱头这么凶啊

s*u2015-09-24 07:09

41 楼

Best luck for your future career.

【在 b****n 的大作中提到】

: 多谢！不是本校，比现在博后的学校差多了……
: 老板还算牛，chair prof，中国人，人很好，找工作期间非常支持，以培养faculty为
: 荣……

p*e2015-09-24 07:09

42 楼

-_-|||
师兄，你要是哪天娶他过门了怎么办？

【在 a*********7 的大作中提到】

: 也不许认他做师嫂

s*e2015-09-24 07:09

43 楼

我们系今年某方向上招的两个人都是国内某一高校毕业的博士。

p*e2015-09-24 07:09

44 楼

一定是耳机做了什么见不得人的事，经常在人耳边风言风语，洋葱头正气凌然，见了耳
机就恨得牙痒

【在 a*********7 的大作中提到】

: 听说耳机都很怕它

p*m2015-09-24 07:09

45 楼

做博士后了吗？

【在 s**********e 的大作中提到】

: 我们系今年某方向上招的两个人都是国内某一高校毕业的博士。

a*72015-09-24 07:09

46 楼

那你一定要拿白蜡杆子狠狠抽我，把我抽醒

【在 p*****e 的大作中提到】

: -_-|||
: 师兄，你要是哪天娶他过门了怎么办？

s*e2015-09-24 07:09

47 楼

都在美国做了博后。

【在 p**m 的大作中提到】

: 做博士后了吗？

a*72015-09-24 07:09

48 楼

那就要问花栗鼠了，哈哈

【在 p*****e 的大作中提到】

: 一定是耳机做了什么见不得人的事，经常在人耳边风言风语，洋葱头正气凌然，见了耳
: 机就恨得牙痒

l*s2015-09-24 07:09

49 楼

牛逼

【在 s**********e 的大作中提到】

: 我们系今年某方向上招的两个人都是国内某一高校毕业的博士。

p*e2015-09-24 07:09

50 楼

师兄你帮我找个银样蜡枪头来，我提前准备好家伙

【在 a*********7 的大作中提到】

: 那你一定要拿白蜡杆子狠狠抽我，把我抽醒

R*o2015-09-24 07:09

51 楼

挺牛

【在 b****n 的大作中提到】

: 刚签了唯一的offer，州立烂校research school，生物系tenure-track，有30万启动经
: 费包含2年support一个博后。
: 背景：国内博士，在美国非名校州立大学博后7年（没错，是千老），生物专业偏计算
: 方向，文章1作12篇包括并列一作，总数30多。
: 心得：
: - 生物专业faculty位置现在竞争极其激烈，有好文章的人太多；
: - 老板支持和方向match最重要；
: - 土博research不一定差，博后期间要尽量争取到teaching experience，否则很难有
: 面试机会；
: - 英语要好，要学会跟不同背景的人胡侃；

a*72015-09-24 07:09

52 楼

这还要找，风行不就是啰，哈哈

【在 p*****e 的大作中提到】

: 师兄你帮我找个银样蜡枪头来，我提前准备好家伙

P*g2015-09-24 07:09

53 楼

很好！鼓掌！

【在 b****n 的大作中提到】

: 刚签了唯一的offer，州立烂校research school，生物系tenure-track，有30万启动经
: 费包含2年support一个博后。
: 背景：国内博士，在美国非名校州立大学博后7年（没错，是千老），生物专业偏计算
: 方向，文章1作12篇包括并列一作，总数30多。
: 心得：
: - 生物专业faculty位置现在竞争极其激烈，有好文章的人太多；
: - 老板支持和方向match最重要；
: - 土博research不一定差，博后期间要尽量争取到teaching experience，否则很难有
: 面试机会；
: - 英语要好，要学会跟不同背景的人胡侃；

y*82015-09-24 07:09

54 楼

地图……
跑

【在 p*****e 的大作中提到】

: 让风行奔啊，他奔啥，画上就是啥，嘿嘿

a*72015-09-24 07:09

55 楼

哈哈

【在 y*******8 的大作中提到】

: 地图……
: 跑

b*k2015-09-24 07:09

56 楼

耳机说气龙叔叔的歌有点脱拍，洋葱头很愤怒。。。

【在 a*********7 的大作中提到】

: 那就要问花栗鼠了，哈哈