Hadoop CLUSTER部署thrid party libraries一般是怎么操作? - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

Hadoop CLUSTER部署thrid party libraries一般是怎么操作?

Hadoop CLUSTER部署thrid party libraries一般是怎么操作?# Programming - 葵花宝典

e*n2016-01-16 08:01

1 楼

同事的女儿高中时跟随同事以J2的身份到美国，在美国读完高中大学研究生，现在
找到工作要办工作签证，可是问题是她这六年在国内累计时间并没有呆满两年。公司说
需要豁免，可是豁免是跟随J1。可她爸爸早已回国，在国内工作多年了，况且当初是访
问学者，公费出国的。有没有大侠知道这种情况怎么解？谢谢

t*d2016-01-16 08:01

2 楼

【以下文字转载自 TAX 讨论区】
发信人: txebd (Stem), 信区: TAX
标题: 公司发的bonus交税请教
关键字: bonus,交税
发信站: BBS 未名空间站 (Thu Oct 3 17:05:19 2013, 美东)
bonus这部分，在texas, 除了联邦税，不需要social security, medicare什么的了吧？
相应的要扣401k吗？
多谢！

y*32016-01-16 08:01

3 楼

先问问版主大人，能转贴文章不？虽然是琼瑶附体的言情小说，好歹是架空个“历史”，
如果文风不合适，删掉也无妨。谢谢~~~
【以下文字转载自 Prose 讨论区】
发信人: yvonne33 (顾长安), 信区: Prose
标题: 销魂场（一）
发信站: BBS 未名空间站 (Sun Dec 8 10:32:31 2013, 美东)
前言的前言：
本文是无节操，无历史，无常识的三无产品，俗称：“架空”。考据党请右上角x
偷懒的结果人物无字，只有名，请勿纠结。
只是写一个故事，有天雷、有狗血，水到渠成时有某些描写，但保证不会让看官反胃（
但愿）
虽然本人皮糙肉厚的老人一枚，也经不住血淋淋的吐槽，还请口下留情，惜墨如金，万
分感谢啦~~~
写故事，本求自娱自乐，若能娱人也算得上美事一桩啦
再请教，更新的话，是一章开一贴，还是全部都放在一个帖子里？
*************************我是华丽的分割线*************************
题记：
滚滚红尘，百里洋场，千里烽烟，万里江山。
爱欲恩怨仇痴癫狂名利-------也是重生地，也是销魂场。
若爱无孔不入，你又何处藏身？浮世里挣扎，如有所求，必有所囚
谁能躲开命运的手？一手把他推向权利的漩涡，一手把她揽在阴谋的角落。
（一）
壬戌年正月，没来由的冷得出奇，雪却没下几场。数日前下了场雨，地上的泥搀着
积水
都冻成崎岖的冰路。
出了俱兴斋，那婉涔才发觉不知何时已然下了雪。伸出手，雪片细碎，像真了在撒
盐，一粒一粒就落在婉涔的手心里，竟也不化。
“快别闹了，看您的手，冰的连着雪都化不了。”凤竹气喘吁吁从俱兴斋跟出来，
眼见着那婉涔在凉风里矗着，忙往婉涔手里就塞上一小小暖炉。“还是夏老爷体贴，知
道小姐苦冬，这不，把自个用的手炉都让我给您捎着呢。”
谈话间，凤竹就把婉涔半推着上了马车。
婉涔只是笑，她这个贴身的大丫环虽然比自己小三岁，却俨然宫里的老嬷嬷的作风
，絮叨且贴心。
马车行了一阵，突然颠簸得厉害，凤竹挑起车帘想看看路况，一阵风夹着细小的雪
粒子就卷进了马车里。婉涔因着风咳了两下。凤竹赶紧放下帘子，“小姐你这不是自己
找来的委屈么？放着楚三公子的汽车不坐，偏要做座这颠簸的玩意儿。”
当听到“楚三公子”几个字的时候，那婉涔心下一动，微微一笑。
她心里自然明白在这个“自家人”团聚的日子，夏家的家宴不在老宅里而去了俱兴
斋，席上不见她的未婚夫夏子凌，却让她坐在了楚三公子边上的用意。但婉涔也不点破。
席上，她颔首目不斜移，细细品味这一桌丰餐盛宴。楚三公子殷勤呵护，婉涔只是
不输礼数，也不多回应。这席上的场面倒让夏家长子夏子允面上有些难堪。当然，比他
脸色更难看的是夏老爷：看得明却又不能点破。
凤竹见婉涔笑了笑，却又不答话，面色也无异，知道自家的小姐总是少言寡语的，
心事都藏心底。便拿了个软靠往那婉涔的肘下塞了塞，好让她靠着。
那婉涔微合双目，车轱辘撵在雪地上的吱吱的声音里竟然睡着了。迷蒙间又见着六
、七岁的自己，穿着绣花布鞋在德清王府里一个园门一个园门的跨过去，小手被阿玛紧
紧握着来到稳园，远远见着槐树下站着一个剪了辫子的白色西装的少年。微风吹过，那
槐树上的花就细细簌簌的落了少年满头、满身。她正想上前拉少年的手，恍惚间听到有
人叫自己的名字，“婉涔格格，婉涔格格”。
猛睁开眼，才知道刚才不过又是一场梦。凤竹晃着她，马车已然停下。
“怎么回事？”婉涔向来处变不惊，轻声问。
车夫阿贵呵着冻红得双手跑到门帘边，道：“小姐，马车撵到一个粗枝，别到车轱
辘里，车轱辘折了。这马车怕是走不了了。小姐你们先在这里等着，我这就回府叫车去
。”说着就要走。
婉涔挑开帘看看前街后巷，正月里，没出初六，街上的店铺多都闭门过年，路上的
黄包车夫也不见踪影。于是叫停了阿桂，“离府里也没多远，就走回去吧，就当疏松疏
松筋骨。”说着撩起裙角径自下了马车，往夏府方向走去。
凤竹当然知道婉涔拿定的主意，谁也拗不过的。叹了口气，拿着白瓠子披风和手炉
就随着婉涔往夏府走去。
这条路婉涔幼年时不知道走过多少遍，从姑姑家到德清王爷府，徒步是小半个时辰
。每次在姑姑家酒足饭饱后，姑姑就拍着婉涔滚圆的小肚子说，“看这小肚子吃的，可
别坐车了，让吴嬷嬷领着走走。”
就这样，从能记事的那几年，婉涔闭上眼睛也知道，左手边是张记制衣铺，右手边
是大凤点心铺；左手边走到了金玉堂，右手边到了太白楼。。。。。。而如今，十多年
过去了，那些店铺有的消失了，有的变了掌柜，有的做大了，反正统统不是少年时的样
子了。只有这条路，不曾变。
傍晚时分，家家掌灯，那灯光映着皑皑白雪居然衬出几分暖来。
凤竹穿着小皮短靴子，婉涔依旧是绣花鞋。没走几步，鞋就浸透了雪水。凤竹一边走
一边叨唠着婉涔的执拗，叨唠着婉涔的净是雪渣子的脚。
婉涔只是笑，一刻也没停下脚步。这场景让她想起小时候和阿玛一起玩雪，无所忌
惮的童年。
走了不远，远远背后传来滴滴的汽车喇叭声。
凤竹转身，看到一辆汽车，她眯起眼，透过车前灯的光辨认，“小姐，好像是三公
子的车。”
婉涔也不搭理，似没听见一样，继续她的步伐。
汽车停下，走下来一个人，黑皮子长风衣，领上黑色狐皮围领，头上黑呢子礼帽，
隔着丝丝风雪，眉目都看得不甚清晰。
凤竹迎了两步，“楚三公子，你怎么来了？”
楚裕泽只看见凤竹一个人，问：“你家小姐呢？”
凤竹朝前一努嘴，“前面呢，瞧着一眨眼的功夫，就走这么远了。我去叫小姐。”
“不用不用”，楚裕泽拦下凤竹，“我去，你快进车，外头风冷的紧。”
没等凤竹搭话，楚裕泽已经快步跟上去，凤竹只好呵着手，躲到汽车里。
婉涔只听得沙沙的脚步声渐近，也没有停下的意思。却不想胳膊一把被人拉住，虽
然力道不重，但也让她不得不停下步伐，顺着那力转身过去。
“那小姐，我猜这样得天气马车行不远，就跟来看看，果然出事了。我开车送你回
去吧。”语意殷勤。
细弱的胳膊从楚裕泽的羊皮手套里滑出，“不劳三公子了，就快到府了。”微微颔首
，算是道了一个“谢”，侧过身稳步向前。
寂静的大街上只有鞋子与雪地摩擦出的吱吱声，前前后后，没有规律没有和韵，因
此也不悦耳。
楚裕泽却被这声音吸引，暗暗瞥过婉涔的脚。
婉涔轻提着淡青色长绸裙边，隐隐露出同色的滚宽边绸裤，半个小腿早已湿透。绣
花鞋带着些雪，隐了去上头绣的一枝斜边梅花，看不清原来的颜色。那双脚时隐时现的
，隐约能看出婉涔并没有裹过足。
“如此新派的留过洋的小姐却硬要披着旧式的衣袍，仿佛这个世界的人都发了疯了
，就她清醒。”-------楚裕泽突然想起第一次听到别人口里的那婉涔的话，就是这一
句。
京州城里的家长里短、豪门秘闻就是这样在女人们的麻将桌上搓来传去。那一次，
楚裕泽被楚老太太叫去帮她摸一张牌，陈理事的太太正在抛这句话。
他不是没听说过那婉涔的名字，只知道是前朝老王爷的幺女，自幼被送往法国，前
几年老王爷归天的时候奔丧回国，就住在夏家住下了。也仅此而已。
但就是这句，楚裕泽就记住了，一时哑然失笑。
婉涔也听得了那笑，想知道他笑什么，却又不愿意问他，加快了步子往夏府去，她
也早耐不住双脚的湿冷，却又不愿在外人前失了气度。
楚裕泽无声的随着她身后，看她轻扣门环，看着她轻迈着带着雪的小腿跨过高高的
夏府门槛，一路到了会客厅里。
老管家夏福赶忙过来请了安，“楚三公子这是几年没来过府里了！快请坐！早听大
少奶奶念叨着今天的家宴，没成想少爷老爷他们没到家，三公子先到了。”
楚裕泽脱了皮子手套，接过夏福递来的暖炉，笑着说：“婉涔小姐身子不爽，先回
府，我看这雪下的紧，路上冰又厚，怕小姐的马车出问题----这不马车真就坏在了路上
。”
夏福往外瞧了瞧，又瞅见婉涔的样子，“我的姑奶奶，您不是走回来的吧？凤竹那
丫头也没拦着？”
婉涔微微一笑，“不打紧，我也不是身子弱的人，难得的没人瞅着，就自个儿搁外
面闹了会儿。”
屋里的暖炉烧得旺，寒气渐渐褪去。夏福忙让人上了热茶，但又没请婉涔回屋，只
说这主子都不在，请婉涔招呼楚三公子。
婉涔淡淡一笑，这夏府上上下下看来都通了气了，偏是夏老爷子是最后一个知道的
人吧？可是夏子凌此刻又何在呢？他是真不明白还是假糊涂？
婉涔坐在那里心里乱乱团团的琢磨着事情，楚裕泽就静静的看她------看她和姐姐
口中所描述的是否相同。有心想再聊聊，又怕唐突了婉涔的心事。
“我说楚三公子！”突然传来一声大叫，把婉涔和楚裕泽都下了一跳。
凤竹抖落着身上的细雪，跺着脚，“您不是一会儿就回头去开车么？我左等等不来
右等也等不来，冻的我手脚都快没了，早知道不如索性跟着小姐走回来还能暖暖身子。
结果还是两头落了空，两头冻。”
楚裕泽抱歉的笑着，“看我，把这事儿给忘了，这边先给凤竹姑娘赔礼了。“说着
把暖炉捧过来。
凤竹躲着，“不要不要，您三公子把这个人情可给我记着吧，敢明儿您还得给还上
。”
“好好好，记下记下，回头捡个好日子请姑娘们去吃茶、看戏或者去置些新衣，如
何？”
凤竹抿着嘴笑，也不回答，看着婉涔湿漉漉的小腿嘟噜着就拉着回房。婉涔早想离
开，随了几句客气话便消失了。
楚裕泽无可奈何的笑了笑，想着那那婉涔估摸着也不会再现身了，就索性径自回去
。刚出厅堂远远看见一个戎装男子从门外进来。
“凌少大忙人啊，家宴上也没瞧见。”楚裕泽戴上手套，眼角噙着笑。
夏子凌愣了一下，快速的从记忆里搜索着面前的人。
“鄙门家宴，居然也劳动楚三公子屈驾前往？”楚裕泽，京州城里出了名的浪荡子。
楚裕泽哈哈一笑，“凌少是被蒙在谷里，还是明知故问？本就是一家人，回头就更
亲上加亲了。”
夏子凌也不愿再纠缠，丢了句“不送了”就往内院走了。
楚裕泽挑眉笑了笑，理了理被凉风吹散了的发，离了夏府。

b*e2016-01-16 08:01

4 楼

ATT Verizon Sprint出售的包装上都没有明显的标记，极有可能这一批iphone 4s全是
unlock版本. 运营商只是通过激活时下载代码到手机上完成锁机，如果在第一次开机
前换卡，很有可能是可以unlock手机的。

J*R2016-01-16 08:01

5 楼

应该不是把jar 一个个copy到每个node上面吧?

F*u2016-01-16 08:01

6 楼

Although J-2 dependents cannot independently apply for a waiver, in cases
where a J-2 child reaches 21, the Waiver Review Division may consider
requests for waivers on behalf of the J-2 dependent. The Department of
State’s policy allows for that process in instances where the J-2 dependent
obtains a divorce from the J-1 principal, the J-1 principal dies, or in
cases where the J-2 dependent turns 21.
读完研究生应该21了吧，可以按这一条申请waiver

【在 e********n 的大作中提到】

: 同事的女儿高中时跟随同事以J2的身份到美国，在美国读完高中大学研究生，现在
: 找到工作要办工作签证，可是问题是她这六年在国内累计时间并没有呆满两年。公司说
: 需要豁免，可是豁免是跟随J1。可她爸爸早已回国，在国内工作多年了，况且当初是访
: 问学者，公费出国的。有没有大侠知道这种情况怎么解？谢谢

m*32016-01-16 08:01

7 楼

bonus和普通income一样。要扣FICA.
401k是你自己的事情，跟税无关。

吧？

【在 t***d 的大作中提到】

: 【以下文字转载自 TAX 讨论区】
: 发信人: txebd (Stem), 信区: TAX
: 标题: 公司发的bonus交税请教
: 关键字: bonus,交税
: 发信站: BBS 未名空间站 (Thu Oct 3 17:05:19 2013, 美东)
: bonus这部分，在texas, 除了联邦税，不需要social security, medicare什么的了吧？
: 相应的要扣401k吗？
: 多谢！

i*h2016-01-16 08:01

8 楼

这是奔红楼梦去的？

c*k2016-01-16 08:01

9 楼

很傻很天真？

【在 b*****e 的大作中提到】

: ATT Verizon Sprint出售的包装上都没有明显的标记，极有可能这一批iphone 4s全是
: unlock版本. 运营商只是通过激活时下载代码到手机上完成锁机，如果在第一次开机
: 前换卡，很有可能是可以unlock手机的。

l*m2016-01-16 08:01

10 楼

HADOOP_CLASSPATH

【在 J****R 的大作中提到】

: 应该不是把jar 一个个copy到每个node上面吧?

x*u2016-01-16 08:01

11 楼

ssn,med看你今年到11万多的limit了没有，没到的话会扣。401k取决于你是按比例扣钱
还是固定数额扣。bonus当作正常收入，多交的税来年报税的时候多退少补。

吧？

【在 t***d 的大作中提到】

c*p2016-01-16 08:01

12 楼

不是说unlock版要11月才出么

【在 b*****e 的大作中提到】

f*t2016-01-16 08:01

13 楼

可以存hdfs里

t*d2016-01-16 08:01

14 楼

多谢楼上两位详细解释.
还有一个问题: H1签证发ｂｏｎｕｓ有问题吗？　上次不知在哪看到的说是Ｈ１只能以
固定的工资，连涨工资都有限制。

吧？

【在 t***d 的大作中提到】

l*n2016-01-16 08:01

15 楼

有没有人证实？求Link

J*R2016-01-16 08:01

16 楼

能详细说一下吗？

【在 l*******m 的大作中提到】

: HADOOP_CLASSPATH

b*c2016-01-16 08:01

17 楼

正常的W2上的收入，一点问题没有

【在 t***d 的大作中提到】

: 多谢楼上两位详细解释.
: 还有一个问题: H1签证发ｂｏｎｕｓ有问题吗？　上次不知在哪看到的说是Ｈ１只能以
: 固定的工资，连涨工资都有限制。
:
: 吧？

j*f2016-01-16 08:01

18 楼

不太可能。。

J*R2016-01-16 08:01

19 楼

你是说用distributed cache?
DistributedCache.addFileToClassPath(hdfsJar, conf);

【在 f*******t 的大作中提到】

: 可以存hdfs里

b*c2016-01-16 08:01

20 楼

H1不能涨工资？一定是哪个无良老板忽悠H1呢。

【在 t***d 的大作中提到】

y*72016-01-16 08:01

21 楼

参见泥猴张测试
http://www.mitbbs.com/article_t/ebiz/33612115.html

n*22016-01-16 08:01

22 楼

可以放到nfs上然后mount到各个node

【在 J****R 的大作中提到】

: 应该不是把jar 一个个copy到每个node上面吧?

e*o2016-01-16 08:01

23 楼

估计是看了以前的老贴，说不能随便换title，然后就引申为不能涨工资了。

【在 b*******c 的大作中提到】

: H1不能涨工资？一定是哪个无良老板忽悠H1呢。

M*e2016-01-16 08:01

24 楼

没用啊，用了att的网络自动还是会加上15快钱的数据费

f*t2016-01-16 08:01

25 楼

是的，能用

【在 J****R 的大作中提到】

: 你是说用distributed cache?
: DistributedCache.addFileToClassPath(hdfsJar, conf);

m*32016-01-16 08:01

26 楼

medicare没有上限。只有social security有。

【在 x********u 的大作中提到】

: ssn,med看你今年到11万多的limit了没有，没到的话会扣。401k取决于你是按比例扣钱
: 还是固定数额扣。bonus当作正常收入，多交的税来年报税的时候多退少补。
:
: 吧？

b*e2016-01-16 08:01

27 楼

有人发个包子吗？

l*m2016-01-16 08:01

28 楼

http://grepalex.com/2013/02/25/hadoop-libjars/

【在 J****R 的大作中提到】

: 能详细说一下吗？

t*d2016-01-16 08:01

29 楼

谢谢各位的解答，现在明白了

【在 m******3 的大作中提到】

: medicare没有上限。只有social security有。

b*n2016-01-16 08:01

30 楼

我的sprint employee sero 500无限数据和短信，600分钟才 50块钱包月。
不过我还没想过换成 4S。。。回国用不了我就不换。。因为两边跑。。

J*R2016-01-16 08:01

31 楼

谢谢!
总结一下,基本上就是3种途径:
1, copy jar files and config files onto all nodes in cluster.
2, fat jar
3, distributed cache.
第一种太麻烦,上production 不现实,这么搞的话operation team会疯掉.
第二种比较低效,因为fat jar size太大了,跑起来performance恐怕有问题.
第三种解决了这些问题,但也得还得在client node上面单独放上jar, config. 不然启
动Job的时候会出问题.

【在 l*******m 的大作中提到】

: http://grepalex.com/2013/02/25/hadoop-libjars/

D*u2016-01-16 08:01

32 楼

借宝地问一个following question, 如果用DistributedCache.addFileToClassPath，
jar file 超过64kb 怎么办，比如想放一个array进去，类似好像有人问http://stackoverflow.com/questions/6570343/maximum-size-of-a-method-in-java
想听听大家意见，我只关注hadoop distributed jar files 不是general的

J*R2016-01-16 08:01

33 楼

没听说jar size 64k的限制啊，要是fat jar，几十个M的都有。你的那个link里面讨论
的是limit on the a single method in the code。64k 的method，check in 以后会
被群殴的。。。。。。

【在 D**u 的大作中提到】

: 借宝地问一个following question, 如果用DistributedCache.addFileToClassPath，
: jar file 超过64kb 怎么办，比如想放一个array进去，类似好像有人问http://stackoverflow.com/questions/6570343/maximum-size-of-a-method-in-java
: 想听听大家意见，我只关注hadoop distributed jar files 不是general的