如何往Hadoop 上倒大量数据？ - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

如何往Hadoop 上倒大量数据？

如何往Hadoop 上倒大量数据？# Programming - 葵花宝典

t*r2016-04-21 07:04

1 楼

昨天半夜刚刚收到消息，说是问了很多问题，但顺利通过。如果有感兴趣的朋友，明天
补发签经。

M*t2016-04-21 07:04

2 楼

章十四争与不争
方明慧一怔，还没等她说什么，另一个男孩就大步奔了过来，急急忙忙地说：“不行！
她是我的！”
宋子宁脸色忽然一沉，冷冷地说：“你算什么东西，也敢和我争女人？”
男孩脸色一阵苍白，期期艾艾地说：“可，可是......您已经有了两个女人。”
“两个不够。”宋子宁淡淡地说。
那个男孩被这句话堵得一窒，不甘心地向千夜盯了一眼，缓缓退后。
那个男孩是和另外几个同伴在一起，当他跑过来时，其他人都在原地站住，往这边看。
这时其中一个高大少年走了过来，沉声说：“宋子宁，你这就有些不对了。我们几个一
直尊重你，让着你。但是你也不能一个人把所有好处都占了，更不应该欺负我的兄弟！”
千夜认识这个少年，他叫吴进，排名仅在宋子宁之后，但是具体分数上的差距并不太明
显。
宋子宁毫不在意吴进貌似平和实则语带威胁的话，冷笑着说：“我就欺负你的兄弟了，
又怎么样？”
吴进双眼微眯，身上开始散发惊人的杀气，缓缓地说：“我们之间好象并没有那么大的
差距，说起来，也好久没有和你认真地打一架了！”
“那是你不敢找我，可不是我在避战。"宋子宁冷笑，然后忽然挺直身体，锐利如出鞘
刀锋的杀意腾空而起！
宋子宁活动着关节，冷笑着说：“吴进，你不会蠢到把那什么破成绩单当真吧？我们现
在就去格斗室打一架怎么样，不过这一次我绝不会留手。等打完这一架，你那个狗屁第
二就给我见鬼去吧！”
面对宋子宁的邀战，吴进脸色变幻不定，重重哼了一声，掉头就走。
宋子宁对着吴进的背影悠然地说：“吴进，你要联合其他人的话，那就尽早。再过两个
月，我就要点燃第二个节点了！”
二级战兵！
吴进全身一震，转过头难以置信地看了宋子宁一眼，匆匆而去，这一次气势全消。
围观的十几个孩子同样震惊不已，对宋子宁的态度立刻变得更加恭敬。方明慧则目光一
转，立刻乖巧地站到宋子宁旁边，轻声细气地说：“宋哥要我做什么，我就会做什么，
陪谁都可以的。”
宋子宁向方明慧指了指，对千夜说：“千夜，她是你应得的。在这种地方，如果你对自
己应得的东西都不去拿，别人就会开始怀疑，并且不断来试探你。适当展示实力会减少
很多的麻烦。”
千夜本来还想推辞，但是被宋子宁坚决的目光阻止，只得无奈让方明慧跟在身边。
回到自己床上后，千夜仍然在回想刚刚一幕。
宋子宁想告诉千夜的是，力量才是压倒一切的关键。没有力量，在面对如宋子宁这样的
人时，要么就是退让，要么就是当场被打死。
哪怕是第二名的吴进，面对宋子宁也只能忍辱离开。至于方明慧，这个排名靠近垫底区
域的女孩，无论跟着哪个男人，都和她自身意志无关。
千夜觉得，自己明白了宋子宁的意思。
方明慧悄悄爬上了千夜的床，可是已经被兵伐诀折磨一整天的千夜对她毫无兴趣，伸手
在她柔软的腰肢上摸了一把，便没有后续动作，很快就沉沉睡去。
接下来的一段时间，方明慧始终跟在千夜身边，千夜虽然没有碰她，但也并没有让她走
开。在这批学生中，千夜目前整体排名还是相当靠前，始终在第十左右徘徊。
这得益于他在每一项课目中都有非常优异的表现，特别是在某些知识课，以及和枪械与
机械有关的科目上，千夜更是有着接近完美的表现。体能方面的课程虽然略逊，但是格
斗这种实战科目，却因为千夜格外的狠辣，他的成绩也能够维持在二十名左右。
宋子宁说的对，以千夜目前的综合排名，是有权得到一个固定女伴。而他一直不找，在
其他人眼中反而变成了实力不济以致心虚的表现。
训练营的日子从来不会平淡。
在某一天的机械课上，千夜利用简单工具，在失败了十余次之后，终于成功加工出一个
高精度弹壳。千夜对自己的作品十分满意。一个弹壳很好做，不过在缺少精密工具的情
况下制出高精度的弹壳，难度就大得多了，需要对力道和动作有相当程度的控制力才行。
这是战场维修的核心技能。有了这个本事，今后千夜在大多数战场上都能够修理好破损
的枪械或是其他武器，其意义不言而喻。
千夜正在欣赏自己的作品时，旁边忽然响起一个少女的声音：“好厉害！”
千夜转头望去，见一个少女站在旁边，正在看着自己手里的弹壳。
她相貌只能说是普通，不过身材却是相当的好，目前已经超过了一米七。这个名叫米米
的女孩是班上少数几个不需要依附其他人的女孩，她的综合排名比千夜还要高，稳定在
第六位。
“一时运气好而已。”千夜随手把弹壳抛到了一边。
米米却把弹壳捡了起来，仔细看了一会，对千夜说：“我对你有些兴趣。队伍里有了你
，将来在战场上就不用担心枪械不能损坏，或者是没有子弹了。”
“我的维修比你强不了多少。”千夜可是记得，米米在各类机械方面的成绩并不比自己
低多少。
“这种能力绝不会嫌多的！我看你对那个方明慧也没什么兴趣。要不以后跟我成为伙伴
吧？”米米直接邀请。
千夜微微皱眉，问：“伙伴？那个方面的......伙伴？”
“不，战斗方面的。”米米忽然凑近千夜，轻声说：“你好象对女人没有兴趣，正好我
对男人也没有兴趣。而且我们的战斗风格互补，所以凑在一起再合适不过了。以后我们
在战场上可以组队出战！”
千夜对这个提议倒是真的有些动心，点头说：“让我想想。”
在接下来的几个月中，千夜和米米接触得越来越多，在一起的时间也逐渐增加。方明慧
则被米米粗暴地赶走了。
宋子宁对此倒是没什么意见，他只是要塞给千夜一个女伴而已，是谁并不重要。从对千
夜的帮助来说，米米明显比方明慧要强得多。
这段时间米米和千夜经常在格斗课上较量。米米的战斗风格颇有大家之风，防御时细腻
沉稳兼而有之，攻击时则变幻莫测，实战水准还在千夜之上。宋子宁曾有次私下里提过
，米米看样子应该是进训练营之前就打过基础。
对于她，千夜当然不会用出那种以伤换伤的打法，所以较量时输面居多。长时间和米米
切蹉，让千夜的格斗水准飞速提高。
就这样，在这一年年中时，孩子们迎来了第一场真正意义上的生存考试。
整整十个班的学员会被投放到一片辽阔的原始山地，同时投放的还有数百个黑暗种族战
士。
学员们需要在这片辽阔且复杂的山区想办法生存十天。在此期间他们的敌人不仅是黑暗
种族，还要提防其他学员。因为在考核计分表上，杀死一个黑暗种族战士和杀死一名学
员得分是一样的。
考试规则十分简单，杀掉一个黑暗种族战士或是学员，会立刻过关。杀戮数量排在前十
的孩子还会有额外的丰厚奖励。
如果没有本事杀掉别人，那么就需要躲得够好。当考试区域中学员只剩下六百名时，或
者是十天时间到了，那么考试也会结束。
每名学员都配发了一把普通匕首，就是这次考试中允许使用的惟一武器。
黄昏时分，尖利如夜枭般的哨音响起，考试开始了。
千夜快步走进树林，然后将自己隐藏起来。直到夜幕降临才从藏身处出来，开始小心翼
翼地搜索前进。
千夜把自己隐入黑暗，非常耐心地移动，同时观察着周围环境。他的动作很缓慢，在行
进时几乎不发出任何声音。野外生存课上的好成绩发挥了实战效果，千夜一丝不苟地把
每一个潜行隐匿的动作做到位，并且随时根据地形做微调。
千夜在经过一株大树时，忽然停在了阴影里，就此不动。而在十余米外，突然出现两名
学员，他们一见面就爆发激烈战斗。战斗在几分钟内就有了结果，其中一个少年转眼间
被连刺数刀，倒地身亡！
获胜的少年似乎仍不解恨，恶狠狠地在尸体上又捅了几刀，这才从对方腰间扯下一个特
制的哨子，转动哨管看了看上面的刻痕，然后嘟囔着咒骂着什么。
活着的少年身上也有几处刀伤。他简单处理了伤口，止住流血，就拿出哨子，准备吹响
。这些哨子都是特制的，用原力吹响时，声音可以传出数公里远。散布在考试区域的教
官们听到哨音就会及时赶到，验证完战果后，他们会把通过考试的少年带离考场。
哨子已经放到了嘴里，但是少年却再也没有力气吹响了。他的咽喉前，忽然出现了一把
匕首的刃尖！
少年愕然转身，可是已经什么都说不出来，只能指着从树林深处走出的米米，慢慢倒了
下去。
米米俯身从死去少年的尸体上拔出匕首，又在他们身上搜了一阵，拿到他们的匕首，以
及两个哨子。这种特制的哨子上都有编号，是学员们参加考试的身份标记。
到了考试结束评定名次的时候，就是看谁手里的哨子有多少。丢失自己哨子的人，就是
活下来，排名也是垫底。
米米将匕首插在腰上的皮鞘里，忽然有所感觉，抬头盯着千夜的方向，低喝道：“谁！
出来！”

h*g2016-04-21 07:04

3 楼

从外接硬盘上往Hadoop上load 大约几P的数据，有什么好办法？谢谢

S*22016-04-21 07:04

4 楼

gxgx

s*t2016-04-21 07:04

5 楼

thx

！”

【在 M********t 的大作中提到】

: 章十四争与不争
: 方明慧一怔，还没等她说什么，另一个男孩就大步奔了过来，急急忙忙地说：“不行！
: 她是我的！”
: 宋子宁脸色忽然一沉，冷冷地说：“你算什么东西，也敢和我争女人？”
: 男孩脸色一阵苍白，期期艾艾地说：“可，可是......您已经有了两个女人。”
: “两个不够。”宋子宁淡淡地说。
: 那个男孩被这句话堵得一窒，不甘心地向千夜盯了一眼，缓缓退后。
: 那个男孩是和另外几个同伴在一起，当他跑过来时，其他人都在原地站住，往这边看。
: 这时其中一个高大少年走了过来，沉声说：“宋子宁，你这就有些不对了。我们几个一
: 直尊重你，让着你。但是你也不能一个人把所有好处都占了，更不应该欺负我的兄弟！”