Spark上怎么join avro format的数据？# Programming - 葵花宝典
h*6
1 楼
H1B 回国 返签, I-797A 下面的 I-94 出美国时交了，签证时只是交I-797的上半部分
吗？谢谢
吗？谢谢
w*g
2 楼
看见这里有scala 和spark的大牛，问问一个困扰多时的问题。Spark上怎么join avro
format的数据？
如果是plain text，用TAB分割开的数据，做join操作很容易就是把A和B表弄成(key,
value)格式的rdd再调用A.join(B)就可以了。但是我现在要join avro格式的数据，还
是A和B，格式都是(STRING, GenericRecord)。读是可以都的，因为可以执行first和
count的action，但是join貌似要shuffle，shuffle的话要serialize 临时数据。已经
用了kyro的serializer register A和B类了，还是不行。大牛谁有经验或者可以run的
例子吗？
format的数据？
如果是plain text，用TAB分割开的数据，做join操作很容易就是把A和B表弄成(key,
value)格式的rdd再调用A.join(B)就可以了。但是我现在要join avro格式的数据，还
是A和B，格式都是(STRING, GenericRecord)。读是可以都的，因为可以执行first和
count的action，但是join貌似要shuffle，shuffle的话要serialize 临时数据。已经
用了kyro的serializer register A和B类了，还是不行。大牛谁有经验或者可以run的
例子吗？
S*I
3 楼
yes
【在 h*****6 的大作中提到】
: H1B 回国 返签, I-797A 下面的 I-94 出美国时交了，签证时只是交I-797的上半部分
: 吗？谢谢
【在 h*****6 的大作中提到】
: H1B 回国 返签, I-797A 下面的 I-94 出美国时交了，签证时只是交I-797的上半部分
: 吗？谢谢
m*k
4 楼
k*n
5 楼
写一个parser,定义如何每行转成ROWRDD，再定义一个Schema,apply之后，就成为
SchemaRDD,然后可以 按照 SPARK SQL select, join 随便操作。
SchemaRDD,然后可以 按照 SPARK SQL select, join 随便操作。
相关阅读
用AWS Elastic Beanstalk怎么配置连接MySQL数据库？why Oracle failed to stop Google from using Java盲？肓？与其无意义的争论，不如干点实事google，facebook用的什么语言？除了读CS master，可以通过考什么certificate找到码农工作机会吗Re: 给小孩儿存钱那种方式最好啊？？ (转载)练java的来说说怎么用java替代vtk itk qt能推荐一本linux c++ 的书吗？这个版跟jobhunting 版掉了个说几个backend从C++导向Java的知名公司吧转： 为什么Web App的运行速度慢关于clojureDijkstra算法看C码工写Python真是捉急MongoDB for Node.js Developers (转载)如何clean up C语言中的#if condition statement？有人对QT熟不?师傅们给普及一下jvmWill phone interview a lao-uh-san and a chinese folk next w (转载)