Spark上怎么join avro format的数据？# Programming - 葵花宝典
h*6
1 楼
H1B 回国 返签, I-797A 下面的 I-94 出美国时交了，签证时只是交I-797的上半部分
吗？谢谢
吗？谢谢
w*g
2 楼
看见这里有scala 和spark的大牛，问问一个困扰多时的问题。Spark上怎么join avro
format的数据？
如果是plain text，用TAB分割开的数据，做join操作很容易就是把A和B表弄成(key,
value)格式的rdd再调用A.join(B)就可以了。但是我现在要join avro格式的数据，还
是A和B，格式都是(STRING, GenericRecord)。读是可以都的，因为可以执行first和
count的action，但是join貌似要shuffle，shuffle的话要serialize 临时数据。已经
用了kyro的serializer register A和B类了，还是不行。大牛谁有经验或者可以run的
例子吗？
format的数据？
如果是plain text，用TAB分割开的数据，做join操作很容易就是把A和B表弄成(key,
value)格式的rdd再调用A.join(B)就可以了。但是我现在要join avro格式的数据，还
是A和B，格式都是(STRING, GenericRecord)。读是可以都的，因为可以执行first和
count的action，但是join貌似要shuffle，shuffle的话要serialize 临时数据。已经
用了kyro的serializer register A和B类了，还是不行。大牛谁有经验或者可以run的
例子吗？
S*I
3 楼
yes
【在 h*****6 的大作中提到】
: H1B 回国 返签, I-797A 下面的 I-94 出美国时交了，签证时只是交I-797的上半部分
: 吗？谢谢
【在 h*****6 的大作中提到】
: H1B 回国 返签, I-797A 下面的 I-94 出美国时交了，签证时只是交I-797的上半部分
: 吗？谢谢
m*k
4 楼
k*n
5 楼
写一个parser,定义如何每行转成ROWRDD，再定义一个Schema,apply之后，就成为
SchemaRDD,然后可以 按照 SPARK SQL select, join 随便操作。
SchemaRDD,然后可以 按照 SPARK SQL select, join 随便操作。
相关阅读
新年胡言 (转载)Go再不靠谱也比scala强java有没有用户自定义长度integer类型？python 3 双/ 的意思。。。ugly in the hell....老魏的smart home现在做得如何json文件有个问题，缺失逗号，文件乱了作为程序员,oracle database需要掌握什么方面？目睹中国top大学一小撮毕业生之怪现象： 比mean想跟着几个牛人实践一下新语言A collection of links for streaming algorithms and data structures如何得到primary id呢？如何动态定义类和方法有人在Java/J2EE项目中用过多线程/concurrent吗？免费电子书ibm要雷四分之一人力？Go lang有多少公司 组 在用到底求推荐python based framework有没有把多个Iterable merge成一个的foundation frameworkJava 8的streaming