Spark上怎么join avro format的数据？# Programming - 葵花宝典
h*6
1 楼
H1B 回国 返签, I-797A 下面的 I-94 出美国时交了，签证时只是交I-797的上半部分
吗？谢谢
吗？谢谢
w*g
2 楼
看见这里有scala 和spark的大牛，问问一个困扰多时的问题。Spark上怎么join avro
format的数据？
如果是plain text，用TAB分割开的数据，做join操作很容易就是把A和B表弄成(key,
value)格式的rdd再调用A.join(B)就可以了。但是我现在要join avro格式的数据，还
是A和B，格式都是(STRING, GenericRecord)。读是可以都的，因为可以执行first和
count的action，但是join貌似要shuffle，shuffle的话要serialize 临时数据。已经
用了kyro的serializer register A和B类了，还是不行。大牛谁有经验或者可以run的
例子吗？
format的数据？
如果是plain text，用TAB分割开的数据，做join操作很容易就是把A和B表弄成(key,
value)格式的rdd再调用A.join(B)就可以了。但是我现在要join avro格式的数据，还
是A和B，格式都是(STRING, GenericRecord)。读是可以都的，因为可以执行first和
count的action，但是join貌似要shuffle，shuffle的话要serialize 临时数据。已经
用了kyro的serializer register A和B类了，还是不行。大牛谁有经验或者可以run的
例子吗？
S*I
3 楼
yes
【在 h*****6 的大作中提到】
: H1B 回国 返签, I-797A 下面的 I-94 出美国时交了，签证时只是交I-797的上半部分
: 吗？谢谢
【在 h*****6 的大作中提到】
: H1B 回国 返签, I-797A 下面的 I-94 出美国时交了，签证时只是交I-797的上半部分
: 吗？谢谢
m*k
4 楼
k*n
5 楼
写一个parser,定义如何每行转成ROWRDD，再定义一个Schema,apply之后，就成为
SchemaRDD,然后可以 按照 SPARK SQL select, join 随便操作。
SchemaRDD,然后可以 按照 SPARK SQL select, join 随便操作。
相关阅读
如何定时上传excel文件至sharepointDL不会退潮老年程序员的表率有推荐做deeplearning的机器的吗？民科一把当今无人车吧大家的machine learning或ai主要用在哪方面【BSSD】城市之光算机器学习吗？pytorch技术上先进一些？机器学习训练样本重复问题本站是不是被牙膏厂的补丁影响了？这个网站是不是经常抽风？请问xgboost训练需要保持不同类别样本数尽量一致吗？请推荐java 机器学习库 。。。记错了，是墨登时代，大数据也不来纠正一下我觉得写的不错，附带一个例子才2页不到我来给FP泼泼凉水吧React native有什么好的教程？昨天装 lightbgm直接吧anacoda装完蛋了[bssd]套路之二xgboost 训练小感