Spark上怎么join avro format的数据？# Programming - 葵花宝典
h*6
1 楼
H1B 回国 返签, I-797A 下面的 I-94 出美国时交了，签证时只是交I-797的上半部分
吗？谢谢
吗？谢谢
w*g
2 楼
看见这里有scala 和spark的大牛，问问一个困扰多时的问题。Spark上怎么join avro
format的数据？
如果是plain text，用TAB分割开的数据，做join操作很容易就是把A和B表弄成(key,
value)格式的rdd再调用A.join(B)就可以了。但是我现在要join avro格式的数据，还
是A和B，格式都是(STRING, GenericRecord)。读是可以都的，因为可以执行first和
count的action，但是join貌似要shuffle，shuffle的话要serialize 临时数据。已经
用了kyro的serializer register A和B类了，还是不行。大牛谁有经验或者可以run的
例子吗？
format的数据？
如果是plain text，用TAB分割开的数据，做join操作很容易就是把A和B表弄成(key,
value)格式的rdd再调用A.join(B)就可以了。但是我现在要join avro格式的数据，还
是A和B，格式都是(STRING, GenericRecord)。读是可以都的，因为可以执行first和
count的action，但是join貌似要shuffle，shuffle的话要serialize 临时数据。已经
用了kyro的serializer register A和B类了，还是不行。大牛谁有经验或者可以run的
例子吗？
S*I
3 楼
yes
【在 h*****6 的大作中提到】
: H1B 回国 返签, I-797A 下面的 I-94 出美国时交了，签证时只是交I-797的上半部分
: 吗？谢谢
【在 h*****6 的大作中提到】
: H1B 回国 返签, I-797A 下面的 I-94 出美国时交了，签证时只是交I-797的上半部分
: 吗？谢谢
m*k
4 楼
k*n
5 楼
写一个parser,定义如何每行转成ROWRDD，再定义一个Schema,apply之后，就成为
SchemaRDD,然后可以 按照 SPARK SQL select, join 随便操作。
SchemaRDD,然后可以 按照 SPARK SQL select, join 随便操作。
相关阅读
问一个关于matlab的look at this:-)Fortran question in PLC?问个C++的问题关于 VC++ vitual, reload 和 derive的一个问题...Plz Help: How to make the cmd window not show in my program谁能讲讲这3个概念？为啥有人喜欢把_s结尾的结构typedef成_t结尾的，有讲究么？问个关于cin的问题don't understand this list (C++ STL)optimizationOutlook .pst file access (转载)问个技术问题: 怎样把其他网站的搜索结果显示在自己的网站上revision controlpython注释问题。a C questionQuestion about Base Tag...How to generate .dll files from a .c file using VC6.0?一个类的非静态成员函数可以用作回调函吗?如何使用这个template?