pyspark subtract 如何使用？ - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

pyspark subtract 如何使用？

pyspark subtract 如何使用？# DataSciences - 数据科学

w*22015-07-29 07:07

1 楼

请教spark的大牛，
有两个rdd，请问如何得到一个rdd的补集。
比如rdd1 - rdd2。
我用的是python，但是subtract好像不管用呢。
如果不用subtract，还有哪些其他的方法？
多谢了。

Z*02015-07-29 07:07

2 楼

你没有给出来为什么substract用不了，或者出了什么问题。
toy example
rdd1 = sc.parallelize(range(10))
rdd2 = sc.parallelize(range(5))
rdd1.subtract(rdd2).collect()
[8, 9, 5, 6, 7]
rdd2.subtract(rdd1).collect()
[]

w*22015-07-29 07:07

3 楼

谢谢你的回复。
我现在是有一个dataset，然后我已经随机选择了80%左右的data(labeledPoint)作为
training dataset，
然后我想把training的数据从整体中除去。
注： parsed_date是整体的数据。
train_data = parsed_data.takeSample(False, int(0.8*parsed_data.count()))
train_data = sc.parallelize(train_data)
test_data = parsed_data.subtract(train_data)
可是test_date.count() 等于整体数据的大小，training data没有被减掉。我试了你
的方法，还是没能解决。

e*92015-07-29 07:07

4 楼

用randomSplit可以实现分割数据集

【在 w**2 的大作中提到】

: 谢谢你的回复。
: 我现在是有一个dataset，然后我已经随机选择了80%左右的data(labeledPoint)作为
: training dataset，
: 然后我想把training的数据从整体中除去。
: 注： parsed_date是整体的数据。
: train_data = parsed_data.takeSample(False, int(0.8*parsed_data.count()))
: train_data = sc.parallelize(train_data)
: test_data = parsed_data.subtract(train_data)
: 可是test_date.count() 等于整体数据的大小，training data没有被减掉。我试了你
: 的方法，还是没能解决。

Z*02015-07-29 07:07

5 楼

spark提供了一个专门的函数，randomSplit。
trainingData, testData = rawData.randomSplit([0.8,0.2], 10)

【在 w**2 的大作中提到】

w*22015-07-29 07:07

6 楼

搞定了，多谢！

【在 Z**0 的大作中提到】

: spark提供了一个专门的函数，randomSplit。
: trainingData, testData = rawData.randomSplit([0.8,0.2], 10)

w*22015-07-29 07:07

7 楼

嗯，解决了。多谢！

【在 e********9 的大作中提到】

: 用randomSplit可以实现分割数据集