问个spark的问题 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

问个spark的问题

问个spark的问题# Programming - 葵花宝典

l*k2017-05-18 07:05

1 楼

笔记本A和B
可以把A的数据考到移动硬盘上，在从移动硬盘考到B上
但是总这么弄觉得太麻烦
有啥直接copy的办法么？
谢谢
还想过在一个笔记本上开个ServeU，不过貌似要做个NAT映射？
其中A常年通过无线路由连到comcast网络上，comast宽带有固定的ip
B在外网，
有啥好的B可以远程登录A的软件么？
就知道个PCanywhere，不过没用过

T*u2017-05-18 07:05

2 楼

在emr上跑了一个spark的cluster, 想用它处理我们在rds上postgres里的数据
ssh到master, run
/usr/lib/spark/bin/pyspark --driver-class-path ./postgresql-9.4.1211.jar --
conf spark.executor.extraClassPath=./postgresql-9.4.1211.jar --jars ./
postgresql-9.4.1211.jar
进去之后然后运行
>>> df = spark.read.format('jdbc').options(url=dbstring).options(dbtable='
users').options(driver='org.postgresql.Driver').load()
在本地的docker里面都没问题。但在这里出现问题
py4j.protocol.Py4JJavaError: An error occurred while calling o53.load.
在security group里面加了inbound
PostgreSQL
TCP
5432
0.0.0.0/0
还是连不上。
不知道是什么问题，也可能是一开始就做错了。还请大侠教我怎么做。太感谢了。

l*k2017-05-18 07:05

3 楼

对了，两台笔记本都是xp

【在 l**k 的大作中提到】

: 笔记本A和B
: 可以把A的数据考到移动硬盘上，在从移动硬盘考到B上
: 但是总这么弄觉得太麻烦
: 有啥直接copy的办法么？
: 谢谢
: 还想过在一个笔记本上开个ServeU，不过貌似要做个NAT映射？
: 其中A常年通过无线路由连到comcast网络上，comast宽带有固定的ip
: B在外网，
: 有啥好的B可以远程登录A的软件么？
: 就知道个PCanywhere，不过没用过

S*w2017-05-18 07:05

4 楼

再看看网络端口设置

D*a2017-05-18 07:05

5 楼

dropbox
http://www.dropbox.com/referrals/NTI3OTg4MTE5

【在 l**k 的大作中提到】

d*n2017-05-18 07:05

6 楼

确保worker上也装了jdbc？

【在 T*****u 的大作中提到】

: 在emr上跑了一个spark的cluster, 想用它处理我们在rds上postgres里的数据
: ssh到master, run
: /usr/lib/spark/bin/pyspark --driver-class-path ./postgresql-9.4.1211.jar --
: conf spark.executor.extraClassPath=./postgresql-9.4.1211.jar --jars ./
: postgresql-9.4.1211.jar
: 进去之后然后运行
: >>> df = spark.read.format('jdbc').options(url=dbstring).options(dbtable='
: users').options(driver='org.postgresql.Driver').load()
: 在本地的docker里面都没问题。但在这里出现问题
: py4j.protocol.Py4JJavaError: An error occurred while calling o53.load.