spark 疑问 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

spark 疑问

spark 疑问# Programming - 葵花宝典

R*k2014-11-09 08:11

1 楼

看到一个最新的新闻，是老巴的慈善晚会在6月2日结束。本次拍卖起价2.5万美元，但
在很短时间内价格便飙升至151万美元，但这还不是最终价格，最终价格是330万美元。
这330万美元大约是将近两千万人民币了。
这次拍卖的中标者身份很神秘，他选择了匿名，这一价格比去年大约增加了62万美元，
但还是最高的，最高价格是2012和2016年创下345.68万美元。
对于一个成熟的投资者而言，这吃了一下饭，难道真的就能增加这么高水平吗，如果真
这样的话，那么世界上也不会只有一个老巴了。
中国国内也有很多人和老巴超吃过。
比如国内段永平吃过，赵丹阳吃过，天神娱乐的吃过。不够好像吃了也没什么大提高，
当然这个可以当一个宣传来做，提升自己的品牌，但是这个匿名来拍，那就不知道为什
么会这样了。

A*e2014-11-09 08:11

2 楼

假设都是６５退休
学术界的１２年之内升到full prof
工业界的升到senior Scientist (大公司，类似ＵＴＣ)

o*e2014-11-09 08:11

3 楼

电话预约之前要先交签证费，我人在美国，家人也不在签证地点，怎么办啊？

m*k2014-11-09 08:11

4 楼

相应二爷号召，开始看spark，
I just checked out https://github.com/apache/spark.git
to /tmp/spark,
I set
MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=1024M -XX:ReservedCodeCacheSize=1024m"
/tmp/spark$mvn -DskipTests clean package
went well, build successful
But when I imported "examples" module as a maven project into eclipse,
I found it turned red, pom.xml is referring such as spark-core_2.10-1.2.0-
SNAPSHAT.jar which is NOT found from the repos, and I confirmed my maven
repository DO not have the referred jars after building;
Now this confuses me, how did the build of examples module pass with the
referred jars not found?
while the build at parent already passed and I DID see java classes in
examples module generated at
/tmp/spark/examples/target/scala-2.10/classes/org/apache/spark/examples
求spark大牛指点解惑一下，多谢多谢！

m*i2014-11-09 08:11

5 楼

does your employer offers a pension?

【在 A********e 的大作中提到】

: 假设都是６５退休
: 学术界的１２年之内升到full prof
: 工业界的升到senior Scientist (大公司，类似ＵＴＣ)

S*I2014-11-09 08:11

6 楼

护照复印件

【在 o********e 的大作中提到】

: 电话预约之前要先交签证费，我人在美国，家人也不在签证地点，怎么办啊？

z*e2014-11-09 08:11

7 楼

maven的问题
不是spark的问题
那个repo没找到么
那有什么办法
换一个版本看看
把pom.xml里面的改改

a*h2014-11-09 08:11

8 楼

取决于你工作了多久，存了多少，capital gain多少

【在 A********e 的大作中提到】

: 假设都是６５退休
: 学术界的１２年之内升到full prof
: 工业界的升到senior Scientist (大公司，类似ＵＴＣ)

z*e2014-11-09 08:11

9 楼

你看，不会java，搞这些就很痛苦
maven是java常见的工具
学java，有错吗？

p*22014-11-09 08:11

10 楼

我用sbt
是不是要用private repo呢

【在 m*****k 的大作中提到】

: 相应二爷号召，开始看spark，
: I just checked out https://github.com/apache/spark.git
: to /tmp/spark,
: I set
: MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=1024M -XX:ReservedCodeCacheSize=1024m"
: /tmp/spark$mvn -DskipTests clean package
: went well, build successful
: But when I imported "examples" module as a maven project into eclipse,
: I found it turned red, pom.xml is referring such as spark-core_2.10-1.2.0-
: SNAPSHAT.jar which is NOT found from the repos, and I confirmed my maven

m*k2014-11-09 08:11

11 楼

那parent 咋mvn build过的？

z*e2014-11-09 08:11

12 楼

应该是eclipse的问题
eclipse识别不到
这是ide的问题
你先看看.m2里面有没有这个jar

z*e2014-11-09 08:11

13 楼

看看.m2文件夹
里面都有什么jars
你可以手动去下一个那个.jar，然后放到.m2里面去
重启eclipse看看

【在 m*****k 的大作中提到】

: 那parent 咋mvn build过的？

z*e2014-11-09 08:11

14 楼

还有就是有可能版本号可能杯改了
SNAPSHAT去掉试试
然后去maven的repo上看看到底有什么版本的
然后换成那个版本，我记得我上次遇到了类似的问题

z*e2014-11-09 08:11

15 楼

http://mvnrepository.com/artifact/org.apache.spark
自己找

z*e2014-11-09 08:11

16 楼

不知道哈
我没有用命令行的习惯
eclipse有问题我就搞定eclipse后再做

【在 m*****k 的大作中提到】

: 那parent 咋mvn build过的？

z*e2014-11-09 08:11

17 楼

可能还需要打开eclipse看看你的.m2在哪个位置
对准了没有，别对错了

z*e2014-11-09 08:11

18 楼

http://mvnrepository.com/artifact/org.apache.spark/spark-core_2
这里面的确没有找到1.2.snapshot版本
出于某种原因被干掉了，为啥，不知道，多半问题出在创作者自身
这个文档有些凹凸或者超前了，建议改成1.1试试，估计可以通过
用软件不要用太新的版本，会有各种莫名其妙问题的

z*e2014-11-09 08:11

19 楼

好像aws上有
http://ec2-50-18-79-139.us-west-1.compute.amazonaws.com/data/sp

m*k2014-11-09 08:11

20 楼

多谢老赵费心，
改examples module 的pom.xml容易，我查的是
https://repository.cloudera.com/cloudera/cloudera-repos/org/apache/spark/ (
看parent pom.xml 的repositories)
所以我的改动
1.2.0-cdh5.3.0-SNAPSHOT

能让eclipse happy
但我的疑问是：
啥都不改动时，pom refer 的jar 找不到，
为何cmd line 在parent folder build 通过了？output 也显示各module build 都
successful，
我也看到example module 的java class 都生成在target/scala-2.10/classes/org/
apache/spark/examples/ 中，
但是 .m2/repository 没有那些1.2.0-SNAPSHOT 的jar.

z*e2014-11-09 08:11

21 楼

这要看maven里面spark的build脚本是怎么写的了
未必会依赖这个jar
eclipse是看pom.xml这个文件判断的
而mvn build未必会用到这个文件
maven用起来真是麻烦，还是gradle爽
gradle build脚本build.gradle可以在eclipse或者idea里面查到

【在 m*****k 的大作中提到】

: 多谢老赵费心，
: 改examples module 的pom.xml容易，我查的是
: https://repository.cloudera.com/cloudera/cloudera-repos/org/apache/spark/ (
: 看parent pom.xml 的repositories)
: 所以我的改动
: 1.2.0-cdh5.3.0-SNAPSHOT
:
: 能让eclipse happy
: 但我的疑问是：
: 啥都不改动时，pom refer 的jar 找不到，

m*k2014-11-09 08:11

22 楼

简而言之，
这问题与eclipse 无关，
eclipse只是帮我发现了examples module 依赖的jars根本找不到，
所以我很好奇为何先前的parent build 居然过了，examples 里的java也都生成了
class file。

z*e2014-11-09 08:11

23 楼

ide会当场debug
这种错误不需要到run才发现
maven没有这种功能
maven只是一个build tool和repo的manager
而且这个严格说来不是xml的错误
是人的错误，如果build的时候不需要用到这个jar
自然也就不会去down，不会去down自然也就当这个问题不存在
但其实这个是pom.xml写错了

【在 m*****k 的大作中提到】

: 简而言之，
: 这问题与eclipse 无关，
: eclipse只是帮我发现了examples module 依赖的jars根本找不到，
: 所以我很好奇为何先前的parent build 居然过了，examples 里的java也都生成了
: class file。

z*e2014-11-09 08:11

24 楼

我怀疑你把pom.xml里面依赖这个jar那一整段删掉都不会有问题

z*e2014-11-09 08:11

25 楼

从这个可以看出，ide是多么好的一个东西
估计写spark的人没有用eclipse
导致这种错误遗留在文档里面
误导了很多人
另外maven这个.m2是个大问题
多做几个项目，.m2就会疯狂膨胀，依赖越多，.m2就越大
而idea又喜欢在启动时候把这些index全部读进来
这样启动时候就会很慢
所以你定期删一下.m2里面的jars是个好习惯
我上次.m2有2g，我说android studio怎么那么慢呢
http://www.mitbbs.com/article_t/Java/31147903.html

d*u2014-11-09 08:11

26 楼

"maven是java常见的工具
学java，有错吗？"
我觉得脑补更重要一些。

【在 z****e 的大作中提到】

: 你看，不会java，搞这些就很痛苦
: maven是java常见的工具
: 学java，有错吗？

z*e2014-11-09 08:11

27 楼

lol
臭臭来了
臭臭你赶紧竞选ceo，复兴m$的大业就靠你了

【在 d********u 的大作中提到】

: "maven是java常见的工具
: 学java，有错吗？"
: 我觉得脑补更重要一些。

g*g2014-11-09 08:11

28 楼

臭臭跪舔了阿三老板好几个人月，又交流了菊花，据说兼具了微软和苹果的气质于一身
，人类不可阻挡。

【在 z****e 的大作中提到】

: lol
: 臭臭来了
: 臭臭你赶紧竞选ceo，复兴m$的大业就靠你了

m*k2014-11-09 08:11

29 楼

actually my test shows a normal mvn project will download the jar in pom
even no class depends on it,
I faked a non-existent jar dependency in the pom and the build immediately
fails on it .

【在 z****e 的大作中提到】

: ide会当场debug
: 这种错误不需要到run才发现
: maven没有这种功能
: maven只是一个build tool和repo的manager
: 而且这个严格说来不是xml的错误
: 是人的错误，如果build的时候不需要用到这个jar
: 自然也就不会去down，不会去down自然也就当这个问题不存在
: 但其实这个是pom.xml写错了

z*e2014-11-09 08:11

30 楼

那就不知道了
你好好研究研究maven
知道为啥后记得上来说一声

immediately

【在 m*****k 的大作中提到】

: actually my test shows a normal mvn project will download the jar in pom
: even no class depends on it,
: I faked a non-existent jar dependency in the pom and the build immediately
: fails on it .

n*02014-11-09 08:11

31 楼

eclipse的maven plugin非常渣，你需要命令行mvn eclipse：eclipse把你的工程搞成
eclipse的形状之后，用eclipse import existing project。

【在 m*****k 的大作中提到】

z*e2014-11-09 08:11

32 楼

这个不是eclipse的插件
是maven项目针对eclipse做的一个优化
可以说是对eclipse做的一个特殊照顾
其他ide，apache maven不给做
要想通过命令行搞，你要在maven上安装maven的插件才行
eclipse因为有了这个之后，就没有做什么特殊的plugin
倒是idea因为没有这个配合，自己去做了一个插件，还挺好用就是了

【在 n*******0 的大作中提到】

: eclipse的maven plugin非常渣，你需要命令行mvn eclipse：eclipse把你的工程搞成
: eclipse的形状之后，用eclipse import existing project。

l*t2014-11-09 08:11

33 楼

maven的依赖是递推的，你可以用depenency:tree来看是那个依赖引进来的
m2e可以替代eclipse:eclipse。
repo的位置可以在pom就设定。
sbt用的是ivy。还是mvn就是artifact写法不同。

immediately

【在 m*****k 的大作中提到】

: actually my test shows a normal mvn project will download the jar in pom
: even no class depends on it,
: I faked a non-existent jar dependency in the pom and the build immediately
: fails on it .

m*k2014-11-09 08:11

34 楼

搞定了，
原来是自己太傻被误导了，应该用
mvn -DskipTests clean install
来生成examples depend on 的 spark jars，
而不是象
https://github.com/apache/spark的readme说的
“Building Spark
Spark is built using Apache Maven. To build Spark and its example programs,
run:
mvn -DskipTests clean package
”
我先前看到的exampels 的classes 是我改动了pom.xml 后在examples folder build出
来的，parent build不产生examples的classes
老赵说得对，还是下1.1.0来玩省心。

n*32014-11-09 08:11

35 楼

did you try it on mac linux or window?
I guess the pre installation of hadoop is NOT necessary?
thanks.

,

【在 m*****k 的大作中提到】

: 搞定了，
: 原来是自己太傻被误导了，应该用
: mvn -DskipTests clean install
: 来生成examples depend on 的 spark jars，
: 而不是象
: https://github.com/apache/spark的readme说的
: “Building Spark
: Spark is built using Apache Maven. To build Spark and its example programs,
: run:
: mvn -DskipTests clean package

n*32014-11-09 08:11

36 楼

did you try it on mac linux or window?
I guess the pre installation of hadoop is NOT necessary?
thanks.

,

【在 m*****k 的大作中提到】

n*32014-11-09 08:11

37 楼

do you try it on Mac, linux or window?
I guess the pre installation of hadoop is NOT necessary?
thanks.

,

【在 m*****k 的大作中提到】

m*k2014-11-09 08:11

38 楼

mac and centOS both
I directly cloned from github src, not from its download page.

【在 n*****3 的大作中提到】

: do you try it on Mac, linux or window?
: I guess the pre installation of hadoop is NOT necessary?
: thanks.
:
: ,

n*32014-11-09 08:11

39 楼

got it, thanks.
I got it work in my mac air great
compiled for window7, but the interactive shell does notrub
planNed to develop locally with either Eclipse/intellij ,
but the maven dependence is challenglly annoying

【在 m*****k 的大作中提到】

: mac and centOS both
: I directly cloned from github src, not from its download page.