logo
Redian新闻
>未名空间
>Programming - 葵花宝典
>
spark 疑问
avatar
spark 疑问# Programming - 葵花宝典
R*k
1 楼
看到一个最新的新闻，是老巴的慈善晚会在6月2日结束。本次拍卖起价2.5万美元，但
在很短时间内价格便飙升至151万美元，但这还不是最终价格，最终价格是330万美元。
这330万美元大约是将近两千万人民币了。
这次拍卖的中标者身份很神秘，他选择了匿名，这一价格比去年大约增加了62万美元，
但还是最高的，最高价格是2012和2016年创下345.68万美元。
对于一个成熟的投资者而言，这吃了一下饭，难道真的就能增加这么高水平吗，如果真
这样的话，那么世界上也不会只有一个老巴了。
中国国内也有很多人和老巴超吃过。
比如国内段永平吃过，赵丹阳吃过，天神娱乐的吃过。不够好像吃了也没什么大提高，
当然这个可以当一个宣传来做，提升自己的品牌，但是这个匿名来拍，那就不知道为什
么会这样了。
avatar
A*e
2 楼
假设都是６５退休
学术界的１２年之内升到full prof
工业界的升到senior Scientist (大公司，类似ＵＴＣ)
avatar
o*e
3 楼
电话预约之前要先交签证费，我人在美国，家人也不在签证地点，怎么办啊？
avatar
m*k
4 楼
相应二爷号召，开始看spark，
I just checked out https://github.com/apache/spark.git
to /tmp/spark,
I set
MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=1024M -XX:ReservedCodeCacheSize=1024m"
/tmp/spark$mvn -DskipTests clean package
went well, build successful
But when I imported "examples" module as a maven project into eclipse,
I found it turned red, pom.xml is referring such as spark-core_2.10-1.2.0-
SNAPSHAT.jar which is NOT found from the repos, and I confirmed my maven
repository DO not have the referred jars after building;
Now this confuses me, how did the build of examples module pass with the
referred jars not found?
while the build at parent already passed and I DID see java classes in
examples module generated at
/tmp/spark/examples/target/scala-2.10/classes/org/apache/spark/examples
求spark大牛指点解惑一下，多谢多谢！
avatar
m*i
5 楼
does your employer offers a pension?

【在 A********e 的大作中提到】
: 假设都是６５退休
: 学术界的１２年之内升到full prof
: 工业界的升到senior Scientist (大公司，类似ＵＴＣ)
avatar
S*I
6 楼
护照复印件

【在 o********e 的大作中提到】
: 电话预约之前要先交签证费，我人在美国，家人也不在签证地点，怎么办啊？
avatar
z*e
7 楼
maven的问题
不是spark的问题
那个repo没找到么
那有什么办法
换一个版本看看
把pom.xml里面的改改
avatar
a*h
8 楼
取决于你工作了多久，存了多少，capital gain多少

【在 A********e 的大作中提到】
: 假设都是６５退休
: 学术界的１２年之内升到full prof
: 工业界的升到senior Scientist (大公司，类似ＵＴＣ)
avatar
z*e
9 楼
你看，不会java，搞这些就很痛苦
maven是java常见的工具
学java，有错吗？
avatar
p*2
10 楼
我用sbt
是不是要用private repo呢

【在 m*****k 的大作中提到】
: 相应二爷号召，开始看spark，
: I just checked out https://github.com/apache/spark.git
: to /tmp/spark,
: I set
: MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=1024M -XX:ReservedCodeCacheSize=1024m"
: /tmp/spark$mvn -DskipTests clean package
: went well, build successful
: But when I imported "examples" module as a maven project into eclipse,
: I found it turned red, pom.xml is referring such as spark-core_2.10-1.2.0-
: SNAPSHAT.jar which is NOT found from the repos, and I confirmed my maven
avatar
m*k
11 楼
那parent 咋mvn build过的？
avatar
z*e
12 楼
应该是eclipse的问题
eclipse识别不到
这是ide的问题
你先看看.m2里面有没有这个jar
avatar
z*e
13 楼
看看.m2文件夹
里面都有什么jars
你可以手动去下一个那个.jar，然后放到.m2里面去
重启eclipse看看

【在 m*****k 的大作中提到】
: 那parent 咋mvn build过的？
avatar
z*e
14 楼
还有就是有可能版本号可能杯改了
SNAPSHAT去掉试试
然后去maven的repo上看看到底有什么版本的
然后换成那个版本，我记得我上次遇到了类似的问题
avatar
z*e
16 楼
不知道哈
我没有用命令行的习惯
eclipse有问题我就搞定eclipse后再做

【在 m*****k 的大作中提到】
: 那parent 咋mvn build过的？
avatar
z*e
17 楼
可能还需要打开eclipse看看你的.m2在哪个位置
对准了没有，别对错了
avatar
z*e
18 楼
http://mvnrepository.com/artifact/org.apache.spark/spark-core_2
这里面的确没有找到1.2.snapshot版本
出于某种原因被干掉了，为啥，不知道，多半问题出在创作者自身
这个文档有些凹凸或者超前了，建议改成1.1试试，估计可以通过
用软件不要用太新的版本，会有各种莫名其妙问题的
avatar
m*k
20 楼
多谢老赵费心，
改examples module 的pom.xml容易，我查的是
https://repository.cloudera.com/cloudera/cloudera-repos/org/apache/spark/ (
看parent pom.xml 的repositories)
所以 我的改动
1.2.0-cdh5.3.0-SNAPSHOT

能让eclipse happy
但我的疑问是：
啥都不改动时，pom refer 的jar 找不到，
为何cmd line 在parent folder build 通过了？output 也显示各module build 都
successful，
我也看到example module 的java class 都生成在target/scala-2.10/classes/org/
apache/spark/examples/ 中，
但是 .m2/repository 没有那些1.2.0-SNAPSHOT 的jar.
avatar
z*e
21 楼
这要看maven里面spark的build脚本是怎么写的了
未必会依赖这个jar
eclipse是看pom.xml这个文件判断的
而mvn build未必会用到这个文件
maven用起来真是麻烦，还是gradle爽
gradle build脚本build.gradle可以在eclipse或者idea里面查到

【在 m*****k 的大作中提到】
: 多谢老赵费心，
: 改examples module 的pom.xml容易，我查的是
: https://repository.cloudera.com/cloudera/cloudera-repos/org/apache/spark/ (
: 看parent pom.xml 的repositories)
: 所以 我的改动
: 1.2.0-cdh5.3.0-SNAPSHOT
:
: 能让eclipse happy
: 但我的疑问是：
: 啥都不改动时，pom refer 的jar 找不到，
avatar
m*k
22 楼
简而言之，
这问题与eclipse 无关，
eclipse只是帮我发现了examples module 依赖的jars根本找不到，
所以我很好奇为何先前的parent build 居然过了，examples 里的java也都生成了
class file。
avatar
z*e
23 楼
ide会当场debug
这种错误不需要到run才发现
maven没有这种功能
maven只是一个build tool和repo的manager
而且这个严格说来不是xml的错误
是人的错误，如果build的时候不需要用到这个jar
自然也就不会去down，不会去down自然也就当这个问题不存在
但其实这个是pom.xml写错了

【在 m*****k 的大作中提到】
: 简而言之，
: 这问题与eclipse 无关，
: eclipse只是帮我发现了examples module 依赖的jars根本找不到，
: 所以我很好奇为何先前的parent build 居然过了，examples 里的java也都生成了
: class file。
avatar
z*e
24 楼
我怀疑你把pom.xml里面依赖这个jar那一整段删掉都不会有问题
avatar
z*e
25 楼
从这个可以看出，ide是多么好的一个东西
估计写spark的人没有用eclipse
导致这种错误遗留在文档里面
误导了很多人
另外maven这个.m2是个大问题
多做几个项目，.m2就会疯狂膨胀，依赖越多，.m2就越大
而idea又喜欢在启动时候把这些index全部读进来
这样启动时候就会很慢
所以你定期删一下.m2里面的jars是个好习惯
我上次.m2有2g，我说android studio怎么那么慢呢
http://www.mitbbs.com/article_t/Java/31147903.html
avatar
d*u
26 楼
"maven是java常见的工具
学java，有错吗？"
我觉得脑补更重要一些。

【在 z****e 的大作中提到】
: 你看，不会java，搞这些就很痛苦
: maven是java常见的工具
: 学java，有错吗？
avatar
z*e
27 楼
lol
臭臭来了
臭臭你赶紧竞选ceo，复兴m$的大业就靠你了

【在 d********u 的大作中提到】
: "maven是java常见的工具
: 学java，有错吗？"
: 我觉得脑补更重要一些。
avatar
g*g
28 楼
臭臭跪舔了阿三老板好几个人月，又交流了菊花，据说兼具了微软和苹果的气质于一身
，人类不可阻挡。

【在 z****e 的大作中提到】
: lol
: 臭臭来了
: 臭臭你赶紧竞选ceo，复兴m$的大业就靠你了
avatar
m*k
29 楼
actually my test shows a normal mvn project will download the jar in pom
even no class depends on it,
I faked a non-existent jar dependency in the pom and the build immediately
fails on it .

【在 z****e 的大作中提到】
: ide会当场debug
: 这种错误不需要到run才发现
: maven没有这种功能
: maven只是一个build tool和repo的manager
: 而且这个严格说来不是xml的错误
: 是人的错误，如果build的时候不需要用到这个jar
: 自然也就不会去down，不会去down自然也就当这个问题不存在
: 但其实这个是pom.xml写错了
avatar
z*e
30 楼
那就不知道了
你好好研究研究maven
知道为啥后记得上来说一声

immediately

【在 m*****k 的大作中提到】
: actually my test shows a normal mvn project will download the jar in pom
: even no class depends on it,
: I faked a non-existent jar dependency in the pom and the build immediately
: fails on it .
avatar
n*0
31 楼
eclipse的maven plugin非常渣，你需要命令行mvn eclipse：eclipse把你的工程搞成
eclipse的形状之后，用eclipse import existing project。

【在 m*****k 的大作中提到】
: 相应二爷号召，开始看spark，
: I just checked out https://github.com/apache/spark.git
: to /tmp/spark,
: I set
: MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=1024M -XX:ReservedCodeCacheSize=1024m"
: /tmp/spark$mvn -DskipTests clean package
: went well, build successful
: But when I imported "examples" module as a maven project into eclipse,
: I found it turned red, pom.xml is referring such as spark-core_2.10-1.2.0-
: SNAPSHAT.jar which is NOT found from the repos, and I confirmed my maven
avatar
z*e
32 楼
这个不是eclipse的插件
是maven项目针对eclipse做的一个优化
可以说是对eclipse做的一个特殊照顾
其他ide，apache maven不给做
要想通过命令行搞，你要在maven上安装maven的插件才行
eclipse因为有了这个之后，就没有做什么特殊的plugin
倒是idea因为没有这个配合，自己去做了一个插件，还挺好用就是了

【在 n*******0 的大作中提到】
: eclipse的maven plugin非常渣，你需要命令行mvn eclipse：eclipse把你的工程搞成
: eclipse的形状之后，用eclipse import existing project。
avatar
l*t
33 楼
maven的依赖是递推的，你可以用depenency:tree来看是那个依赖引进来的
m2e可以替代eclipse:eclipse。
repo的位置可以在pom就设定。
sbt用的是ivy。还是mvn就是artifact写法不同。

immediately

【在 m*****k 的大作中提到】
: actually my test shows a normal mvn project will download the jar in pom
: even no class depends on it,
: I faked a non-existent jar dependency in the pom and the build immediately
: fails on it .
avatar
m*k
34 楼
搞定了，
原来是自己太傻被误导了，应该用
mvn -DskipTests clean install
来生成examples depend on 的 spark jars，
而不是象
https://github.com/apache/spark的readme说的
“Building Spark
Spark is built using Apache Maven. To build Spark and its example programs,
run:
mvn -DskipTests clean package
”
我先前看到的exampels 的classes 是我改动了pom.xml 后在examples folder build出
来的，parent build不产生examples的classes
老赵说得对，还是下1.1.0来玩省心。
avatar
n*3
35 楼
did you try it on mac linux or window?
I guess the pre installation of hadoop is NOT necessary?
thanks.

,

【在 m*****k 的大作中提到】
: 搞定了，
: 原来是自己太傻被误导了，应该用
: mvn -DskipTests clean install
: 来生成examples depend on 的 spark jars，
: 而不是象
: https://github.com/apache/spark的readme说的
: “Building Spark
: Spark is built using Apache Maven. To build Spark and its example programs,
: run:
: mvn -DskipTests clean package
avatar
n*3
36 楼
did you try it on mac linux or window?
I guess the pre installation of hadoop is NOT necessary?
thanks.

,

【在 m*****k 的大作中提到】
: 搞定了，
: 原来是自己太傻被误导了，应该用
: mvn -DskipTests clean install
: 来生成examples depend on 的 spark jars，
: 而不是象
: https://github.com/apache/spark的readme说的
: “Building Spark
: Spark is built using Apache Maven. To build Spark and its example programs,
: run:
: mvn -DskipTests clean package
avatar
n*3
37 楼
do you try it on Mac, linux or window?
I guess the pre installation of hadoop is NOT necessary?
thanks.

,

【在 m*****k 的大作中提到】
: 搞定了，
: 原来是自己太傻被误导了，应该用
: mvn -DskipTests clean install
: 来生成examples depend on 的 spark jars，
: 而不是象
: https://github.com/apache/spark的readme说的
: “Building Spark
: Spark is built using Apache Maven. To build Spark and its example programs,
: run:
: mvn -DskipTests clean package
avatar
m*k
38 楼
mac and centOS both
I directly cloned from github src, not from its download page.

【在 n*****3 的大作中提到】
: do you try it on Mac, linux or window?
: I guess the pre installation of hadoop is NOT necessary?
: thanks.
:
: ,
avatar
n*3
39 楼
got it, thanks.
I got it work in my mac air great
compiled for window7, but the interactive shell does notrub
planNed to develop locally with either Eclipse/intellij ,
but the maven dependence is challenglly annoying

【在 m*****k 的大作中提到】
: mac and centOS both
: I directly cloned from github src, not from its download page.
相关阅读
这是另一个c++的bug么？问个小孩子学习编程的问题闲的蛋疼安装了五个流氓软件程序员的鄙视链 zz请教如何学java和找工作C++ operator = overloading用copy & swap有啥优点其实智商高马工就是非常轻松的工作，跟科班没有一点关系ETrade API这是递归么？ (转载)c++ copy reference 还是deep copyairbnb 主要用的什么技术？其实灌水的各位码农都工作轻松，收入不错。array如何get set？mahout现在还有人用不？问一个java基础的初始化的问题，一直搞不明白其实javascript 最接近自然语言大家的GitHub里都放点啥j2ee是最好的技术，所有在美國找工作的华人都应该学有想一起学习算法的朋友吗？我擦。。。：观好虫骂贴有感。。。
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章，不代表同意其说法或描述，仅为提供更多信息，也不构成任何建议。文章信息的合法性及真实性由其作者负责，与Redian.news及其运营公司无关。欢迎投稿，如发现稿件侵权，或作者不愿在本网发表文章，请版权拥有者通知本网处理。