诚心请教Spark EMR配置 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

诚心请教Spark EMR配置

诚心请教Spark EMR配置# DataSciences - 数据科学

l*n2015-09-07 07:09

1 楼

1.52ct., F color VS2 clarity, 62.4% depth, 55% table, excellent cut, polish
and symmetry, no fluorescence, stone sp/$19,800
对这个钻石比较满意，还没有拿到，但是价为和主要几个factors都是满意的
不过不是很清楚这个cut如何，虽然已经是3EX，但是GIA现在越来越松了，所以看看大
家的意见如何。
另外fluorescence，有颜色和没有关系大么？

k*c2015-09-07 07:09

2 楼

第一次相亲，是同事介绍的，那个男生是同事的老公的同学，大我三岁，看了照片，虽然不是什么帅哥类型，但是感觉上还算不错，就答应见一面。
第一次见面的地方是离家不远的一个餐厅，见面的第一次彼此都挺尴尬的，我本身就是一个比较被动的人，在陌生人面前话也比较少。他呢，我感觉也是一个比较慢热的人，吃饭过程中也很少讲话，说的都是一些我接不下去的话题，感觉也没什么幽默感，这一顿饭吃下来，气氛特别尴尬。。。。
这顿饭给我吃的，浑身难受，吃也没吃好，，，还给我造成了心理阴影，现在说到相亲我就害怕。。。生怕遇到下一个相亲男也是这样，啊！！太恐怖了不敢想了，，，，
我的相亲经历怎么这么悲催，如果下次还要跟这样的相亲男相亲，打死我我也不会去的！！
是不是所有第一次相亲都要经历这种尴尬的局面？张嘴就介绍自己的家庭状况，恋爱状况。。。。这种感觉真的很奇怪，有木有？你说咱们相亲能够先来一段开场白，热热身，调节一下气氛啊！太尴尬了！！再也不要啦！！！！！！

w*22015-09-07 07:09

3 楼

最近在版上发了几个问题，谢谢大家的解答。LZ目前的水平也只能跑跑spark python的
程序，对于build spark cluster方面还是有很多不理解的地方。
比如我现在在建一个Spark EMR集群，1个master，2个core，没有task。master和core
都是15g那种, 总共是45g。我就在aws emr的那个网页上create cluster，然后ssh进入
master node。然后问题来了。
首先，memory shortage。我之前以为spark－submit的code都是要跑在core nodes上的
。可是我现在感觉是跑在master上面，根本没有用到core，所以memory才不够用呢？
master和core是如何交互的呢？
需要在spark-submit clause里面增加其他参数嘛？我之前用了增加了driver memory，
感觉可以跑一些数据量大一点的程序。executor memory和driver memory是什么关系呢
？他们都是core的参数嘛，还是master的参数，或者他们只要加起来比27g (45g*0.6)
小就行了？
其次，我试着configure “maximizeResourceAllocation”，create一个json file，
把它放在s3上。但是create cluster的时候出现error msg，"Classification 'null'
is not valid." 也请大家帮忙解答一下。有其他的办法实现这个maximize resource
allocation吗？
json 如下，
[
{
"Classification": "spark",
"Properties": {
"maximizeResourceAllocation": "true"
}
}
]
请大家多多帮忙，不胜感激，以后有钱了发包子。

l*n2015-09-07 07:09

4 楼

另外，不知道这个版的传统，愿意为帮忙的朋友送上包子，谢谢。

m*r2015-09-07 07:09

5 楼

executor memory 是slave 的
和driver memory是master的memory

t*32015-09-07 07:09

6 楼

有link吗？Table略偏小，Depth略偏深，所以要有Crown Angle和Pavilion Angle才能
计算HCA值。

w*22015-09-07 07:09

7 楼

Thanks ~

【在 m*********r 的大作中提到】

: executor memory 是slave 的
: 和driver memory是master的memory

l*n2015-09-07 07:09

8 楼

没有，我不是从网上买的，是从Jeweler那里拿到的，不过我可以再向他要一些更多的
信息。
请问有哪些数据是大家比较关注的？就从精华区里的那几个词找来？：）
谢谢回复

【在 t***3 的大作中提到】

: 有link吗？Table略偏小，Depth略偏深，所以要有Crown Angle和Pavilion Angle才能
: 计算HCA值。

w*22015-09-07 07:09

9 楼

This post is by far the closest to what I want,
http://www.chinabtp.com/spark-not-able-to-run-in-yarn-cluster-m
I am not sue what configuration file/folder it refers to in the slave node.
There are conf for yarn and conf for spark (which has "spark-defaults.conf")

l*n2015-09-07 07:09

10 楼

主要看这几个factors吗？还有这个文章说的数据靠谱不？
http://www.mitbbs.com/article_t2/WeddingBells/1517.html
钻石最佳的黄金比例比较：
1.Total Depth Percentage全深比：57.5%-63%，严选60%-62%
2.Table Percentage 台宽比：52%-62%, 严选55-58%
3.Crown Angle 冠角：31.5-36.5度，严选34-35度
4.Crown Height Percentage 冠高比例： 12.5%-17%，严选 14-16%
5. Pavilion Angle 亭角： 40.4-41.8度，严选40.5度
6.Pavillion Depth Percentage 亭深比例： 42.5-44.5%，严选42.5-43.5.%
7.Star Facet Length Percentage 星面比例：45%-65%，严选55-60%
8. Lower Girdle Facet Percentage 腰下刻面比例：70%-85%，严选70-75%
9.Girdle Thickness 腰围厚度：Thin,Thin to Medium.,Thin to Slightly Thick,
Medium,Medium to Slightly Thick,Slightly Thick.等六种严选 Slightly Thin to
Medium,Medium,Medium to Slightly Thick等三种
10.Culet Size 底尖大小：None-very small,small,严选None (3克拉以上底尖磨面会
比较好，无底尖磨面，钻石容易破损。）（磨个底尖是不会磨损）

t*32015-09-07 07:09

11 楼

初步过滤，要Table，Depth，Crown Angle，Pavilion Angle 数据。
问店里要Ideal scope图像。

t*32015-09-07 07:09

12 楼

这些数据给出初选范围，可以参考。

【在 l***n 的大作中提到】

: 主要看这几个factors吗？还有这个文章说的数据靠谱不？
: http://www.mitbbs.com/article_t2/WeddingBells/1517.html
: 钻石最佳的黄金比例比较：
: 1.Total Depth Percentage全深比：57.5%-63%，严选60%-62%
: 2.Table Percentage 台宽比：52%-62%, 严选55-58%
: 3.Crown Angle 冠角：31.5-36.5度，严选34-35度
: 4.Crown Height Percentage 冠高比例： 12.5%-17%，严选 14-16%
: 5. Pavilion Angle 亭角： 40.4-41.8度，严选40.5度
: 6.Pavillion Depth Percentage 亭深比例： 42.5-44.5%，严选42.5-43.5.%
: 7.Star Facet Length Percentage 星面比例：45%-65%，严选55-60%

t*32015-09-07 07:09

13 楼

fluorescence对颜色级别低（偏黄的）有增白作用；对颜色级别高的有反作用。目前行
情是会降低一点价值。看个人是否喜欢。其实闪蓝光挺好的。

t*32015-09-07 07:09

14 楼

可以比较一下bluenile.com上面的，价格在$16,000-$19,000.

m*62015-09-07 07:09

15 楼

好大的一颗钻石啊