Redian新闻
>
用固态硬盘阵列代替物理内存的可行性
avatar
用固态硬盘阵列代替物理内存的可行性# Hardware - 计算机硬件
f*n
1
有免费电子版吗?给个link吧。wb谢
avatar
l*5
2
大家好!!我有20年的小提琴学习和演奏经验,师从旧金山音乐学院教授、中央音
乐学院教授、青岛交响乐团首席。11岁小提琴10级,专业小提琴演奏硕士毕业,曾任职
于国内职业交响乐团,目前居住在加州mountain view。来美国半年多了,一直在带学
生,大家反响还不错嘿嘿,今年秋季会在Palo Alto和Mountain View的中文学校教授小
提琴课。
音乐可以带给我们快乐,能够抒发自己的情感,在我们学习新知识的同时,陶冶人
的情操,对于小朋友来讲,更是开发智力的一种有效方法。对于我来说,孩子们天真无
邪的笑声是最美妙的音乐旋律。欢迎有兴趣学琴的孩子和家长联系我:)
我的email:z***********[email protected]
电话:650-210-6023 张老师(女)
avatar
t*z
3
用固态硬盘阵列代替物理内存的可行性
我现在的工作内容中,有一个关键环节(基因组拼接)是需要超大内存的,至少256GB
起,多多益善,而内存交换速率并不很看中。这种规模的物理内存是十分昂贵的。我想
,可不可以用数个PCIe接口的SSD组成RAID0,然后把它们用作swap/ramdisk/virtual
ram什么的。如果可以的话,它们的速度和物理内存相比如何?设置的时候有什么需要
注意的吗?
只是理论探讨。不要问我为什么不让单位买2TB物理内存之类的。
avatar
w*4
4
nail the interview
avatar
z*c
5
听上去很牛叉啊,为什么不去那种Music Acadamy当个老师呐? 我们这里就有这种集中
让孩子练音乐的学校。
avatar
t*o
6
你想想为啥有ramdisk这个东西,或者你做计算为啥要避开swap memory.
1. ssd大概是ram速度的1%,access time, ssd是几十ms, ram是几个ns, 这个靠
raid0上来,成本,可靠性都成啥了
2. 现在的cpu体系,你可以从ram pre-load到cpu, 不能i/o pre-load啊,大改系统?

256GB

【在 t*****z 的大作中提到】
: 用固态硬盘阵列代替物理内存的可行性
: 我现在的工作内容中,有一个关键环节(基因组拼接)是需要超大内存的,至少256GB
: 起,多多益善,而内存交换速率并不很看中。这种规模的物理内存是十分昂贵的。我想
: ,可不可以用数个PCIe接口的SSD组成RAID0,然后把它们用作swap/ramdisk/virtual
: ram什么的。如果可以的话,它们的速度和物理内存相比如何?设置的时候有什么需要
: 注意的吗?
: 只是理论探讨。不要问我为什么不让单位买2TB物理内存之类的。

avatar
l*8
7
我google "nail the interview", 有很多结果,不知道是哪一个?
有没有人给个链接? 谢谢!
avatar
M*A
8
人家愿意在家教孩子,非得去学校才是牛人吗?
avatar
l*1
9
按写内存的频率写,就算有trim,SSD也很快就得完蛋了吧?

256GB

【在 t*****z 的大作中提到】
: 用固态硬盘阵列代替物理内存的可行性
: 我现在的工作内容中,有一个关键环节(基因组拼接)是需要超大内存的,至少256GB
: 起,多多益善,而内存交换速率并不很看中。这种规模的物理内存是十分昂贵的。我想
: ,可不可以用数个PCIe接口的SSD组成RAID0,然后把它们用作swap/ramdisk/virtual
: ram什么的。如果可以的话,它们的速度和物理内存相比如何?设置的时候有什么需要
: 注意的吗?
: 只是理论探讨。不要问我为什么不让单位买2TB物理内存之类的。

avatar
c*p
10
看review,没有看到有很好的评价啊。
avatar
l*5
11
呵呵谢谢你的建议,我想如果是个为学生负责的老师,在哪都是一样的。
avatar
a*o
12
显然你程序架构有严重问题,如果size matters,speed does not,那你显然根本就不
应该有一大堆数据在memory里,弄个数据库做bankend才靠谱。

256GB

【在 t*****z 的大作中提到】
: 用固态硬盘阵列代替物理内存的可行性
: 我现在的工作内容中,有一个关键环节(基因组拼接)是需要超大内存的,至少256GB
: 起,多多益善,而内存交换速率并不很看中。这种规模的物理内存是十分昂贵的。我想
: ,可不可以用数个PCIe接口的SSD组成RAID0,然后把它们用作swap/ramdisk/virtual
: ram什么的。如果可以的话,它们的速度和物理内存相比如何?设置的时候有什么需要
: 注意的吗?
: 只是理论探讨。不要问我为什么不让单位买2TB物理内存之类的。

avatar
c*t
13
Cracking The Coding Interview.
就是所谓的 career cup 150题
我想楼主想问的是这本?
avatar
a*a
14
可惜不在我们这里
avatar
n*7
15
你用什么assembler?
还是改进算法更实际
搜搜memory efficient genome assembly很多结果
不过我都没用过
avatar
m*n
16
到底是哪一本?
Thanks。
avatar
M*A
17
不在学校学费可以更affordable
去学校学的又被学校扒一层皮
avatar
g*t
18
想法有问题, 内存不是用来存储数据的,
内存一般是放代码,放临时数据,堆栈,
avatar
v*s
19
programming interview exposed 也不错。

【在 m****n 的大作中提到】
: 到底是哪一本?
: Thanks。

avatar
s*2
20
张老师,可不可以推荐下给初学儿童用的小提琴品牌型号?如果是国内的正好我可以回
去背个过来。赫赫。
你觉得Amazon上这种琴可以作为孩子的初学琴吗?
http://www.amazon.com/Mendini-Violin-Finish-Shoulder-Strings/dp
Thanks~~!

【在 l*******5 的大作中提到】
: 呵呵谢谢你的建议,我想如果是个为学生负责的老师,在哪都是一样的。
avatar
h*u
21
可以
现在有公司在做
很贵

256GB

【在 t*****z 的大作中提到】
: 用固态硬盘阵列代替物理内存的可行性
: 我现在的工作内容中,有一个关键环节(基因组拼接)是需要超大内存的,至少256GB
: 起,多多益善,而内存交换速率并不很看中。这种规模的物理内存是十分昂贵的。我想
: ,可不可以用数个PCIe接口的SSD组成RAID0,然后把它们用作swap/ramdisk/virtual
: ram什么的。如果可以的话,它们的速度和物理内存相比如何?设置的时候有什么需要
: 注意的吗?
: 只是理论探讨。不要问我为什么不让单位买2TB物理内存之类的。

avatar
g*v
22
Mark
avatar
z*c
23
感觉小提琴挺难。 整上一年的,还锯不出来个全音。 不象钢琴,能弹个赏心悦目的小
曲了。
avatar
t*z
24
谢谢!你说的对我很有帮助。

【在 t******o 的大作中提到】
: 你想想为啥有ramdisk这个东西,或者你做计算为啥要避开swap memory.
: 1. ssd大概是ram速度的1%,access time, ssd是几十ms, ram是几个ns, 这个靠
: raid0上来,成本,可靠性都成啥了
: 2. 现在的cpu体系,你可以从ram pre-load到cpu, 不能i/o pre-load啊,大改系统?
:
: 256GB

avatar
M*A
25
哈哈!哈哈哈!
跟我想的一样。我是不喜欢小提琴的音色。

【在 z**c 的大作中提到】
: 感觉小提琴挺难。 整上一年的,还锯不出来个全音。 不象钢琴,能弹个赏心悦目的小
: 曲了。

avatar
t*z
26
速度也是需要的,只是不是最关键的因素,但也不能降低到磁盘的水平。

【在 a*o 的大作中提到】
: 显然你程序架构有严重问题,如果size matters,speed does not,那你显然根本就不
: 应该有一大堆数据在memory里,弄个数据库做bankend才靠谱。
:
: 256GB

avatar
l*5
27
国内的牌子有很多,德音牌小提琴、凤灵牌小提琴、红棉牌小提琴、百灵牌小提琴、金
星牌小提琴、金音牌小提琴、田园牌小提琴、森林牌小提琴、金雀牌小提琴、金声牌小
提琴。大都小孩子会用红棉和金音的琴,我个人是喜欢金音的,不仅外观有点仿古雅光
的,重要的是音色也比红棉的要好一些,不过你不能奢求初级琴能发出多好的音呵呵。
当然价格也稍微贵一点,你选用SIZE不一样,价格也就不一样。网上买有一点不好就是
你不能试用,比如有些做工问题,或者细节问题你不可能通过图片看的到,就算是一样
的牌子的琴,琴和琴的音色也是不一样,试拉一下,感觉感觉音色是否是自己喜欢的再
决定比较稳妥。还有一点要说明的是,要注意从国内带琴过来会对琴造成一点的损坏,
我去年带琴过来的时候,面板和侧板有一点开胶,估计是气压造成的。回来修一修就好
了。

【在 s******2 的大作中提到】
: 张老师,可不可以推荐下给初学儿童用的小提琴品牌型号?如果是国内的正好我可以回
: 去背个过来。赫赫。
: 你觉得Amazon上这种琴可以作为孩子的初学琴吗?
: http://www.amazon.com/Mendini-Violin-Finish-Shoulder-Strings/dp
: Thanks~~!

avatar
t*z
28
我大概都看过一遍。我们所买的CLC就是很节省内存,速度还很快,在笔记本上都能拼
接人类基因组。但是,大家总觉得不靠谱。为了结果尽可能精确,我们还是倾向于用学
术界的assembler。我用的是IDBA-UD和SPAdes。
原则上,耗费内存的量跟de Brujin graph的复杂度有关,这一道坎过不去,不管什么
算法。
算法上是有人在改进。最近的几个程序都用了Bloom filter来节省内存,内存下去了,
结果精确度不一定上来。我也需要调查下。

【在 n******7 的大作中提到】
: 你用什么assembler?
: 还是改进算法更实际
: 搜搜memory efficient genome assembly很多结果
: 不过我都没用过

avatar
s*2
29
Thanks~~~~ :-)

【在 l*******5 的大作中提到】
: 国内的牌子有很多,德音牌小提琴、凤灵牌小提琴、红棉牌小提琴、百灵牌小提琴、金
: 星牌小提琴、金音牌小提琴、田园牌小提琴、森林牌小提琴、金雀牌小提琴、金声牌小
: 提琴。大都小孩子会用红棉和金音的琴,我个人是喜欢金音的,不仅外观有点仿古雅光
: 的,重要的是音色也比红棉的要好一些,不过你不能奢求初级琴能发出多好的音呵呵。
: 当然价格也稍微贵一点,你选用SIZE不一样,价格也就不一样。网上买有一点不好就是
: 你不能试用,比如有些做工问题,或者细节问题你不可能通过图片看的到,就算是一样
: 的牌子的琴,琴和琴的音色也是不一样,试拉一下,感觉感觉音色是否是自己喜欢的再
: 决定比较稳妥。还有一点要说明的是,要注意从国内带琴过来会对琴造成一点的损坏,
: 我去年带琴过来的时候,面板和侧板有一点开胶,估计是气压造成的。回来修一修就好
: 了。

avatar
a*f
30
基因组拼接搜寻空间太大了,不能从算法上解决吗?比如搞成类似MapR的结构速度成本
都能优化

256GB

【在 t*****z 的大作中提到】
: 用固态硬盘阵列代替物理内存的可行性
: 我现在的工作内容中,有一个关键环节(基因组拼接)是需要超大内存的,至少256GB
: 起,多多益善,而内存交换速率并不很看中。这种规模的物理内存是十分昂贵的。我想
: ,可不可以用数个PCIe接口的SSD组成RAID0,然后把它们用作swap/ramdisk/virtual
: ram什么的。如果可以的话,它们的速度和物理内存相比如何?设置的时候有什么需要
: 注意的吗?
: 只是理论探讨。不要问我为什么不让单位买2TB物理内存之类的。

avatar
a*o
31
我也觉得还是算法的问题,不可能一定要搁内存里才能解决。
要按这个说法google的搜索服务器还不得弄个几光年的内存啊。

【在 a*f 的大作中提到】
: 基因组拼接搜寻空间太大了,不能从算法上解决吗?比如搞成类似MapR的结构速度成本
: 都能优化
:
: 256GB

avatar
t*z
32
你是说UlltraDIMM吗?

【在 h*******u 的大作中提到】
: 可以
: 现在有公司在做
: 很贵
:
: 256GB

avatar
t*z
33
你说得有道理。算法一直跟不上去。好在即使最传统的基因组拼接算法,内存需求量只
跟基因组复杂度有关,而跟数据量无关。所以即使以后数据越来越多了,内存这个问题
也不会更加严重。
Anyway, good data beat good algorithm. 只要有大数据,什么算法都不重要。

【在 a*o 的大作中提到】
: 我也觉得还是算法的问题,不可能一定要搁内存里才能解决。
: 要按这个说法google的搜索服务器还不得弄个几光年的内存啊。

avatar
h*u
34
类似的
还有更猛的,容量几百T

【在 t*****z 的大作中提到】
: 你是说UlltraDIMM吗?
avatar
j*o
35
你的方向不太对,从来只有内存替代磁盘的,从来没有反过来的。从架构上,你可以直
接访问内存,但是没办法直接访问磁盘。弄到最后你的成本可能比直接上大内存更高。
avatar
a9
36
一直就有,windows叫虚拟内存,linux叫swap。哈 哈

【在 j******o 的大作中提到】
: 你的方向不太对,从来只有内存替代磁盘的,从来没有反过来的。从架构上,你可以直
: 接访问内存,但是没办法直接访问磁盘。弄到最后你的成本可能比直接上大内存更高。

avatar
L*s
37
你们这个什么de Brujin graph,是全部要存在内存里么?
有没有其他像B+树一样基于硬盘的数据结构可选?
你们这个行业,其他组是怎么做的,调研过么?

【在 t*****z 的大作中提到】
: 我大概都看过一遍。我们所买的CLC就是很节省内存,速度还很快,在笔记本上都能拼
: 接人类基因组。但是,大家总觉得不靠谱。为了结果尽可能精确,我们还是倾向于用学
: 术界的assembler。我用的是IDBA-UD和SPAdes。
: 原则上,耗费内存的量跟de Brujin graph的复杂度有关,这一道坎过不去,不管什么
: 算法。
: 算法上是有人在改进。最近的几个程序都用了Bloom filter来节省内存,内存下去了,
: 结果精确度不一定上来。我也需要调查下。

avatar
d*s
38
不差钱的话关注EMC的DSSD产品。还有一段时间才能开始卖。具体参数不能说,但是产
品就是你这个思路,解决的就是你这样的问题。
avatar
t*z
39
现在绝大多数人用de Brujin graph(少数人用overlap graph),需要把大量数据(k-
mer)全放在内存里,从原理上说我也想不出不放内存的方法。但是我并不是CS出身,
也许想得不够清楚。

[发表自未名空间手机版 - m.mitbbs.com]

【在 L***s 的大作中提到】
: 你们这个什么de Brujin graph,是全部要存在内存里么?
: 有没有其他像B+树一样基于硬盘的数据结构可选?
: 你们这个行业,其他组是怎么做的,调研过么?

avatar
L*s
40
不干这行,我不懂。
不过还是建议你调研一些你们bioinformatics业界主流做法是什么,不要闭门造车。
你肯定不是第一个碰到此类问题的人,解决方案可能早就有了。

k-

【在 t*****z 的大作中提到】
: 现在绝大多数人用de Brujin graph(少数人用overlap graph),需要把大量数据(k-
: mer)全放在内存里,从原理上说我也想不出不放内存的方法。但是我并不是CS出身,
: 也许想得不够清楚。
:
: [发表自未名空间手机版 - m.mitbbs.com]

avatar
t*z
41
既然你不是这行的,请不要断言我闭门造车。

【在 L***s 的大作中提到】
: 不干这行,我不懂。
: 不过还是建议你调研一些你们bioinformatics业界主流做法是什么,不要闭门造车。
: 你肯定不是第一个碰到此类问题的人,解决方案可能早就有了。
:
: k-

avatar
c*p
42
全放在虚存里,然后一部分一部分处理呗。处理的那部分在物理内存里,剩下的在硬盘。
总不可能同时处理256GB的数据吧……

k-

【在 t*****z 的大作中提到】
: 现在绝大多数人用de Brujin graph(少数人用overlap graph),需要把大量数据(k-
: mer)全放在内存里,从原理上说我也想不出不放内存的方法。但是我并不是CS出身,
: 也许想得不够清楚。
:
: [发表自未名空间手机版 - m.mitbbs.com]

avatar
d*a
43
我的建议是买一个配大内存的server,价格也不是特别贵,比软件开发或系
统维护的人工费用便宜多了。比如说Dell Tower Server T630,
配16x16GB的内存,不到6000美元。
软件开发或系统维护的费用,动不动就是十万美元以上。就算是在学校,支
持一个PhD学生一年少说也要四五万美元,支持一个postdoc要十万美元。所以
正规的做法就是上大内存。花人工来省内存,是不省钱的。
用SSD当内存用的想法不可行,前面的人已经说过了。

256GB

【在 t*****z 的大作中提到】
: 用固态硬盘阵列代替物理内存的可行性
: 我现在的工作内容中,有一个关键环节(基因组拼接)是需要超大内存的,至少256GB
: 起,多多益善,而内存交换速率并不很看中。这种规模的物理内存是十分昂贵的。我想
: ,可不可以用数个PCIe接口的SSD组成RAID0,然后把它们用作swap/ramdisk/virtual
: ram什么的。如果可以的话,它们的速度和物理内存相比如何?设置的时候有什么需要
: 注意的吗?
: 只是理论探讨。不要问我为什么不让单位买2TB物理内存之类的。

avatar
y*0
44
我们用128g内存加2*k20c的显卡,已经是2年前的东西了。我们这暂时不会更新,因为
在等新的xeon,ddr4内存和volta显卡,pascal。
你的算法估计是找一个算一个,瓶颈都在内存上,估计改进的余地也不大了,直接上大
内存吧,ebay上有128g的,不知道你能不能改变一下数据结构之类的,省一半bits。

【在 t*****z 的大作中提到】
: 既然你不是这行的,请不要断言我闭门造车。
avatar
v*e
45
GPU运算呀,羡慕。这个k20强在双精度浮点吧,做基因组是不是不需要浮点?

【在 y*****0 的大作中提到】
: 我们用128g内存加2*k20c的显卡,已经是2年前的东西了。我们这暂时不会更新,因为
: 在等新的xeon,ddr4内存和volta显卡,pascal。
: 你的算法估计是找一个算一个,瓶颈都在内存上,估计改进的余地也不大了,直接上大
: 内存吧,ebay上有128g的,不知道你能不能改变一下数据结构之类的,省一半bits。

avatar
y*0
46
不太懂基因组,问问楼主。
nvidia变化太猛了,不得不转型。如果不用双精度,titan x就完胜k20了。

【在 v*******e 的大作中提到】
: GPU运算呀,羡慕。这个k20强在双精度浮点吧,做基因组是不是不需要浮点?
avatar
t*z
47
我还没遇到过需要GPU的。以前做进化分析可以用到。现在唯一跟GPU有关的是BLAST的
某些特殊变种,但是应用不广泛。至于基因组拼接,因为涉及大内存,恐怕不可能用
GPU。

【在 y*****0 的大作中提到】
: 不太懂基因组,问问楼主。
: nvidia变化太猛了,不得不转型。如果不用双精度,titan x就完胜k20了。

avatar
t*z
48
我想,如果我有钱了,也会给自己买一台这样的工作站。现在我不在其位,不可能要求
买这种设备。你的建议向来都是让公家买好机器,是因为你的工作大量涉及这些事务吗?

【在 d***a 的大作中提到】
: 我的建议是买一个配大内存的server,价格也不是特别贵,比软件开发或系
: 统维护的人工费用便宜多了。比如说Dell Tower Server T630,
: 配16x16GB的内存,不到6000美元。
: 软件开发或系统维护的费用,动不动就是十万美元以上。就算是在学校,支
: 持一个PhD学生一年少说也要四五万美元,支持一个postdoc要十万美元。所以
: 正规的做法就是上大内存。花人工来省内存,是不省钱的。
: 用SSD当内存用的想法不可行,前面的人已经说过了。
:
: 256GB

avatar
t*z
49
你可以想象一个超大的hash table。。。

盘。

【在 c****p 的大作中提到】
: 全放在虚存里,然后一部分一部分处理呗。处理的那部分在物理内存里,剩下的在硬盘。
: 总不可能同时处理256GB的数据吧……
:
: k-

avatar
V*r
50
如果算法没有改进余地,租机器行不行?不一定要自己装机的
avatar
t*z
51
我并不真的准备装机,只是好奇下这件事情。我们单位有1TB内存的机器让我用(需要
排队但不是很紧张)。

【在 V*********r 的大作中提到】
: 如果算法没有改进余地,租机器行不行?不一定要自己装机的
avatar
h*v
52
如果是跑lightroom和photoshop处理照片,大牛有啥电脑配置建议?我比较喜欢NUC那种
特小的form factor的,或者比NUC大点。前面帖子提到的alienware看着不错啊。不太喜
欢midtower。

吗?

【在 t*****z 的大作中提到】
: 我想,如果我有钱了,也会给自己买一台这样的工作站。现在我不在其位,不可能要求
: 买这种设备。你的建议向来都是让公家买好机器,是因为你的工作大量涉及这些事务吗?

avatar
c*g
53
如果对交换速率要求不太高,当然可以。我这里有个SSD虚拟出512G内存,用起来还可
以。
而且如果需要的话,可以弄上10台20台做阵列。
今年2TB的SSD应该价格降到大家可以接受的程度。

256GB

【在 t*****z 的大作中提到】
: 用固态硬盘阵列代替物理内存的可行性
: 我现在的工作内容中,有一个关键环节(基因组拼接)是需要超大内存的,至少256GB
: 起,多多益善,而内存交换速率并不很看中。这种规模的物理内存是十分昂贵的。我想
: ,可不可以用数个PCIe接口的SSD组成RAID0,然后把它们用作swap/ramdisk/virtual
: ram什么的。如果可以的话,它们的速度和物理内存相比如何?设置的时候有什么需要
: 注意的吗?
: 只是理论探讨。不要问我为什么不让单位买2TB物理内存之类的。

avatar
t*z
54
这方面我并不了解哎,不好意思

那种
太喜
[发表自未名空间手机版 - m.mitbbs.com]

【在 h**v 的大作中提到】
: 如果是跑lightroom和photoshop处理照片,大牛有啥电脑配置建议?我比较喜欢NUC那种
: 特小的form factor的,或者比NUC大点。前面帖子提到的alienware看着不错啊。不太喜
: 欢midtower。
:
: 吗?

avatar
t*z
55
谢谢你的正能量!你是说10个20个SSD组RAID吗?一般主板都没有那么多SATA接口呢。

[发表自未名空间手机版 - m.mitbbs.com]

【在 c*****g 的大作中提到】
: 如果对交换速率要求不太高,当然可以。我这里有个SSD虚拟出512G内存,用起来还可
: 以。
: 而且如果需要的话,可以弄上10台20台做阵列。
: 今年2TB的SSD应该价格降到大家可以接受的程度。
:
: 256GB

avatar
c*g
56
不是,是用网络搭建阵列,这样理论上可以无限拓展
要是自己的机房,互相之间1Gbps的网速,我自己实测SSD的读写速度大概是280 MBps,
所以用1Gbps应该不会形成瓶颈。当然要做适当的网络优化。

【在 t*****z 的大作中提到】
: 谢谢你的正能量!你是说10个20个SSD组RAID吗?一般主板都没有那么多SATA接口呢。
:
: [发表自未名空间手机版 - m.mitbbs.com]

avatar
d*a
58
你记错了吧,我推荐过价格低廉的个人电子产品。
但这种用几百G内存的需求,个人计算中很少见。
用SSD代替,简单不可行。买大内存机器,是正常的做法,
也是工作中性价比好的做法,如此而已。

吗?

【在 t*****z 的大作中提到】
: 我想,如果我有钱了,也会给自己买一台这样的工作站。现在我不在其位,不可能要求
: 买这种设备。你的建议向来都是让公家买好机器,是因为你的工作大量涉及这些事务吗?

avatar
t*z
59
我想,这种分布式计算的编程应该比较麻烦吧,在基因组拼接方面,只有很少的程序支
持分布式。对了,我听说超算节点之间的通讯可以达到PCI express的水平,不知道自
己的机房能不能用呢。

【在 c*****g 的大作中提到】
: 不是,是用网络搭建阵列,这样理论上可以无限拓展
: 要是自己的机房,互相之间1Gbps的网速,我自己实测SSD的读写速度大概是280 MBps,
: 所以用1Gbps应该不会形成瓶颈。当然要做适当的网络优化。

avatar
L*s
60
内存往大了挑,16G起步,推荐32G
见附件,正常打开几个程序,这还没开虚拟机,就已经24G了

那种
太喜

【在 h**v 的大作中提到】
: 如果是跑lightroom和photoshop处理照片,大牛有啥电脑配置建议?我比较喜欢NUC那种
: 特小的form factor的,或者比NUC大点。前面帖子提到的alienware看着不错啊。不太喜
: 欢midtower。
:
: 吗?

avatar
n*7
61
我们这里是56.6 Gbps Infiniband connection
我不知道node-to-node是不是能独享这个带宽,还是要share
不过如果没有别人用multiple node的代码的话,应该区别不大吧
wiki了一下PCIE 4,确实在一个级别:
1x
15.754 Gbit/s (1969.2 MB/s)
16x
252.064 Gbit/s (31.508 GB/s)

【在 t*****z 的大作中提到】
: 我想,这种分布式计算的编程应该比较麻烦吧,在基因组拼接方面,只有很少的程序支
: 持分布式。对了,我听说超算节点之间的通讯可以达到PCI express的水平,不知道自
: 己的机房能不能用呢。

avatar
m*n
62
不需要吧。photoshop,8000X6000像素的图片,8G的内存都足够了。你非要建立50个层
,同时开20个这样的图片处理,那是自己管理不好。

【在 L***s 的大作中提到】
: 内存往大了挑,16G起步,推荐32G
: 见附件,正常打开几个程序,这还没开虚拟机,就已经24G了
:
: 那种
: 太喜

avatar
m*n
63
lightroom对内存吃的也不厉害。不过lightroom 和photoshop都是对多核心利用的相当
好的软件。堆核吧。

那种
太喜

【在 h**v 的大作中提到】
: 如果是跑lightroom和photoshop处理照片,大牛有啥电脑配置建议?我比较喜欢NUC那种
: 特小的form factor的,或者比NUC大点。前面帖子提到的alienware看着不错啊。不太喜
: 欢midtower。
:
: 吗?

avatar
L*s
64
就算是“建立50个层,同时开20个这样的图片处理”,那也是工作需要。
我就是一个普通用户,凭啥要我费心思去“管理”这些劳什子事。
最好的“管理”,就是给足资源放心用,“不用管理”。

【在 m*****n 的大作中提到】
: 不需要吧。photoshop,8000X6000像素的图片,8G的内存都足够了。你非要建立50个层
: ,同时开20个这样的图片处理,那是自己管理不好。

avatar
h*u
65
你们用infiniband是什么类型的应用?

【在 n******7 的大作中提到】
: 我们这里是56.6 Gbps Infiniband connection
: 我不知道node-to-node是不是能独享这个带宽,还是要share
: 不过如果没有别人用multiple node的代码的话,应该区别不大吧
: wiki了一下PCIE 4,确实在一个级别:
: 1x
: 15.754 Gbit/s (1969.2 MB/s)
: 16x
: 252.064 Gbit/s (31.508 GB/s)

avatar
d*a
66
分布式计算,数据交换通过网络I/O进行。网络I/O的延迟比内存访问慢了四五个数据量
,所以对于需要以随机方式访问大内存的程序来说,分布式计算不是一个选项。
就象是骑自行车和坐高铁之间的差别。:)

【在 t*****z 的大作中提到】
: 我想,这种分布式计算的编程应该比较麻烦吧,在基因组拼接方面,只有很少的程序支
: 持分布式。对了,我听说超算节点之间的通讯可以达到PCI express的水平,不知道自
: 己的机房能不能用呢。

avatar
n*7
67
就是inter-node communication啊
很多软件可以用上multiple nodes

【在 h*******u 的大作中提到】
: 你们用infiniband是什么类型的应用?
avatar
h*u
68
计算为主?

【在 n******7 的大作中提到】
: 就是inter-node communication啊
: 很多软件可以用上multiple nodes

avatar
n*7
69
我看了一下我们计算节点到储存节点也是40Gbps的速度,应该也是这个东西

【在 h*******u 的大作中提到】
: 计算为主?
avatar
m*n
70
一个图片要建立50个层,肯定不是一个好的图片工作者。你图片搞了50个层,不论计算
机速度多快,都会发现做起来一团糟。什么艺术性也都扯淡了,就看着到处是层,找不
到。
这和码工们强调算法才是提高速度的关键一个道理。

【在 L***s 的大作中提到】
: 就算是“建立50个层,同时开20个这样的图片处理”,那也是工作需要。
: 我就是一个普通用户,凭啥要我费心思去“管理”这些劳什子事。
: 最好的“管理”,就是给足资源放心用,“不用管理”。

avatar
c*z
71
考虑用多节点吧。比如MATLAB处理巨型矩阵单机内存不够就可以用多机,具体各节点是
用mpi,物理连接可能是ib也可能是10gige,具体看你的需求了。如果数据可以分开处
理最后集中就用不着ib之类低延迟的网络。

256GB

【在 t*****z 的大作中提到】
: 用固态硬盘阵列代替物理内存的可行性
: 我现在的工作内容中,有一个关键环节(基因组拼接)是需要超大内存的,至少256GB
: 起,多多益善,而内存交换速率并不很看中。这种规模的物理内存是十分昂贵的。我想
: ,可不可以用数个PCIe接口的SSD组成RAID0,然后把它们用作swap/ramdisk/virtual
: ram什么的。如果可以的话,它们的速度和物理内存相比如何?设置的时候有什么需要
: 注意的吗?
: 只是理论探讨。不要问我为什么不让单位买2TB物理内存之类的。

相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。