请教: 什么的开源软件能够提高读数据的速度? - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Computation - 科学计算

请教: 什么的开源软件能够提高读数据的速度?

请教: 什么的开源软件能够提高读数据的速度?# Computation - 科学计算

p*k2008-07-08 07:07

1 楼

我目前正在做一个SUBPROJECT, 要求非常简单, 就是如快速地READ大的数据文件.主
PROJECT是一个大型模拟计算,中间回产生很多大的数据文件,每一步计算都要依赖上次
的计算结果.因此,我想要一个很有效的存储文件并快速的READ数据. MPI好象可以用,但
是又好象没有必要,因为并没有很多PROCESSES 间COMMUNICATION.不知道有没有其他的
开源软件可以达到这个目的.
目前PROJECT就是单机器上运行. 我的想法是利用网络,把一个大的数据文件分布到3-4
个机器上,然后同时读每个机器,那么数据读取的速度应该是大大加快.那么我应该使用
MPI-IO还是一个PVFS?
多谢不吝指教!

s*i2008-07-08 07:07

2 楼

paraview?

4

【在 p*******k 的大作中提到】

: 我目前正在做一个SUBPROJECT, 要求非常简单, 就是如快速地READ大的数据文件.主
: PROJECT是一个大型模拟计算,中间回产生很多大的数据文件,每一步计算都要依赖上次
: 的计算结果.因此,我想要一个很有效的存储文件并快速的READ数据. MPI好象可以用,但
: 是又好象没有必要,因为并没有很多PROCESSES 间COMMUNICATION.不知道有没有其他的
: 开源软件可以达到这个目的.
: 目前PROJECT就是单机器上运行. 我的想法是利用网络,把一个大的数据文件分布到3-4
: 个机器上,然后同时读每个机器,那么数据读取的速度应该是大大加快.那么我应该使用
: MPI-IO还是一个PVFS?
: 多谢不吝指教!

p*e2008-07-08 07:07

3 楼

http://www.kangye.org/google-releases-protocol-buffers/
Google推出Protocol Buffers：争夺网络时代数据格式

4

【在 p*******k 的大作中提到】

p*k2008-07-08 07:07

4 楼

多谢指点. 我将跟我导师商量这个. :-)

【在 s**i 的大作中提到】

: paraview?
:
: 4

p*k2008-07-08 07:07

5 楼

很新的东东吗? 要是遇到什么BUGS, 是不是可以很快GOOGLE到SOLUTIONS? :-)
我是绝对新手. 迄今为止, 我的基础就是CS那些接近理论的课程和低级的JAVA/C++编程
. 太新太复杂的东西对我都是灾难. 安装和CONFIGURE任何软件对我都是恶梦.:-(
谢谢你的建议. :-)

【在 p*****e 的大作中提到】

: http://www.kangye.org/google-releases-protocol-buffers/
: Google推出Protocol Buffers：争夺网络时代数据格式
:
: 4