Redian新闻
>
[转载] 分类存储大家有什么高招?
avatar
[转载] 分类存储大家有什么高招?# Computation - 科学计算
a*n
1
【 以下文字转载自 Linux 讨论区 】
【 原文由 adven 所发表 】
主要是要快。
一堆数据,需要分n个类别归类存储。
n要scalable,比如 1 Mega, 1 Giga, 1 Tera, 1 Peta ...
各个类别数据多少参差不齐,且不预先知道各类数据总长度
简单起见,先考虑放内存吧,怎么放才快?
(显然,一边放,一边malloc太慢,而且各类里自己的数据也不在连续空间)
复杂点,要内存耗费不起,得存磁盘里,怎么放才快?
(显然,同时开n个文件不现实也不高效,想想磁头跳来跳去就可怕。。。)
棘手的难题啊,大家帮忙参详参详。
另外,这类问题的专业名称叫啥(英文/中文),看能否google到一些hint/paper...
谢了。
avatar
a*n
2
for examples:
#1
100MB integer data
100K categories
256MB Physical Memory
#2
1GB integer data
10M categories
256MB Physical Memory
#3
1TB integer data
10G categories
256MB Physical Memory

【在 a***n 的大作中提到】
: 【 以下文字转载自 Linux 讨论区 】
: 【 原文由 adven 所发表 】
: 主要是要快。
: 一堆数据,需要分n个类别归类存储。
: n要scalable,比如 1 Mega, 1 Giga, 1 Tera, 1 Peta ...
: 各个类别数据多少参差不齐,且不预先知道各类数据总长度
: 简单起见,先考虑放内存吧,怎么放才快?
: (显然,一边放,一边malloc太慢,而且各类里自己的数据也不在连续空间)
: 复杂点,要内存耗费不起,得存磁盘里,怎么放才快?
: (显然,同时开n个文件不现实也不高效,想想磁头跳来跳去就可怕。。。)

相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。