Redian新闻
>
淘宝上one x 1400RMB还带耳机
avatar
淘宝上one x 1400RMB还带耳机# PDA - 掌中宝
l*k
1
NAS上存放了几个T的小数据文件(100k - 1000k之间),处理程序的访问具有很高的集
中性,即短期内频繁访问1G到10G的固定数据,其它上T的数据几个月也不会碰。这种情
况下用SSD甚至内存缓存可以大幅度提高访问速度。
有这样的解决方案么?
avatar
p*o
3
你留个10G内存不用, OS就能帮你缓存10G的文件。

【在 l********k 的大作中提到】
: NAS上存放了几个T的小数据文件(100k - 1000k之间),处理程序的访问具有很高的集
: 中性,即短期内频繁访问1G到10G的固定数据,其它上T的数据几个月也不会碰。这种情
: 况下用SSD甚至内存缓存可以大幅度提高访问速度。
: 有这样的解决方案么?

avatar
a*e
5
瓶颈又不在盘速上

★ 发自iPhone App: ChineseWeb 1.0.6

【在 l********k 的大作中提到】
: NAS上存放了几个T的小数据文件(100k - 1000k之间),处理程序的访问具有很高的集
: 中性,即短期内频繁访问1G到10G的固定数据,其它上T的数据几个月也不会碰。这种情
: 况下用SSD甚至内存缓存可以大幅度提高访问速度。
: 有这样的解决方案么?

avatar
d*a
6
绝对假的
avatar
d*1
7
ARC就可以, 才几个G,
大型存储可以用l2ARC

【在 l********k 的大作中提到】
: NAS上存放了几个T的小数据文件(100k - 1000k之间),处理程序的访问具有很高的集
: 中性,即短期内频繁访问1G到10G的固定数据,其它上T的数据几个月也不会碰。这种情
: 况下用SSD甚至内存缓存可以大幅度提高访问速度。
: 有这样的解决方案么?

avatar
N*k
8
促销结束,升到3500了,不过还有一些价格很低的。
难道还有山寨的?
avatar
l*k
9
第一次访问当然是受网速限制。之后再访问,如果有缓存,瓶颈是缓存。这是cache的
基本思路。

【在 a***e 的大作中提到】
: 瓶颈又不在盘速上
:
: ★ 发自iPhone App: ChineseWeb 1.0.6

avatar
E*e
10
Seek time is the key I believe.
I once configured my ownCloud data to be on HDD, but later on moved to SSD
because of the drastic performance gap...

【在 a***e 的大作中提到】
: 瓶颈又不在盘速上
:
: ★ 发自iPhone App: ChineseWeb 1.0.6

avatar
a*s
11
Linux的LVM现在支持SSD cache
avatar
d*a
12
你是码工? 把处理程序改一下,自己搞个local buffer, 再把client机的内存加大。
NAS那一端不用动。这样做,绕过网络瓶颈,比在NAS上加cache效果好得多。

【在 l********k 的大作中提到】
: NAS上存放了几个T的小数据文件(100k - 1000k之间),处理程序的访问具有很高的集
: 中性,即短期内频繁访问1G到10G的固定数据,其它上T的数据几个月也不会碰。这种情
: 况下用SSD甚至内存缓存可以大幅度提高访问速度。
: 有这样的解决方案么?

avatar
l*k
13
cache肯定是加在client上了。我对windows管理缓存的效率始终不是很信任。

【在 d***a 的大作中提到】
: 你是码工? 把处理程序改一下,自己搞个local buffer, 再把client机的内存加大。
: NAS那一端不用动。这样做,绕过网络瓶颈,比在NAS上加cache效果好得多。

avatar
d*a
14
可以自己写一个简单的file system cache程序。比如说用C编程,应用程序用fread()
读数据,那就自己写一个myfread()代码,内嵌cache算法,用内存或local SSD来做
cache。这个做起来不算复杂。
如果NAS上的数据是很多小文件,也可以改fopen()变成myfopen():检查要打开的文件有
没有local备份。如果没有,从NAS远端拷贝到local SSD或内存虚拟盘。这样做更简单
些,不过要求数据按小文件组织。

【在 l********k 的大作中提到】
: cache肯定是加在client上了。我对windows管理缓存的效率始终不是很信任。
avatar
E*e
15
城里人真会玩

件有

【在 d***a 的大作中提到】
: 可以自己写一个简单的file system cache程序。比如说用C编程,应用程序用fread()
: 读数据,那就自己写一个myfread()代码,内嵌cache算法,用内存或local SSD来做
: cache。这个做起来不算复杂。
: 如果NAS上的数据是很多小文件,也可以改fopen()变成myfopen():检查要打开的文件有
: 没有local备份。如果没有,从NAS远端拷贝到local SSD或内存虚拟盘。这样做更简单
: 些,不过要求数据按小文件组织。

avatar
d*a
16
呵呵,这是小意思了。

【在 E***e 的大作中提到】
: 城里人真会玩
:
: 件有

avatar
p*o
17
是说kernel3.1里的的BCache么,有个BCache-tools,Block设备层的,不需要在file层
自己搞,有信心牛的过l2Arc另说。
avatar
l*k
18
自己写,不用花心思搞gui,确实不会很复杂。决定cache谁的算法都很简单很基本。

件有

【在 d***a 的大作中提到】
: 可以自己写一个简单的file system cache程序。比如说用C编程,应用程序用fread()
: 读数据,那就自己写一个myfread()代码,内嵌cache算法,用内存或local SSD来做
: cache。这个做起来不算复杂。
: 如果NAS上的数据是很多小文件,也可以改fopen()变成myfopen():检查要打开的文件有
: 没有local备份。如果没有,从NAS远端拷贝到local SSD或内存虚拟盘。这样做更简单
: 些,不过要求数据按小文件组织。

avatar
a*e
19
是很基本,不过保证一致性正确性,要搞得旱涝保收也不是那么容易
特别是多线程的环境,说总是轻松的

【在 l********k 的大作中提到】
: 自己写,不用花心思搞gui,确实不会很复杂。决定cache谁的算法都很简单很基本。
:
: 件有

相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。