如何快速保存大块数据（工作中遇到的问题） - 未名空间MITBBS历史存档

如何快速保存大块数据（工作中遇到的问题）# Programming - 葵花宝典

s*e2008-08-06 07:08

1 楼

系统运行时，内存中保留大量metadata提供快速检索，系统停止运行时，将内存中的数
据保存到文件中，以便下次系统启动的时候提取。
问题是，如果系统crash的话，或者机器掉电，那么内存中的数据就丢失了，如果在系
统运行时保存整个metadata, 耗时又太长。所以希望能够实现一个lazy write系统，仅
将修改过的数据写回文件。
请有经验的大侠指教。

n*e2008-08-06 07:08

2 楼

同问，我有类似的问题，不知道怎么解决。

【在 s******e 的大作中提到】

: 系统运行时，内存中保留大量metadata提供快速检索，系统停止运行时，将内存中的数
: 据保存到文件中，以便下次系统启动的时候提取。
: 问题是，如果系统crash的话，或者机器掉电，那么内存中的数据就丢失了，如果在系
: 统运行时保存整个metadata, 耗时又太长。所以希望能够实现一个lazy write系统，仅
: 将修改过的数据写回文件。
: 请有经验的大侠指教。

s*e2008-08-06 07:08

3 楼

我也没有做过，只是提供思路而已。
1. dirty marker，把数据分成比较好处理的小块，每个小块mark为dirty的写回文件。
2. callback或者observer，随便你怎么叫吧，比如 OnSetAttr()，就把修改过的数据
写回文件。或者后台线程，定时检查，将mark为dirty的写回文件。

【在 s******e 的大作中提到】

: 系统运行时，内存中保留大量metadata提供快速检索，系统停止运行时，将内存中的数
: 据保存到文件中，以便下次系统启动的时候提取。
: 问题是，如果系统crash的话，或者机器掉电，那么内存中的数据就丢失了，如果在系
: 统运行时保存整个metadata, 耗时又太长。所以希望能够实现一个lazy write系统，仅
: 将修改过的数据写回文件。
: 请有经验的大侠指教。

m*t2008-08-06 07:08

4 楼

mmap is your friend.

【在 s******e 的大作中提到】

: 系统运行时，内存中保留大量metadata提供快速检索，系统停止运行时，将内存中的数
: 据保存到文件中，以便下次系统启动的时候提取。
: 问题是，如果系统crash的话，或者机器掉电，那么内存中的数据就丢失了，如果在系
: 统运行时保存整个metadata, 耗时又太长。所以希望能够实现一个lazy write系统，仅
: 将修改过的数据写回文件。
: 请有经验的大侠指教。

f*Q2008-08-06 07:08

5 楼

多线程不行么?

g*g2008-08-06 07:08

6 楼

Well, I think you should get an UPS instead. That's probably
a cheaper solution than rewrite the code.

【在 s******e 的大作中提到】

: 系统运行时，内存中保留大量metadata提供快速检索，系统停止运行时，将内存中的数
: 据保存到文件中，以便下次系统启动的时候提取。
: 问题是，如果系统crash的话，或者机器掉电，那么内存中的数据就丢失了，如果在系
: 统运行时保存整个metadata, 耗时又太长。所以希望能够实现一个lazy write系统，仅
: 将修改过的数据写回文件。
: 请有经验的大侠指教。

w*g2008-08-06 07:08

7 楼

如果你用C++的话，POST++是一个不错的东东。可以用来创建基于mmap的persistent ob
ject，还有transaction功能。

【在 s******e 的大作中提到】

: 系统运行时，内存中保留大量metadata提供快速检索，系统停止运行时，将内存中的数
: 据保存到文件中，以便下次系统启动的时候提取。
: 问题是，如果系统crash的话，或者机器掉电，那么内存中的数据就丢失了，如果在系
: 统运行时保存整个metadata, 耗时又太长。所以希望能够实现一个lazy write系统，仅
: 将修改过的数据写回文件。
: 请有经验的大侠指教。

s*e2008-08-06 07:08

8 楼

谢谢各位。
我也考虑过使用类似mmap的技术，问题是metadata项大小不一致，数据进行了多次添加
删除后可能会浪费大量的空间。需要实现像heap allocation一样比较复杂的空间分配
和回收工作。不知道有没有更简单一点的处理这样问题的方法？

s*e2008-08-06 07:08

9 楼

谢谢，看起来post++就是我想要的。看起来我关注的几个问题，全都解决的。

ob

【在 w***g 的大作中提到】

: 如果你用C++的话，POST++是一个不错的东东。可以用来创建基于mmap的persistent ob
: ject，还有transaction功能。

c*a2008-08-06 07:08

10 楼

在内存和缓冲间加FLASH

r*t2008-08-06 07:08

11 楼

I have a similar question, but my problem is that I need write to this block
of data from a Ruby frontend, and backend need to read this block of data,
any good sugestion?
thanks

r*t2008-08-06 07:08

12 楼

I have a similar question, but my problem is that I need write to this block
of data from a Ruby frontend, and backend need to read this block of data,
any good sugestion?
thanks

s*e2008-08-06 07:08

13 楼

Are you using File as the inter media between front end and back end? Or you
need serialize the data to file from backend? For this case, you can also
use post++ if your backend is c++. I am not sure if we are concerned about
the same thing.

block
,

【在 r***t 的大作中提到】

: I have a similar question, but my problem is that I need write to this block
: of data from a Ruby frontend, and backend need to read this block of data,
: any good sugestion?
: thanks

r*t2008-08-06 07:08

14 楼

no, the backend is another server, currently using Amazon SDB to pass the
data from the front end, but it is too slow. so want to find something
faster and more reliable

a*l2008-08-06 07:08

15 楼

oh, man! You are trying to murder the flash.

【在 c******a 的大作中提到】

: 在内存和缓冲间加FLASH

s*e2008-08-06 07:08

16 楼

Well, I think that will be different problem. I think we don't care about
persistence. You just want to find something speed up data transfer. Maybe
consider using something like multithreading, or use different protocol.

【在 r***t 的大作中提到】

: no, the backend is another server, currently using Amazon SDB to pass the
: data from the front end, but it is too slow. so want to find something
: faster and more reliable