请问：如何设计一个复杂数据类的存储文件格式 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

请问：如何设计一个复杂数据类的存储文件格式

请问：如何设计一个复杂数据类的存储文件格式# Programming - 葵花宝典

a*p2014-12-11 08:12

1 楼

刚工作一个半月。有个问题想听下大家意见。
同期总共4个跟我一样cs technical的new hires一起进的公司。每个人都分了一个
tutor和manager。公司的培训过了以后就是tutor和manager负责教我们了。
培训期后其他3个人都很忙的样子，我manager让我找我的tutor学东西，可我的tutor长
期不在office，在office的时候也是经常把我忽略，我问个问题经常半天回答我一句话
，最后还是找其他3个一起来的新人弄明白的。然后我每次去找manager，manager总说
让我紧盯着tutor。感觉manager和tutor都不把我放在心上阿。随便给安排了project，
现在想学东西也没处学，光看培训的slides都是纸上谈兵，设置啥的都不知道。
想问一下这种情况大家遇到过么？都怎么处理的？感觉这样下去，过不了3个月就要被
fire了。。。。

N*K2014-12-11 08:12

2 楼

我有一个数据类里面很多成员
成员1 是一个矩阵
成员2 是一个图
成员3~10 是一些数字
我现在是这样保存这个类
dataobject.json 存储这个类的大致信息
有多少个成员啊
每一个是啥类型
每一个成员的简要信息：比如矩阵是 10x10的 double精度
dataobject.member1.data 存贮矩阵二进制方式
dataobject.member2.data 存贮图二进制方式
dataobject.member3to10.data 存贮 name-value pair 文本方式
这样这个类对应很多数据文件
如果更加复杂就得变成了dataobject.memberX.memeberY.memeberZ.data
请问还有其他什么办法？

w*32014-12-11 08:12

3 楼

what do you do?
IT/Account/Engineer?
read previous reports related to ur project?
Ask questions
make a plan
copy to mentor/manager
keep them updated about what u r doing?
show ur initiative, planing, organization, communication, positive attitude
to learn, teamwork...skills

D*n2014-12-11 08:12

4 楼

请参考这些资料：
成员1:
http://www.netlib.org/lapack/lug/node121.html
成员2:
http://docs.scipy.org/doc/numpy/reference/generated/numpy.save.
Json:
直接serialize保存的文件。

【在 N******K 的大作中提到】

: 我有一个数据类里面很多成员
: 成员1 是一个矩阵
: 成员2 是一个图
: 成员3~10 是一些数字
: 我现在是这样保存这个类
: dataobject.json 存储这个类的大致信息
: 有多少个成员啊
: 每一个是啥类型
: 每一个成员的简要信息：比如矩阵是 10x10的 double精度
: dataobject.member1.data 存贮矩阵二进制方式

h*82014-12-11 08:12

5 楼

不用太担心了
我老刚毕业闲了半年，天天混塞版。最后分配个项目，搞了半年搞不出来，真好公司把
项目取消，整个项目组换到公司的新业务上
和我同去的，起初比我好多了，不过这两年很多部门全裁光了

N*K2014-12-11 08:12

6 楼

成员1和成员2 我已经写好存储文件格式了
我的意思是能否都存都一个文件里面去？

【在 D***n 的大作中提到】

: 请参考这些资料：
: 成员1:
: http://www.netlib.org/lapack/lug/node121.html
: 成员2:
: http://docs.scipy.org/doc/numpy/reference/generated/numpy.save.
: Json:
: 直接serialize保存的文件。

a*p2014-12-11 08:12

7 楼

那你前面半年有学啥么？
我现在就看看document。很多东西还是要针对project让别人演示一两遍才能上手的，
每个project的设置都差很多。
这个礼拜manager出差2个礼拜，之前找组里的人谈进度，也没有叫我。。。
我就给tutor发了个邮件，说这个礼拜我打算看什么document，然后cc了一份给manager
。哎，估计这也是我目前能做的了。

【在 h*****8 的大作中提到】

: 不用太担心了
: 我老刚毕业闲了半年，天天混塞版。最后分配个项目，搞了半年搞不出来，真好公司把
: 项目取消，整个项目组换到公司的新业务上
: 和我同去的，起初比我好多了，不过这两年很多部门全裁光了

b*s2014-12-11 08:12

8 楼

为什么不可以？就是些标记。

【在 N******K 的大作中提到】

: 成员1和成员2 我已经写好存储文件格式了
: 我的意思是能否都存都一个文件里面去？

a*p2014-12-11 08:12

9 楼

作软件咨询的。
公司不大，几百个人。看周围人都很忙，感觉很guilty阿。。。

attitude

【在 w*****3 的大作中提到】

: what do you do?
: IT/Account/Engineer?
: read previous reports related to ur project?
: Ask questions
: make a plan
: copy to mentor/manager
: keep them updated about what u r doing?
: show ur initiative, planing, organization, communication, positive attitude
: to learn, teamwork...skills

g*t2014-12-11 08:12

10 楼

数据多复杂都可以, 关键是用途, 不讲究实时, 就很容易,

s*m2014-12-11 08:12

11 楼

用thrift做serialization

D*n2014-12-11 08:12

12 楼

表搞那么复杂。最简单的是：
发送方建立一个目录，把你着些数据存在这个目录下，然后一个zip ....
接收方收到，unzip解压缩 ...
不信你可以去试，这是最灵活最可靠的方法。库可以考虑下面这个。
http://www.libarchive.org/

【在 N******K 的大作中提到】

: 成员1和成员2 我已经写好存储文件格式了
: 我的意思是能否都存都一个文件里面去？

w*x2014-12-11 08:12

13 楼

懒得自己写就用google的pb吧

N*K2014-12-11 08:12

14 楼

有没有这种文件：
貌似是zip 但是里面的文件都没有被压缩过
也就是一个超级文件看起来是一个文件其实是多个文件联合体

【在 D***n 的大作中提到】

: 表搞那么复杂。最简单的是：
: 发送方建立一个目录，把你着些数据存在这个目录下，然后一个zip ....
: 接收方收到，unzip解压缩 ...
: 不信你可以去试，这是最灵活最可靠的方法。库可以考虑下面这个。
: http://www.libarchive.org/

N*K2014-12-11 08:12

15 楼

如果有树形文件结构就好了：我说的是一个文件不是目录
class object
{
member1;
member2;
...
memberN;
}
objest::save(FileName_object)
{
保存这个类的信息：有几个member，每一个是什么类型的, member数据文件的名字
自动生成 FileName_member1， FileName_member2，。。。，FileName_memberN
//保存各个成员
member1.save(FileName_member1);
member2.save(FileName_member2);
...
memberN.save(FileName_memberN);
}
这样可以递推执行最后整个类存到了一个树形结构的大文件中
不知道有没有现成的方案？

【在 N******K 的大作中提到】

: 有没有这种文件：
: 貌似是zip 但是里面的文件都没有被压缩过
: 也就是一个超级文件看起来是一个文件其实是多个文件联合体

N*K2014-12-11 08:12

16 楼

当然要防止循环引用问题
不过对于一般问题这个方案就够用了

【在 N******K 的大作中提到】

: 如果有树形文件结构就好了：我说的是一个文件不是目录
: class object
: {
: member1;
: member2;
: ...
: memberN;
: }
: objest::save(FileName_object)
: {

p*o2014-12-11 08:12

17 楼

boost serialization?

【在 N******K 的大作中提到】

: 如果有树形文件结构就好了：我说的是一个文件不是目录
: class object
: {
: member1;
: member2;
: ...
: memberN;
: }
: objest::save(FileName_object)
: {

D*n2014-12-11 08:12

18 楼

ZIP记得有完全不压缩的选项。
不过为什么不压缩呢？不追求高压缩比经常可以实时。

【在 N******K 的大作中提到】

: 有没有这种文件：
: 貌似是zip 但是里面的文件都没有被压缩过
: 也就是一个超级文件看起来是一个文件其实是多个文件联合体

w*x2014-12-11 08:12

19 楼

有好多user mode下的vfs实现，好多游戏developer喜欢用这个玩意。
格式存储其实很麻烦，比如处理版本兼容问题，这种轮子重造也没啥意思，还是用现成
的吧。

B*e2014-12-11 08:12

20 楼

hdf5 作计算的很多都用这种格式
bson比较简单，转化容易

【在 N******K 的大作中提到】

B*e2014-12-11 08:12

21 楼

hdf5

【在 N******K 的大作中提到】

: 如果有树形文件结构就好了：我说的是一个文件不是目录
: class object
: {
: member1;
: member2;
: ...
: memberN;
: }
: objest::save(FileName_object)
: {

N*K2014-12-11 08:12

22 楼

matlab似乎用的这个格式
我有空仔细研究一下
目前暂且用一大堆文件组合凑活

【在 B********e 的大作中提到】

: hdf5 作计算的很多都用这种格式
: bson比较简单，转化容易

N*K2014-12-11 08:12

23 楼

这个与你说的过的json数据类有什么联系没有？

【在 B********e 的大作中提到】

: hdf5

B*e2014-12-11 08:12

24 楼

json and hdf5 are both our friends They are both very flexible and can be
used to represent complex structures.
Normally, we used json to define high level concepts and used hdf5 to store
the intermediate results.

【在 N******K 的大作中提到】

: 这个与你说的过的json数据类有什么联系没有？