用perl如何读进一个很大的文件 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

用perl如何读进一个很大的文件

用perl如何读进一个很大的文件# Programming - 葵花宝典

d*y2013-04-06 07:04

1 楼

今天从一个可靠的dealer那拿了一张万寿5c over 5c 的加字信销票，发现没有水印
。票看起来是真的，而且还有80%左右的原胶，请问万寿加字有可能没有水印么？

s*g2013-04-06 07:04

2 楼

d*t2013-04-06 07:04

3 楼

需要处理一个5G大小的binary文件，里面其实是一个50000x50000的下三角矩阵。
因为需要频繁读取数据，所以得cache。因为legacy的原因程序得是perl。
发现如果用array，得30G才能装完，如果是hash，得50G。用mmap到一个string可以5G
就够了，但是用substr读取的时候发现后面的数据就不对了。大侠们有啥好办法没？

z*e2013-04-06 07:04

4 楼

应该都有水印吧？
因为无论是初版还是再版的万寿都有水印，只有Mollendorf版的没有水印，但是万寿加
盖是在出版和再版的票上加盖的，所以应该都有水印。
请专家来进一步解释说明吧！

s*V2013-04-06 07:04

5 楼

perl原来也可以搞这么大的矩阵啊

5G

【在 d********t 的大作中提到】

: 需要处理一个5G大小的binary文件，里面其实是一个50000x50000的下三角矩阵。
: 因为需要频繁读取数据，所以得cache。因为legacy的原因程序得是perl。
: 发现如果用array，得30G才能装完，如果是hash，得50G。用mmap到一个string可以5G
: 就够了，但是用substr读取的时候发现后面的数据就不对了。大侠们有啥好办法没？

d*y2013-04-06 07:04

6 楼

昨天google了一下，似乎有漏水印的情况，有人建议我放到液体里去看看有没有水
印，但是怕破坏剩下的胶。。。

【在 z***e 的大作中提到】

: 应该都有水印吧？
: 因为无论是初版还是再版的万寿都有水印，只有Mollendorf版的没有水印，但是万寿加
: 盖是在出版和再版的票上加盖的，所以应该都有水印。
: 请专家来进一步解释说明吧！

w*p2013-04-06 07:04

7 楼

if you could use pdl it would be compact
en.wikipedia.org/wiki/Perl_Data_Language

z*e2013-04-06 07:04

8 楼

有专门的检测水印的试剂的，很多dealer的手中都有，对背胶好像是没有什么伤害的。
蟠龙高值票有没有水印的价格还是差很多的，最近买到几枚，dealer都是参考有水印的
目录价格。于是我说有没有水印的价格差很多的，于是他们就用一种液体帮我检测，最
后都是没有水印的，那种试剂很快就挥发没有了，前后不到一分钟，而且看不出对背胶
和邮票有什么影响。

d*y2013-04-06 07:04

9 楼

good to know.

【在 z***e 的大作中提到】

: 有专门的检测水印的试剂的，很多dealer的手中都有，对背胶好像是没有什么伤害的。
: 蟠龙高值票有没有水印的价格还是差很多的，最近买到几枚，dealer都是参考有水印的
: 目录价格。于是我说有没有水印的价格差很多的，于是他们就用一种液体帮我检测，最
: 后都是没有水印的，那种试剂很快就挥发没有了，前后不到一分钟，而且看不出对背胶
: 和邮票有什么影响。