码工码农，帮忙了！# PhotoGear - 摄影器材
G*Y
1 楼
技术帖。
一个文件1百多万行，怎么最快的从里面读出任意指定的行？（比如第500，000到第501
，000行）能在几秒钟内完成吗？看似应该不难。
linux下面。
一个文件1百多万行，怎么最快的从里面读出任意指定的行？（比如第500，000到第501
，000行）能在几秒钟内完成吗？看似应该不难。
linux下面。
o*p
2 楼
现在不是8086的年代了啊。
501
【在 G**Y 的大作中提到】
: 技术帖。
: 一个文件1百多万行，怎么最快的从里面读出任意指定的行？（比如第500，000到第501
: ，000行）能在几秒钟内完成吗？看似应该不难。
: linux下面。
501
【在 G**Y 的大作中提到】
: 技术帖。
: 一个文件1百多万行，怎么最快的从里面读出任意指定的行？（比如第500，000到第501
: ，000行）能在几秒钟内完成吗？看似应该不难。
: linux下面。
c*e
3 楼
sed
501
【在 G**Y 的大作中提到】
: 技术帖。
: 一个文件1百多万行，怎么最快的从里面读出任意指定的行？（比如第500，000到第501
: ，000行）能在几秒钟内完成吗？看似应该不难。
: linux下面。
501
【在 G**Y 的大作中提到】
: 技术帖。
: 一个文件1百多万行，怎么最快的从里面读出任意指定的行？（比如第500，000到第501
: ，000行）能在几秒钟内完成吗？看似应该不难。
: linux下面。
x5
4 楼
先发包子
501
【在 G**Y 的大作中提到】
: 技术帖。
: 一个文件1百多万行，怎么最快的从里面读出任意指定的行？（比如第500，000到第501
: ，000行）能在几秒钟内完成吗？看似应该不难。
: linux下面。
501
【在 G**Y 的大作中提到】
: 技术帖。
: 一个文件1百多万行，怎么最快的从里面读出任意指定的行？（比如第500，000到第501
: ，000行）能在几秒钟内完成吗？看似应该不难。
: linux下面。
l*b
5 楼
这个除了一个一个的数EOL还有什么办法......
s*e
6 楼
head -501000 file |tail -1000
501
【在 G**Y 的大作中提到】
: 技术帖。
: 一个文件1百多万行，怎么最快的从里面读出任意指定的行？（比如第500，000到第501
: ，000行）能在几秒钟内完成吗？看似应该不难。
: linux下面。
501
【在 G**Y 的大作中提到】
: 技术帖。
: 一个文件1百多万行，怎么最快的从里面读出任意指定的行？（比如第500，000到第501
: ，000行）能在几秒钟内完成吗？看似应该不难。
: linux下面。
c*e
7 楼
举俩例子
1.sed -n '2'p filename
打印文件的第二行。
2.sed -n '1,3'p filename
打印文件的1到3行
【在 c***e 的大作中提到】
: sed
:
: 501
1.sed -n '2'p filename
打印文件的第二行。
2.sed -n '1,3'p filename
打印文件的1到3行
【在 c***e 的大作中提到】
: sed
:
: 501
G*Y
8 楼
sed 具慢呀。
他是每行扫描过去。
不要的行也扫描吧
【在 c***e 的大作中提到】
: 举俩例子
: 1.sed -n '2'p filename
: 打印文件的第二行。
: 2.sed -n '1,3'p filename
: 打印文件的1到3行
他是每行扫描过去。
不要的行也扫描吧
【在 c***e 的大作中提到】
: 举俩例子
: 1.sed -n '2'p filename
: 打印文件的第二行。
: 2.sed -n '1,3'p filename
: 打印文件的1到3行
h*u
9 楼
sed 可以，不过sed本身也是靠读行实现的吧
【在 c***e 的大作中提到】
: sed
:
: 501
G*Y
10 楼
这个文件有7G，
你这个方法，得先扫描3，4G吧。几秒搞得定吗？
要是想要最后几行，不是很慢？
【在 s*****e 的大作中提到】
: head -501000 file |tail -1000
:
: 501
你这个方法，得先扫描3，4G吧。几秒搞得定吗？
要是想要最后几行，不是很慢？
【在 s*****e 的大作中提到】
: head -501000 file |tail -1000
:
: 501
s*e
11 楼
一分钟估计也搞定了。。。 没啥别的好办法，除非你先做索引
【在 G**Y 的大作中提到】
: 这个文件有7G，
: 你这个方法，得先扫描3，4G吧。几秒搞得定吗？
: 要是想要最后几行，不是很慢？
【在 G**Y 的大作中提到】
: 这个文件有7G，
: 你这个方法，得先扫描3，4G吧。几秒搞得定吗？
: 要是想要最后几行，不是很慢？
G*Y
12 楼
看来我只好把文件split了。
【在 s*****e 的大作中提到】
: 一分钟估计也搞定了。。。 没啥别的好办法，除非你先做索引
【在 s*****e 的大作中提到】
: 一分钟估计也搞定了。。。 没啥别的好办法，除非你先做索引
c*e
13 楼
是啊 7G 太大了 呵呵 我处理的小多了
【在 h*********u 的大作中提到】
:
: sed 可以，不过sed本身也是靠读行实现的吧
【在 h*********u 的大作中提到】
:
: sed 可以，不过sed本身也是靠读行实现的吧
G*Y
14 楼
我都知道行好了，不能跳快点吗？
【在 c***e 的大作中提到】
: 是啊 7G 太大了 呵呵 我处理的小多了
【在 c***e 的大作中提到】
: 是啊 7G 太大了 呵呵 我处理的小多了
v*a
15 楼
找轩儿223和小黄
【在 G**Y 的大作中提到】
: 我都知道行好了，不能跳快点吗？
【在 G**Y 的大作中提到】
: 我都知道行好了，不能跳快点吗？
g*n
16 楼
有办法啊， 费空间的办法啊， 开始处理就固定每行的size
【在 s*****e 的大作中提到】
: 一分钟估计也搞定了。。。 没啥别的好办法，除非你先做索引
【在 s*****e 的大作中提到】
: 一分钟估计也搞定了。。。 没啥别的好办法，除非你先做索引
h*u
17 楼
怎么跳？ 除非每行size一样
【在 G**Y 的大作中提到】
: 我都知道行好了，不能跳快点吗？
G*Y
18 楼
把文件转成binary的，然后随机访问？
【在 g*****n 的大作中提到】
: 有办法啊， 费空间的办法啊， 开始处理就固定每行的size
【在 g*****n 的大作中提到】
: 有办法啊， 费空间的办法啊， 开始处理就固定每行的size
s*e
19 楼
实在要快，可以考虑binary format不过那东西比较容易出问题。
建议还是索引的办法比较好。
还有一个办法是把文件拆成若干份，比方说100000行一份，这样查找比较快，可以控制
在10秒以内。
【在 g*****n 的大作中提到】
: 有办法啊， 费空间的办法啊， 开始处理就固定每行的size
建议还是索引的办法比较好。
还有一个办法是把文件拆成若干份，比方说100000行一份，这样查找比较快，可以控制
在10秒以内。
【在 g*****n 的大作中提到】
: 有办法啊， 费空间的办法啊， 开始处理就固定每行的size
G*Y
20 楼
看来如果是文本文件，最快的话，每个记录也要至少读一次。基本上是无解了？
据说可以把它转成数据库，然后随机读取？
【在 h*********u 的大作中提到】
:
: 怎么跳？ 除非每行size一样
据说可以把它转成数据库，然后随机读取？
【在 h*********u 的大作中提到】
:
: 怎么跳？ 除非每行size一样
e*t
21 楼
没读懂你的问题
query 么
SELECT * FROM `Table_name` WHERE `id` BETWEEN 50000 AND 60000 ORDER BY XXX;
query 么
SELECT * FROM `Table_name` WHERE `id` BETWEEN 50000 AND 60000 ORDER BY XXX;
g*n
22 楼
也行， 反正就是速度和空间的折衷
【在 s*****e 的大作中提到】
: 实在要快，可以考虑binary format不过那东西比较容易出问题。
: 建议还是索引的办法比较好。
: 还有一个办法是把文件拆成若干份，比方说100000行一份，这样查找比较快，可以控制
: 在10秒以内。
【在 s*****e 的大作中提到】
: 实在要快，可以考虑binary format不过那东西比较容易出问题。
: 建议还是索引的办法比较好。
: 还有一个办法是把文件拆成若干份，比方说100000行一份，这样查找比较快，可以控制
: 在10秒以内。
c*e
23 楼
我也就能想到这个 写个脚本 拆开查吧
【在 s*****e 的大作中提到】
: 实在要快，可以考虑binary format不过那东西比较容易出问题。
: 建议还是索引的办法比较好。
: 还有一个办法是把文件拆成若干份，比方说100000行一份，这样查找比较快，可以控制
: 在10秒以内。
【在 s*****e 的大作中提到】
: 实在要快，可以考虑binary format不过那东西比较容易出问题。
: 建议还是索引的办法比较好。
: 还有一个办法是把文件拆成若干份，比方说100000行一份，这样查找比较快，可以控制
: 在10秒以内。
h*u
24 楼
db可以啊，
【在 G**Y 的大作中提到】
: 看来如果是文本文件，最快的话，每个记录也要至少读一次。基本上是无解了？
: 据说可以把它转成数据库，然后随机读取？
e*t
25 楼
原来是文本文件
a*a
26 楼
sed很快。我一个72M行的文件，取第36M位置的行出来，不到6秒。
【在 G**Y 的大作中提到】
: sed 具慢呀。
: 他是每行扫描过去。
: 不要的行也扫描吧
【在 G**Y 的大作中提到】
: sed 具慢呀。
: 他是每行扫描过去。
: 不要的行也扫描吧
G*Y
27 楼
啥 db比较方便，大侠zkss？
【在 h*********u 的大作中提到】
:
: db可以啊，
【在 h*********u 的大作中提到】
:
: db可以啊，
G*Y
28 楼
sqlite似乎很强大！
【在 G**Y 的大作中提到】
: 啥 db比较方便，大侠zkss？
【在 G**Y 的大作中提到】
: 啥 db比较方便，大侠zkss？
h*5
29 楼
工哥一句话总结了所有算法的内涵
【在 g*****n 的大作中提到】
: 也行， 反正就是速度和空间的折衷
【在 g*****n 的大作中提到】
: 也行， 反正就是速度和空间的折衷
h*5
30 楼
用DB的话要DB转换成structured data.其实你这个就是big data的一个很好应用，例如
用mapreduce/hadoop.
【在 G**Y 的大作中提到】
: 啥 db比较方便，大侠zkss？
用mapreduce/hadoop.
【在 G**Y 的大作中提到】
: 啥 db比较方便，大侠zkss？
相关阅读
buydig d750送64g card + LR5nex 6,nex5t,还是gm1?EM-5 机身有点热Paddy你怎么看中国对泰国足球输了?x-t1 shutter speed to 1/32000s喂～～～大家有人玩 DJI Phantom with Gopro吗？求推荐。 代替佳能100L的副长百微【Label Ready求购】Canon Pro-100 +SG-201 east @150 (转载)M33 风车星系搞了一支28mm的LTM旁轴头，下面开始考虑机子下周末去北谜看红叶很赞的一张娃照马头星云 PS处理前后对比婚礼随拍 (转载)看看这些贪官的摄影作品 曾获业界大奖(组图) zz (转载)要入门单反的可以看这个，尼康D3300+LR5=420 （REF）我震惊了，中国男篮输给日本队B&H的Gift Card有人要不？再发一帖，纽约地区求一个华人摄影师