问个python读取大文件的问题 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

问个python读取大文件的问题

问个python读取大文件的问题# Programming - 葵花宝典

m*d2017-05-02 07:05

1 楼

忘了什么时候申请的了，突然就来了个面试通知。好像是个保险公司，不知道有没有必
要去一趟？

j*i2017-05-02 07:05

2 楼

【以下文字转载自 LZU 讨论区】
发信人: bang (bangbang), 信区: LZU
标题: “云湖办”暴力拆迁
发信站: BBS 未名空间站 (Mon Sep 20 22:08:38 2010, 美东)
据说发帖者是兰大校友。
“云湖办”暴力拆迁致老人婴儿受伤，产妇跪地求救！
2010年9月16日，这注定要成为我一生难忘的一天。因为就在这天，我没想到在号
称法制建设进程全国领先的江苏，在号称全民率先实现小康、富裕和谐秀美的江苏省宜
兴市，在风景秀丽的云湖（横山水库）以及远近闻名的大觉寺边，会发生如此骇人听闻
的暴力拆迁事件。就在这一天，几十个如狼似虎、穿着蓝色CG制服的男子，冲进我婆婆
家中，分别将我和我婆婆按倒在地，将我家建了二十几年的房子强行拆除。更令人发指
的是，五六个人当时不顾正在喂奶的我，强行冲进房间，抢夺我手中只有两个月大的婴
儿，推搡中，我和孩子还摔倒在地，可怜的孩子被吓得死死抓住我的衣服，孩子的手指
当时就被扯得红肿，而从那时起这个爱哭爱笑的乖孩子，就一直默不作声，两眼木讷……
几个彪形大汉闯进正在喂奶的房间
9月16日，这本该是平静的一天。
中午，

m*n2017-05-02 07:05

3 楼

text文件
一行一行的读进来
那么
for line in open('file_name'):
process(line)
这样对么，，
那个open()是不是一个pointer，lazy version，一行一行的读
还是就直接把这个file塞到内存再读取？？

w*k2017-05-02 07:05

4 楼

你可以google一下，感觉像搞传销的

v*e2017-05-02 07:05

5 楼

lazy，一行一行地读

m*g2017-05-02 07:05

6 楼

也给我电话了。
我反正没去。

a*z2017-05-02 07:05

7 楼

搭车请教一个问题：
用python读几百K以上的文件。读出来的行数少。我用powershell和notepad++读出来的
行数一样，都比python读出来的多。
请问会是什么原因？多谢！

t*r2017-05-02 07:05

8 楼

我关心有没有H1b...

x*u2017-05-02 07:05

9 楼

检查一下回车符？。

: 搭车请教一个问题：

: 用python读几百K以上的文件。读出来的行数少。我用powershell和notepad 读
出来的

: 行数一样，都比python读出来的多。

: 请问会是什么原因？多谢！

【在 a*z 的大作中提到】

: 搭车请教一个问题：
: 用python读几百K以上的文件。读出来的行数少。我用powershell和notepad++读出来的
: 行数一样，都比python读出来的多。
: 请问会是什么原因？多谢！

z*n2017-05-02 07:05

10 楼

骗人的，我去过，一拖屎！

L*s2017-05-02 07:05

11 楼

对于文本文件，读的是 buffered text stream，封装了两三层的。
简单地说，不会把整个文件放内存，读过的行没有引用了会被 gc 掉。
具体看文档 https://docs.python.org/3/library/functions.html#open

【在 m******n 的大作中提到】

: text文件
: 一行一行的读进来
: 那么
: for line in open('file_name'):
: process(line)
: 这样对么，，
: 那个open()是不是一个pointer，lazy version，一行一行的读
: 还是就直接把这个file塞到内存再读取？？

L*s2017-05-02 07:05

12 楼

把文件和代码 share 一下

【在 a*z 的大作中提到】

a*z2017-05-02 07:05

13 楼

抱歉，工作中的东东。
原文件是queried result from db.中间不应该有blank lines. 还没有搞懂。