怎样用Python选一部分数据出来# Programming - 葵花宝典
j*1
1 楼
我父母计划带我家闺女（一岁半）来美国，我给父母买票的时候忘记给小孩子买了。问
代理，说在北京机场check in 的时
候办一张婴儿票就可以。很简单，也比从代理那里买的便宜。不知到是不是这样。
希望有经验的大侠指点。感激不尽！
代理，说在北京机场check in 的时
候办一张婴儿票就可以。很简单，也比从代理那里买的便宜。不知到是不是这样。
希望有经验的大侠指点。感激不尽！
t*g
2 楼
心想事成！
b*q
3 楼
浙江大学化工学院聚合所诚邀各类青年学者加盟
浙江大学聚合与聚合物工程研究所致力于先进聚合物材料相关的基础与应用研究，在合
成高分子工业领域有重要的影响，连续数年被评为浙江大学十强研究所。依托于研究所
，建有化学工程联合国家重点实验室，实验室各类大型仪器设备先进、齐全，具体信息
可查询网站：http://sklpre.zju.edu.cn/ippe/。
现诚邀海内外优秀青年学者加盟，相关信息如下。
一、招聘对象需符合下述条件：
1. 具有高尚的职业道德、严谨求实的学风、突出的学术发展潜力和合作精神，热爱教
学科研工作，并能独立发展一个学术方向；
2. 优先考虑具有国际高水平大学助理教授或副教授相当水平的优秀青年人才；
3. 一般应具有两年及以上海外科研经历；年龄一般在40周岁以下，身体健康，全职在
岗工作；
4. 能应对社会重大挑战，开展高分子（化工/化学/材料）相关前沿领域的研究。
二、工作与生活条件：
浙江大学历来注重青年学者的引进和培育，为青年学者提供开放包容的学术生态、良好
的工作条件和舒心的生活环境。
1. 对于国家“青年千人计划”入选者，聘为研究员，享受正高级待遇，具有博士生招
生资格，提供年薪35~40万元，一次性补助150万元（免税），启动科研经费300~600万
元，可申购学校人才房一套。
2. 对于浙江大学“百人计划”入选者，聘为研究员，享受正高级待遇，具有博士生招
生资格，提供年薪30万元，启动科研经费100~300万元，可申购学校人才房一套。
3. 对于普通教学科研岗位人员，聘为讲师，可申请硕士招生资格，可选择加入现有课
题组，提供有竞争力的薪酬（约合20万元），可申购学校限价商品房一套。
三、应聘与联系方式：
请将详细个人简历、一页简要未来研究计划发送给联系人。我们视申请情况在合适的时
候以学术论坛的方式组织面试，本研究所将为参加者提供来回国际旅费（不超过1500美
金）以及杭州当地食宿费用。
联系人：赵骞副教授；
E-mail：[email protected]/* */；
电话：0571-87951689。
浙江大学聚合与聚合物工程研究所致力于先进聚合物材料相关的基础与应用研究，在合
成高分子工业领域有重要的影响，连续数年被评为浙江大学十强研究所。依托于研究所
，建有化学工程联合国家重点实验室，实验室各类大型仪器设备先进、齐全，具体信息
可查询网站：http://sklpre.zju.edu.cn/ippe/。
现诚邀海内外优秀青年学者加盟，相关信息如下。
一、招聘对象需符合下述条件：
1. 具有高尚的职业道德、严谨求实的学风、突出的学术发展潜力和合作精神，热爱教
学科研工作，并能独立发展一个学术方向；
2. 优先考虑具有国际高水平大学助理教授或副教授相当水平的优秀青年人才；
3. 一般应具有两年及以上海外科研经历；年龄一般在40周岁以下，身体健康，全职在
岗工作；
4. 能应对社会重大挑战，开展高分子（化工/化学/材料）相关前沿领域的研究。
二、工作与生活条件：
浙江大学历来注重青年学者的引进和培育，为青年学者提供开放包容的学术生态、良好
的工作条件和舒心的生活环境。
1. 对于国家“青年千人计划”入选者，聘为研究员，享受正高级待遇，具有博士生招
生资格，提供年薪35~40万元，一次性补助150万元（免税），启动科研经费300~600万
元，可申购学校人才房一套。
2. 对于浙江大学“百人计划”入选者，聘为研究员，享受正高级待遇，具有博士生招
生资格，提供年薪30万元，启动科研经费100~300万元，可申购学校人才房一套。
3. 对于普通教学科研岗位人员，聘为讲师，可申请硕士招生资格，可选择加入现有课
题组，提供有竞争力的薪酬（约合20万元），可申购学校限价商品房一套。
三、应聘与联系方式：
请将详细个人简历、一页简要未来研究计划发送给联系人。我们视申请情况在合适的时
候以学术论坛的方式组织面试，本研究所将为参加者提供来回国际旅费（不超过1500美
金）以及杭州当地食宿费用。
联系人：赵骞副教授；
E-mail：[email protected]/* */；
电话：0571-87951689。
l*e
4 楼
我帮父母填写申请表。父母都已退休，于是我在DS156表的第20项，当前工作单位填写
none。因为当前他们已经没有工作了。
可是今天看签经得时候，看到有人说156表的第20项要填写退休前的工作单位，如果申
请人已经退休。真的是这样么？我觉得没有道理呀。如果确实需要填写退休前工作单位
，我要尽快修改重新填表了，因为父母最近就要签证了。
希望大家给出确切信息。谢谢。
none。因为当前他们已经没有工作了。
可是今天看签经得时候，看到有人说156表的第20项要填写退休前的工作单位，如果申
请人已经退休。真的是这样么？我觉得没有道理呀。如果确实需要填写退休前工作单位
，我要尽快修改重新填表了，因为父母最近就要签证了。
希望大家给出确切信息。谢谢。
s*m
5 楼
我上午发了一个主贴, 但是我现在进去那主贴后,看不到第二页, 只看到第一页的回复.
请问是我的电脑问题吗? 如果是, 能不能帮忙把后面的回复贴到单独一贴里, 我想看内
容.
如果是网站的问题, 请问,何时我能看到? 或者, 我自己这边有没有什么特别的措施可
以看到第二页,第三页?
请问是我的电脑问题吗? 如果是, 能不能帮忙把后面的回复贴到单独一贴里, 我想看内
容.
如果是网站的问题, 请问,何时我能看到? 或者, 我自己这边有没有什么特别的措施可
以看到第二页,第三页?
k*e
6 楼
【 以下文字转载自 History 讨论区 】
发信人: keystone (二胖), 信区: History
标 题: 主席六十年代初的菜谱这事有定论没？
发信站: BBS 未名空间站 (Tue Feb 8 13:44:12 2011, 美东)
这几天在看五星红旗高高飘扬，现在又看到这个，据说还是官泻，大家给议议，
摘自：毛泽东遗物事典，红旗出版社1996年11月版
1961 年4 月26 日，几位工作人员会同厨师为毛泽东精心订制了一份西菜、两菜汤菜谱
。从保存下来的西餐菜谱来看，内容尽管谈不上十分丰富，但己比较周到的照顾到了毛
泽东的饮食喜好。这份菜谱包括七大西菜系列，即鱼虾类、鸡类、鸭类、猪肉、羊肉类
、牛肉类、汤类。
毛泽东喜欢吃色虾，西餐中鱼虾的制作方法也丰富多彩，而且风味独特。1961 年4月制
订的西餐菜谱中包括下列这些异国风味的鱼虾：蒸鱼卜丁、铁扒桂鱼、煎,,炸,,桂鱼、
软炸桂鱼、烤鱼青、莫斯科红烤鱼、吉士百烤鱼、烤青菜鱼、菠兰煮鱼、铁扒大虾、烤
虾圭、虾面盒、炸大虾、咖喱大虾、罐焖大虾、软炸大虾、生菜大虾等等。
毛泽东对于用西餐方法制作出来的鱼虾感到十分新鲜惊奇。他常常在吃上一段中餐方法
制作的鱼虾后吃上一次西菜鱼，以此换换口味。毛泽东对西菜中鸡的做法很是推崇。
60 年代初，工作人员制订西餐菜谱时.在鸡类上列出了这些一般人闻所未闻的西菜名称
，黄油鸡卷,,鸡排,,、软煎鸡徘、鸡肉饼、鸡肉元、大王鸡肉饼、鸡肉丝、罐焖鸡、红
焖鸡、葱头焖鸡、青菜焖鸡、纸包鸡、鸡丁敏士、椰子鸡、奶油鸡等等。毛泽东对上述
西菜鸡并非样样都喜欢。
毛泽东不大喜欢牛羊肉，也许他有些嫌弃牛羊肉的膻昧。他在诸多肉类中独独对猪肉钟
情不悔。他喜欢红烧肉，倘若一段时间未吃还真有些嘴馋，往往主动提出来 “打打牙
祭”。60 年代初工作人员制订西餐菜谱时，考虑到毛泽东这一特点，特别为其安排了
小乳猪，这样便能做到肥瘦适中，面面兼顾。毛泽东吃过的西菜中有下列猪肉类：烤猪
排、烤猪腿、炸猪里几、炸猪排、馏猪排、法国猪排、意式奶猪等等。至于牛羊肉类，
因为毛泽东不是很喜欢，因而只是偶尔掺杂一些品种进去。毛泽东吃过的西菜中的牛羊
肉有：羊肉串、烤羊腿、烤马骏、白烩羊肉、煎羊排、煎羊肝、牛扒、煎牛肉、咖喱牛
肉、伏太牛肉、酸牛肉，烩牛尾等等。
毛泽东喜欢喝汤，几乎每顿饭菜中都有一小碗汤。西餐中汤类品种丰富，而且各具特色
风味。毛泽东60 年代吃过的西菜汤有，奶油汤、牛尾汤、红菜汤、鸡杂汤、腰子汤、
葱头汤、红花鸡汤、饺子汤、红鱼汤、卜菜泥汤、巴粒米汤、什锦汤、鸡蓉鲍鱼汤、鸡
汤蓉汤、意国面条汤、龙须菜汤等等。
发信人: keystone (二胖), 信区: History
标 题: 主席六十年代初的菜谱这事有定论没？
发信站: BBS 未名空间站 (Tue Feb 8 13:44:12 2011, 美东)
这几天在看五星红旗高高飘扬，现在又看到这个，据说还是官泻，大家给议议，
摘自：毛泽东遗物事典，红旗出版社1996年11月版
1961 年4 月26 日，几位工作人员会同厨师为毛泽东精心订制了一份西菜、两菜汤菜谱
。从保存下来的西餐菜谱来看，内容尽管谈不上十分丰富，但己比较周到的照顾到了毛
泽东的饮食喜好。这份菜谱包括七大西菜系列，即鱼虾类、鸡类、鸭类、猪肉、羊肉类
、牛肉类、汤类。
毛泽东喜欢吃色虾，西餐中鱼虾的制作方法也丰富多彩，而且风味独特。1961 年4月制
订的西餐菜谱中包括下列这些异国风味的鱼虾：蒸鱼卜丁、铁扒桂鱼、煎,,炸,,桂鱼、
软炸桂鱼、烤鱼青、莫斯科红烤鱼、吉士百烤鱼、烤青菜鱼、菠兰煮鱼、铁扒大虾、烤
虾圭、虾面盒、炸大虾、咖喱大虾、罐焖大虾、软炸大虾、生菜大虾等等。
毛泽东对于用西餐方法制作出来的鱼虾感到十分新鲜惊奇。他常常在吃上一段中餐方法
制作的鱼虾后吃上一次西菜鱼，以此换换口味。毛泽东对西菜中鸡的做法很是推崇。
60 年代初，工作人员制订西餐菜谱时.在鸡类上列出了这些一般人闻所未闻的西菜名称
，黄油鸡卷,,鸡排,,、软煎鸡徘、鸡肉饼、鸡肉元、大王鸡肉饼、鸡肉丝、罐焖鸡、红
焖鸡、葱头焖鸡、青菜焖鸡、纸包鸡、鸡丁敏士、椰子鸡、奶油鸡等等。毛泽东对上述
西菜鸡并非样样都喜欢。
毛泽东不大喜欢牛羊肉，也许他有些嫌弃牛羊肉的膻昧。他在诸多肉类中独独对猪肉钟
情不悔。他喜欢红烧肉，倘若一段时间未吃还真有些嘴馋，往往主动提出来 “打打牙
祭”。60 年代初工作人员制订西餐菜谱时，考虑到毛泽东这一特点，特别为其安排了
小乳猪，这样便能做到肥瘦适中，面面兼顾。毛泽东吃过的西菜中有下列猪肉类：烤猪
排、烤猪腿、炸猪里几、炸猪排、馏猪排、法国猪排、意式奶猪等等。至于牛羊肉类，
因为毛泽东不是很喜欢，因而只是偶尔掺杂一些品种进去。毛泽东吃过的西菜中的牛羊
肉有：羊肉串、烤羊腿、烤马骏、白烩羊肉、煎羊排、煎羊肝、牛扒、煎牛肉、咖喱牛
肉、伏太牛肉、酸牛肉，烩牛尾等等。
毛泽东喜欢喝汤，几乎每顿饭菜中都有一小碗汤。西餐中汤类品种丰富，而且各具特色
风味。毛泽东60 年代吃过的西菜汤有，奶油汤、牛尾汤、红菜汤、鸡杂汤、腰子汤、
葱头汤、红花鸡汤、饺子汤、红鱼汤、卜菜泥汤、巴粒米汤、什锦汤、鸡蓉鲍鱼汤、鸡
汤蓉汤、意国面条汤、龙须菜汤等等。
x*g
7 楼
linux（我用的centos）怎么做系统备份？ 有没有像windows下的ghost或者true image
？或者有更好更简单的备份办法？
？或者有更好更简单的备份办法？
s*n
8 楼
我有一个大的csv数据文件，超过 1 billion 条数据。 我们的数据库都不能处理这
么大的文件。
想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
这样的工作。 然后把选出来的小块数据读到数据库里去用。
有没有大侠给指点一二？
怎么做啊？ 急等。
谢谢！
么大的文件。
想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
这样的工作。 然后把选出来的小块数据读到数据库里去用。
有没有大侠给指点一二？
怎么做啊？ 急等。
谢谢！
p*n
9 楼
小于2岁交全价票10%可以买婴儿票，没有座位
【在 j****1 的大作中提到】
: 我父母计划带我家闺女（一岁半）来美国，我给父母买票的时候忘记给小孩子买了。问
: 代理，说在北京机场check in 的时
: 候办一张婴儿票就可以。很简单，也比从代理那里买的便宜。不知到是不是这样。
: 希望有经验的大侠指点。感激不尽！
【在 j****1 的大作中提到】
: 我父母计划带我家闺女（一岁半）来美国，我给父母买票的时候忘记给小孩子买了。问
: 代理，说在北京机场check in 的时
: 候办一张婴儿票就可以。很简单，也比从代理那里买的便宜。不知到是不是这样。
: 希望有经验的大侠指点。感激不尽！
b*q
10 楼
up
l*e
11 楼
自己顶一下
【在 l***e 的大作中提到】
: 我帮父母填写申请表。父母都已退休，于是我在DS156表的第20项，当前工作单位填写
: none。因为当前他们已经没有工作了。
: 可是今天看签经得时候，看到有人说156表的第20项要填写退休前的工作单位，如果申
: 请人已经退休。真的是这样么？我觉得没有道理呀。如果确实需要填写退休前工作单位
: ，我要尽快修改重新填表了，因为父母最近就要签证了。
: 希望大家给出确切信息。谢谢。
【在 l***e 的大作中提到】
: 我帮父母填写申请表。父母都已退休，于是我在DS156表的第20项，当前工作单位填写
: none。因为当前他们已经没有工作了。
: 可是今天看签经得时候，看到有人说156表的第20项要填写退休前的工作单位，如果申
: 请人已经退休。真的是这样么？我觉得没有道理呀。如果确实需要填写退休前工作单位
: ，我要尽快修改重新填表了，因为父母最近就要签证了。
: 希望大家给出确切信息。谢谢。
c*e
12 楼
社会主义初级阶段 --- 100年不变
y*i
13 楼
西菜汤有……饺子汤……
什么时候饺子成了西菜？
什么时候饺子成了西菜？
d*i
14 楼
ubuntu dist-upgrade page recommends clonezilla
image
【在 x*g 的大作中提到】
: linux（我用的centos）怎么做系统备份？ 有没有像windows下的ghost或者true image
: ？或者有更好更简单的备份办法？
image
【在 x*g 的大作中提到】
: linux（我用的centos）怎么做系统备份？ 有没有像windows下的ghost或者true image
: ？或者有更好更简单的备份办法？
m*l
15 楼
stream editor + regular expression
;
【在 s*****n 的大作中提到】
: 我有一个大的csv数据文件，超过 1 billion 条数据。 我们的数据库都不能处理这
: 么大的文件。
: 想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
: 这样的工作。 然后把选出来的小块数据读到数据库里去用。
: 有没有大侠给指点一二？
: 怎么做啊？ 急等。
: 谢谢！
;
【在 s*****n 的大作中提到】
: 我有一个大的csv数据文件，超过 1 billion 条数据。 我们的数据库都不能处理这
: 么大的文件。
: 想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
: 这样的工作。 然后把选出来的小块数据读到数据库里去用。
: 有没有大侠给指点一二？
: 怎么做啊？ 急等。
: 谢谢！
j*1
16 楼
问题是当时在check in 的前台能不能买到婴儿票？
希望能够解答。
【在 p*****n 的大作中提到】
: 小于2岁交全价票10%可以买婴儿票，没有座位
:
希望能够解答。
【在 p*****n 的大作中提到】
: 小于2岁交全价票10%可以买婴儿票，没有座位
:
b*q
17 楼
继续
N*D
18 楼
好像是填写退休前的
【在 l***e 的大作中提到】
: 我帮父母填写申请表。父母都已退休，于是我在DS156表的第20项，当前工作单位填写
: none。因为当前他们已经没有工作了。
: 可是今天看签经得时候，看到有人说156表的第20项要填写退休前的工作单位，如果申
: 请人已经退休。真的是这样么？我觉得没有道理呀。如果确实需要填写退休前工作单位
: ，我要尽快修改重新填表了，因为父母最近就要签证了。
: 希望大家给出确切信息。谢谢。
【在 l***e 的大作中提到】
: 我帮父母填写申请表。父母都已退休，于是我在DS156表的第20项，当前工作单位填写
: none。因为当前他们已经没有工作了。
: 可是今天看签经得时候，看到有人说156表的第20项要填写退休前的工作单位，如果申
: 请人已经退休。真的是这样么？我觉得没有道理呀。如果确实需要填写退休前工作单位
: ，我要尽快修改重新填表了，因为父母最近就要签证了。
: 希望大家给出确切信息。谢谢。
p*a
19 楼
你那个贴还没到第二页吧
r*y
20 楼
本来就是个编的网络娱乐帖。。。
【在 y****i 的大作中提到】
: 西菜汤有……饺子汤……
: 什么时候饺子成了西菜？
【在 y****i 的大作中提到】
: 西菜汤有……饺子汤……
: 什么时候饺子成了西菜？
s*n
21 楼
能不能说得详细点？ 我是菜鸟。
谢谢了！！
【在 m*******l 的大作中提到】
: stream editor + regular expression
:
: ;
谢谢了！！
【在 m*******l 的大作中提到】
: stream editor + regular expression
:
: ;
D*E
22 楼
可以。
【在 j****1 的大作中提到】
: 问题是当时在check in 的前台能不能买到婴儿票？
: 希望能够解答。
【在 j****1 的大作中提到】
: 问题是当时在check in 的前台能不能买到婴儿票？
: 希望能够解答。
s*e
23 楼
你再加几个回复，或者点‘本篇全文’，然后选‘同主题下篇’，一直看下去
i*n
24 楼
只要老百姓吃好喝好生活幸福，老毛就是天天吃龙肝风胆也是好领导。
而让老百姓缺衣少食，甚至饿死，就算老毛陪着吃糠咽菜也是中国的罪人。
【在 k******e 的大作中提到】
: 【 以下文字转载自 History 讨论区 】
: 发信人: keystone (二胖), 信区: History
: 标 题: 主席六十年代初的菜谱这事有定论没？
: 发信站: BBS 未名空间站 (Tue Feb 8 13:44:12 2011, 美东)
: 这几天在看五星红旗高高飘扬，现在又看到这个，据说还是官泻，大家给议议，
: 摘自：毛泽东遗物事典，红旗出版社1996年11月版
: 1961 年4 月26 日，几位工作人员会同厨师为毛泽东精心订制了一份西菜、两菜汤菜谱
: 。从保存下来的西餐菜谱来看，内容尽管谈不上十分丰富，但己比较周到的照顾到了毛
: 泽东的饮食喜好。这份菜谱包括七大西菜系列，即鱼虾类、鸡类、鸭类、猪肉、羊肉类
: 、牛肉类、汤类。
而让老百姓缺衣少食，甚至饿死，就算老毛陪着吃糠咽菜也是中国的罪人。
【在 k******e 的大作中提到】
: 【 以下文字转载自 History 讨论区 】
: 发信人: keystone (二胖), 信区: History
: 标 题: 主席六十年代初的菜谱这事有定论没？
: 发信站: BBS 未名空间站 (Tue Feb 8 13:44:12 2011, 美东)
: 这几天在看五星红旗高高飘扬，现在又看到这个，据说还是官泻，大家给议议，
: 摘自：毛泽东遗物事典，红旗出版社1996年11月版
: 1961 年4 月26 日，几位工作人员会同厨师为毛泽东精心订制了一份西菜、两菜汤菜谱
: 。从保存下来的西餐菜谱来看，内容尽管谈不上十分丰富，但己比较周到的照顾到了毛
: 泽东的饮食喜好。这份菜谱包括七大西菜系列，即鱼虾类、鸡类、鸭类、猪肉、羊肉类
: 、牛肉类、汤类。
s*e
25 楼
do the chunk read with pandas package
;
【在 s*****n 的大作中提到】
: 我有一个大的csv数据文件，超过 1 billion 条数据。 我们的数据库都不能处理这
: 么大的文件。
: 想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
: 这样的工作。 然后把选出来的小块数据读到数据库里去用。
: 有没有大侠给指点一二？
: 怎么做啊？ 急等。
: 谢谢！
;
【在 s*****n 的大作中提到】
: 我有一个大的csv数据文件，超过 1 billion 条数据。 我们的数据库都不能处理这
: 么大的文件。
: 想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
: 这样的工作。 然后把选出来的小块数据读到数据库里去用。
: 有没有大侠给指点一二？
: 怎么做啊？ 急等。
: 谢谢！
j*1
26 楼
thanks!
【在 D*****E 的大作中提到】
: 可以。
【在 D*****E 的大作中提到】
: 可以。
s*m
27 楼
回贴试一下, 看看是不是能看到.
i*n
28 楼
毛泽东遗物事典-韶山毛泽东同志纪念馆编 红旗出版社 顾问：汪东兴 张玉凤等 1996
年11月1版1次 印数1-20000册 564页
【在 r****y 的大作中提到】
: 本来就是个编的网络娱乐帖。。。
年11月1版1次 印数1-20000册 564页
【在 r****y 的大作中提到】
: 本来就是个编的网络娱乐帖。。。
a*e
29 楼
sed
http://linux.about.com/od/commands/l/blcmdl1_sed.htm
like:
sed '/regexp_of_what_you_want/p' file.csv > result.csv
http://linux.about.com/od/commands/l/blcmdl1_sed.htm
like:
sed '/regexp_of_what_you_want/p' file.csv > result.csv
s*m
30 楼
好象回贴的办法可以.
我回贴前, 这贴只看到两个人的回复. 回完贴, 看到5楼,包括刚回的.
我回贴前, 这贴只看到两个人的回复. 回完贴, 看到5楼,包括刚回的.
o*p
31 楼
如果redirect输出到文件，只要4行就好了,
for line in open('big.csv'):
fields = line.split(',')
if fields[n] = 'keep': # the where clause
print line
;
【在 s*****n 的大作中提到】
: 我有一个大的csv数据文件，超过 1 billion 条数据。 我们的数据库都不能处理这
: 么大的文件。
: 想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
: 这样的工作。 然后把选出来的小块数据读到数据库里去用。
: 有没有大侠给指点一二？
: 怎么做啊？ 急等。
: 谢谢！
for line in open('big.csv'):
fields = line.split(',')
if fields[n] = 'keep': # the where clause
print line
;
【在 s*****n 的大作中提到】
: 我有一个大的csv数据文件，超过 1 billion 条数据。 我们的数据库都不能处理这
: 么大的文件。
: 想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
: 这样的工作。 然后把选出来的小块数据读到数据库里去用。
: 有没有大侠给指点一二？
: 怎么做啊？ 急等。
: 谢谢！
s*n
32 楼
太谢谢楼上的各位哥哥姐姐弟弟妹妹了。
我真的是菜鸟，所以只看懂了oceandeep的回复。
不过怎么把选出来的数据存起来啊？ 存到csv file.
我真的是菜鸟，所以只看懂了oceandeep的回复。
不过怎么把选出来的数据存起来啊？ 存到csv file.
a*e
33 楼
我是大叔
with open('result.csv', 'w+') as result:
with open('big.csv', 'r') as big:
for line in big:
if line.split(',')[n] == 'what you want':
result.write(line)
【在 s*****n 的大作中提到】
: 太谢谢楼上的各位哥哥姐姐弟弟妹妹了。
: 我真的是菜鸟，所以只看懂了oceandeep的回复。
: 不过怎么把选出来的数据存起来啊？ 存到csv file.
with open('result.csv', 'w+') as result:
with open('big.csv', 'r') as big:
for line in big:
if line.split(',')[n] == 'what you want':
result.write(line)
【在 s*****n 的大作中提到】
: 太谢谢楼上的各位哥哥姐姐弟弟妹妹了。
: 我真的是菜鸟，所以只看懂了oceandeep的回复。
: 不过怎么把选出来的数据存起来啊？ 存到csv file.
s*e
34 楼
SQLite?
【在 s*****n 的大作中提到】
: 太谢谢楼上的各位哥哥姐姐弟弟妹妹了。
: 我真的是菜鸟，所以只看懂了oceandeep的回复。
: 不过怎么把选出来的数据存起来啊？ 存到csv file.
【在 s*****n 的大作中提到】
: 太谢谢楼上的各位哥哥姐姐弟弟妹妹了。
: 我真的是菜鸟，所以只看懂了oceandeep的回复。
: 不过怎么把选出来的数据存起来啊？ 存到csv file.
r*n
35 楼
文件有多大？
;
【在 s*****n 的大作中提到】
: 我有一个大的csv数据文件，超过 1 billion 条数据。 我们的数据库都不能处理这
: 么大的文件。
: 想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
: 这样的工作。 然后把选出来的小块数据读到数据库里去用。
: 有没有大侠给指点一二？
: 怎么做啊？ 急等。
: 谢谢！
;
【在 s*****n 的大作中提到】
: 我有一个大的csv数据文件，超过 1 billion 条数据。 我们的数据库都不能处理这
: 么大的文件。
: 想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
: 这样的工作。 然后把选出来的小块数据读到数据库里去用。
: 有没有大侠给指点一二？
: 怎么做啊？ 急等。
: 谢谢！
t*a
36 楼
不要用python，用awk就够啦！awk是linux里处理csv,tsv之类的最好最方便的工具，不
用费力气去写python程序。google一下awk的wiki就知道怎么用了。
另外你的文件很大，我猜测你用的是多CPU的linux服务器。这种情况下并行处理可能会
更快一些。我知道的办法是split成小文件以后，ls|xargs awk...|cat 再加并行的参
数 （好像是-P）之后可以合并结果文件。
;
【在 s*****n 的大作中提到】
: 我有一个大的csv数据文件，超过 1 billion 条数据。 我们的数据库都不能处理这
: 么大的文件。
: 想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
: 这样的工作。 然后把选出来的小块数据读到数据库里去用。
: 有没有大侠给指点一二？
: 怎么做啊？ 急等。
: 谢谢！
用费力气去写python程序。google一下awk的wiki就知道怎么用了。
另外你的文件很大，我猜测你用的是多CPU的linux服务器。这种情况下并行处理可能会
更快一些。我知道的办法是split成小文件以后，ls|xargs awk...|cat 再加并行的参
数 （好像是-P）之后可以合并结果文件。
;
【在 s*****n 的大作中提到】
: 我有一个大的csv数据文件，超过 1 billion 条数据。 我们的数据库都不能处理这
: 么大的文件。
: 想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
: 这样的工作。 然后把选出来的小块数据读到数据库里去用。
: 有没有大侠给指点一二？
: 怎么做啊？ 急等。
: 谢谢！
h*t
37 楼
check sqlite3 module in python, it provides interface for SQL commands in
python
;
【在 s*****n 的大作中提到】
: 我有一个大的csv数据文件，超过 1 billion 条数据。 我们的数据库都不能处理这
: 么大的文件。
: 想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
: 这样的工作。 然后把选出来的小块数据读到数据库里去用。
: 有没有大侠给指点一二？
: 怎么做啊？ 急等。
: 谢谢！
python
;
【在 s*****n 的大作中提到】
: 我有一个大的csv数据文件，超过 1 billion 条数据。 我们的数据库都不能处理这
: 么大的文件。
: 想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
: 这样的工作。 然后把选出来的小块数据读到数据库里去用。
: 有没有大侠给指点一二？
: 怎么做啊？ 急等。
: 谢谢！
r*d
38 楼
为什么不用perl写，里面有match pattern，方便简单。你稍微google一下就行
http://work.lauralemay.com/samples/perl.html
http://work.lauralemay.com/samples/perl.html
E*m
39 楼
記得用這個，省很多麻煩
http://docs.python.org/2/library/csv.html
http://docs.python.org/2/library/csv.html
H*S
40 楼
这个用awk肯定最方便，没有之一。
awk -F',' '{if () print $0}'
http://www.grymoire.com/Unix/Awk.html
;
【在 s*****n 的大作中提到】
: 我有一个大的csv数据文件，超过 1 billion 条数据。 我们的数据库都不能处理这
: 么大的文件。
: 想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
: 这样的工作。 然后把选出来的小块数据读到数据库里去用。
: 有没有大侠给指点一二？
: 怎么做啊？ 急等。
: 谢谢！
awk -F',' '{if (
http://www.grymoire.com/Unix/Awk.html
;
【在 s*****n 的大作中提到】
: 我有一个大的csv数据文件，超过 1 billion 条数据。 我们的数据库都不能处理这
: 么大的文件。
: 想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
: 这样的工作。 然后把选出来的小块数据读到数据库里去用。
: 有没有大侠给指点一二？
: 怎么做啊？ 急等。
: 谢谢！
z*h
41 楼
build a Hadoop cluster and use Hive.
;
【在 s*****n 的大作中提到】
: 我有一个大的csv数据文件，超过 1 billion 条数据。 我们的数据库都不能处理这
: 么大的文件。
: 想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
: 这样的工作。 然后把选出来的小块数据读到数据库里去用。
: 有没有大侠给指点一二？
: 怎么做啊？ 急等。
: 谢谢！
;
【在 s*****n 的大作中提到】
: 我有一个大的csv数据文件，超过 1 billion 条数据。 我们的数据库都不能处理这
: 么大的文件。
: 想用Python选一部分数据出来，就是做类似于sql: select *** from *** where ***;
: 这样的工作。 然后把选出来的小块数据读到数据库里去用。
: 有没有大侠给指点一二？
: 怎么做啊？ 急等。
: 谢谢！
相关阅读
Any good machine learning model for extracting personal info from resume?动不动30万年薪的为啥啊我来说说在互联网领域的c++和javaRe: 程序员的evernote: quiver (转载)想起隔壁组的ruby大牛各位搞c++的，今年写了多少行代码？go大牛入开个凤姐王珢版吧自动分析网页的Python 库？纯搞技术的就是给3哥经理人摘桃子的节奏C* scala driver要进行第二轮面试，HR说是low-key discussion，这是啥意思啊？马工们难道就没有办法阻止3哥了么大家真心觉得akka好用吗？问一个leetcode的排序问题3哥搞open source的多不多？sikuliYou Don’t Know JS: this & Object Prototypes如何知道AWS开销的明细？大牛们，自学怎么找工作？