python code performance --- normal or too slow? (转载)# Linux - Linux 操作系统
d*n
1 楼
近期热点不断啊，
002013
600765
600372
都兑现了...
偶一直在关注000768和600316还有版上推荐的000738
下一个会是谁呢？
002013
600765
600372
都兑现了...
偶一直在关注000768和600316还有版上推荐的000738
下一个会是谁呢？
s*u
2 楼
发信人: scottsdale (除草剂), 信区: Biology
标 题: 国内有坑还是赶紧去填吧，机会是越来越少
发信站: BBS 未名空间站 (Thu Feb 24 09:28:54 2011, 美东)
跟国内一PI聊天。
现在去中科院系统，没有关系的话，潜规则基本上是得有一篇CNS加一篇系列档次的。
越来
越难了，人家根本不待见你一般海归了，递简历的多了去了。
当然你也可以去二三线大学，可那不是主流圈子的，你上哪儿弄钱去啊。
国内的就业形式更是触目惊心，一个３０００块一个月的研究助理（技术员），你都不
知道多少人去抢，还得找人递条子，不是９８５，２１１毕业的人家看都不看，其中还
不乏海归。
标 题: 国内有坑还是赶紧去填吧，机会是越来越少
发信站: BBS 未名空间站 (Thu Feb 24 09:28:54 2011, 美东)
跟国内一PI聊天。
现在去中科院系统，没有关系的话，潜规则基本上是得有一篇CNS加一篇系列档次的。
越来
越难了，人家根本不待见你一般海归了，递简历的多了去了。
当然你也可以去二三线大学，可那不是主流圈子的，你上哪儿弄钱去啊。
国内的就业形式更是触目惊心，一个３０００块一个月的研究助理（技术员），你都不
知道多少人去抢，还得找人递条子，不是９８５，２１１毕业的人家看都不看，其中还
不乏海归。
c*e
3 楼
知道可能性不大，但还是想问一下
水平越高越好：） 我刚刚涉足competitive tf2
水平越高越好：） 我刚刚涉足competitive tf2
w*i
4 楼
在外面上了大概三年的班，我们一直都有联系，一直都是比朋友多点比爱情少点的关系。有一天挂上QQ，接到了他发来的信息“我明天就到了你住的城市了，有时间的话来车站接我吧”我刚开始还忽悠他骗我呢，没有想到他真的来了，坐了26个小时的火车。一下车一脸的疲惫不堪，还冲着我傻笑，当时我的眼泪就一直往下掉，他吓得不行了，慌忙拿手给我擦眼泪，随即，我们就幸福地抱在了一起。那一年，他18，我17,。
跟他从来都没有那么近距离接触过，竟也不知道他有那么好，我们在一起的时候，饭是他做，衣服是他冼，碗都从来没有要我冼过半只。跟他在一起的四年，处处都充满着开心跟幸福。跟很多情侣一样我们也有闹过矛盾，但每次都是他服软，哪怕每次都是我无理取闹。记得有一次也是我最过分的一次，我小姐脾气上来了，打电话给他，他在跟同事吃饭，我就是要他回来，他说等下，我就一直催，一直不见他回来，我就在家门口不进去，外面下着大雨，我就说自己没有钥匙，他急忙赶回来了。我上去就是给他一个耳光，当时，在雨中我看见他的眼神满满都是失望，我第一感觉完了，他肯定不会理我了。没有想到一进屋他就拿干毛巾把我擦干，接着坐着把家里的衣服冼了，只是一边冼一边摇头，一句话都没有说，从那时我就知道，这就是我要嫁的人，我在心里真真地肯定了他。
前段时间我把他正式地介绍给了我的家人，可爸妈看上去很不喜欢他，对他也是尤其地客气，从头到尾没有露出过一个笑脸。我知道，爸妈肯定是看不上他们家的家庭条件。到了晚上，他走了，爸妈就开门见山地说，我们是不会答应你们在一起的，他是个不错的男孩子，但是他家里连个房子都没有，还是个瓦房，结婚了还得跟他爸妈挤在一起，以后的日子要多苦有多苦。我跟爸妈说了他的很多好还有我要跟他在一起的决心，在家里不吃不喝的也还是没有任何效果，爸妈就说你要想要跟他在一起就别认我们这个爸妈，也别回这个家，我们就当没有生你。而我一直在想去见他的办法，我知道我们的爱情不会断在这里了，坚信我们的幸福才刚刚开始。。。。
跟他从来都没有那么近距离接触过，竟也不知道他有那么好，我们在一起的时候，饭是他做，衣服是他冼，碗都从来没有要我冼过半只。跟他在一起的四年，处处都充满着开心跟幸福。跟很多情侣一样我们也有闹过矛盾，但每次都是他服软，哪怕每次都是我无理取闹。记得有一次也是我最过分的一次，我小姐脾气上来了，打电话给他，他在跟同事吃饭，我就是要他回来，他说等下，我就一直催，一直不见他回来，我就在家门口不进去，外面下着大雨，我就说自己没有钥匙，他急忙赶回来了。我上去就是给他一个耳光，当时，在雨中我看见他的眼神满满都是失望，我第一感觉完了，他肯定不会理我了。没有想到一进屋他就拿干毛巾把我擦干，接着坐着把家里的衣服冼了，只是一边冼一边摇头，一句话都没有说，从那时我就知道，这就是我要嫁的人，我在心里真真地肯定了他。
前段时间我把他正式地介绍给了我的家人，可爸妈看上去很不喜欢他，对他也是尤其地客气，从头到尾没有露出过一个笑脸。我知道，爸妈肯定是看不上他们家的家庭条件。到了晚上，他走了，爸妈就开门见山地说，我们是不会答应你们在一起的，他是个不错的男孩子，但是他家里连个房子都没有，还是个瓦房，结婚了还得跟他爸妈挤在一起，以后的日子要多苦有多苦。我跟爸妈说了他的很多好还有我要跟他在一起的决心，在家里不吃不喝的也还是没有任何效果，爸妈就说你要想要跟他在一起就别认我们这个爸妈，也别回这个家，我们就当没有生你。而我一直在想去见他的办法，我知道我们的爱情不会断在这里了，坚信我们的幸福才刚刚开始。。。。
n*0
5 楼
http://www.glorypress.com/devotional/FaithAndLifeOneYearBook.asp?bid=1
藉着信
經文: 「被壓太重，力不能勝。」（林後一8） 「好叫基督的能力覆庇我。」（林後十
二9）
雅各在毘努依勒，初次經歷了一個從未經歷的秘訣──抓住上帝；從那一次以
後，雅各的信心有了長進，他對上帝有了更深的認識，他的生活也有新的得勝能力了。
對待大衛，上帝必須讓他經過長期痛苦的訓練，叫他知道上帝的全能與信實好
使他的信心和敬畏的心得以增長，因為這些美德對於他將來作王是極其緊要的。
沒有別的，只有保羅所不斷經歷的困難、痛苦、危險，能叫保羅學到，能叫全
教會學到，「我的恩典夠你用的」（林後十二9）這偉大應許的完全意義。
今天能帶我們認識主、信靠主、向主支取無限恩典的，不是別的，乃是我們的
試煉和危險。
上帝給我們困難和障礙，為的是要對付我們的信心。我們在日常的道路上，如
果遭遇甚麼障礙，我們就該認識它們是裝信心的器皿，立刻拿主的豐富和「夠用」去裝
滿它們；當我們前進，
藉着信
經文: 「被壓太重，力不能勝。」（林後一8） 「好叫基督的能力覆庇我。」（林後十
二9）
雅各在毘努依勒，初次經歷了一個從未經歷的秘訣──抓住上帝；從那一次以
後，雅各的信心有了長進，他對上帝有了更深的認識，他的生活也有新的得勝能力了。
對待大衛，上帝必須讓他經過長期痛苦的訓練，叫他知道上帝的全能與信實好
使他的信心和敬畏的心得以增長，因為這些美德對於他將來作王是極其緊要的。
沒有別的，只有保羅所不斷經歷的困難、痛苦、危險，能叫保羅學到，能叫全
教會學到，「我的恩典夠你用的」（林後十二9）這偉大應許的完全意義。
今天能帶我們認識主、信靠主、向主支取無限恩典的，不是別的，乃是我們的
試煉和危險。
上帝給我們困難和障礙，為的是要對付我們的信心。我們在日常的道路上，如
果遭遇甚麼障礙，我們就該認識它們是裝信心的器皿，立刻拿主的豐富和「夠用」去裝
滿它們；當我們前進，
O*k
6 楼
☆─────────────────────────────────────☆
xuansu (xsu) 于 (Sat Aug 14 03:40:33 2010, 美东) 提到:
一个人行军状态下最大背负重量不应该超过60斤。在这种负担下，一天行军距离可以达
到至少30公里。假设装备为30斤，那么可以携带30斤粮食。又假设每天吃3斤粮食，那
么可以行军10天，粮尽前行军300公里。
一匹千斤左右的马能驮200多斤重量。骑兵本人算100斤，装备30斤，那么可以携带70斤
的粮食草料。骑兵长距离行军速度一天25英里，等于大约40公里。一匹马一天吃自身重
量1.5-3.5%的食物，千斤马就要吃至少15斤，加上骑手一天一斤算，每天食物消耗16斤
。在70斤自带粮食吃光前可以行军5天，总距离200公里。
在没有沿途补给情况下，只要行军距离超过200公里，骑兵速度实际上就是后勤车队的
速度了。超过300公里，不论骑兵还是步兵，实际速度都是后勤车队的速度。同时，因
为骑兵消耗比步兵大很多，停下来等车队的时间更长，所以骑兵不会比步兵快。
如果有沿途补给，那就要看沿途的补给能力了。行军路线也
xuansu (xsu) 于 (Sat Aug 14 03:40:33 2010, 美东) 提到:
一个人行军状态下最大背负重量不应该超过60斤。在这种负担下，一天行军距离可以达
到至少30公里。假设装备为30斤，那么可以携带30斤粮食。又假设每天吃3斤粮食，那
么可以行军10天，粮尽前行军300公里。
一匹千斤左右的马能驮200多斤重量。骑兵本人算100斤，装备30斤，那么可以携带70斤
的粮食草料。骑兵长距离行军速度一天25英里，等于大约40公里。一匹马一天吃自身重
量1.5-3.5%的食物，千斤马就要吃至少15斤，加上骑手一天一斤算，每天食物消耗16斤
。在70斤自带粮食吃光前可以行军5天，总距离200公里。
在没有沿途补给情况下，只要行军距离超过200公里，骑兵速度实际上就是后勤车队的
速度了。超过300公里，不论骑兵还是步兵，实际速度都是后勤车队的速度。同时，因
为骑兵消耗比步兵大很多，停下来等车队的时间更长，所以骑兵不会比步兵快。
如果有沿途补给，那就要看沿途的补给能力了。行军路线也
i*r
7 楼
【 以下文字转载自 Programming 讨论区 】
发信人: iiiir (哎呀我最牛), 信区: Programming
标 题: python code performance --- normal or too slow?
发信站: BBS 未名空间站 (Tue Jan 7 11:21:52 2014, 美东)
file is 2.5GB with 18,217,166 lines
my python script took about 20-30 minutes to finish
seems slow?
Thanks!!
input file data structure (showing first two lines, wrapped):
chromo pos ref alt dc1 dc2 dc3 dtm bas din
crw itb ptw spw isw irw inw ru1 ru2
ru3 im1 im2 im3 im4 xj1 xj2 qh1 qh2
ti1 ti2 glw mxa rwa ysa ysb ysc cac jaa
jac
chr01 242806 G T 0/0 0/0 . 0/0 0/0 0/0
0/0 0/0 0/0 0/0 0/0 0/0 0/0 . 0/0
0/0 0/0 . 0/0 0/0 0/0 0/0 0/0 0/0 0/
0 0/0 0/1 0/0 0/0 0/0 0/0 0/0 0/0 0/0
0/0
my python code is to:
1. parse the header and produce first file
2. parse the body and translate 0s and 1s to ATGC etc to produce second file
.
import sys
def geno_to_base(ref, alt, genotype):
assert len(genotype) == 3, "genotype not in 0/1 format"
allele1 = alt if genotype[0] else ref
allele2 = alt if genotype[-1] else ref
return '{} {} '.format(allele1, allele2)
def translate_geno(ref, alt, genotype):
'''genotype needs to be either . or 0/0 format'''
return '0 0 ' if genotype == '.' else geno_to_base(ref, alt, genotype)
def line_parse(line):
chrs, pos, ref, alt, *geno = line.split()
all_genotype = [translate_geno(ref, alt, g) for g in geno]
return chrs, pos, ''.join(all_genotype)
if __name__ == "__main__":
fn = sys.argv[1] # required
fin = open(fn)
tfam = open('out.tfam','w')
tped = open('out.tped', 'w')
# write tfam
header = next(fin)
for i,h in enumerate(header.split()[4:]):
tfam.write('{}t{}t0t0t0t0n'.format(i,h))
# write tped
morgan = 0
for i,l in enumerate(fin):
rs_id = 'snp{}'.format(i+1)
chrs, pos, all_geno = line_parse(l)
chrs = int(chrs[3:]) # only need the number
tped.write( '{} {} {} {} {}n'.format(chrs, rs_id, morgan, pos, all_
geno) )
tfam.close()
tped.close()
发信人: iiiir (哎呀我最牛), 信区: Programming
标 题: python code performance --- normal or too slow?
发信站: BBS 未名空间站 (Tue Jan 7 11:21:52 2014, 美东)
file is 2.5GB with 18,217,166 lines
my python script took about 20-30 minutes to finish
seems slow?
Thanks!!
input file data structure (showing first two lines, wrapped):
chromo pos ref alt dc1 dc2 dc3 dtm bas din
crw itb ptw spw isw irw inw ru1 ru2
ru3 im1 im2 im3 im4 xj1 xj2 qh1 qh2
ti1 ti2 glw mxa rwa ysa ysb ysc cac jaa
jac
chr01 242806 G T 0/0 0/0 . 0/0 0/0 0/0
0/0 0/0 0/0 0/0 0/0 0/0 0/0 . 0/0
0/0 0/0 . 0/0 0/0 0/0 0/0 0/0 0/0 0/
0 0/0 0/1 0/0 0/0 0/0 0/0 0/0 0/0 0/0
0/0
my python code is to:
1. parse the header and produce first file
2. parse the body and translate 0s and 1s to ATGC etc to produce second file
.
import sys
def geno_to_base(ref, alt, genotype):
assert len(genotype) == 3, "genotype not in 0/1 format"
allele1 = alt if genotype[0] else ref
allele2 = alt if genotype[-1] else ref
return '{} {} '.format(allele1, allele2)
def translate_geno(ref, alt, genotype):
'''genotype needs to be either . or 0/0 format'''
return '0 0 ' if genotype == '.' else geno_to_base(ref, alt, genotype)
def line_parse(line):
chrs, pos, ref, alt, *geno = line.split()
all_genotype = [translate_geno(ref, alt, g) for g in geno]
return chrs, pos, ''.join(all_genotype)
if __name__ == "__main__":
fn = sys.argv[1] # required
fin = open(fn)
tfam = open('out.tfam','w')
tped = open('out.tped', 'w')
# write tfam
header = next(fin)
for i,h in enumerate(header.split()[4:]):
tfam.write('{}t{}t0t0t0t0n'.format(i,h))
# write tped
morgan = 0
for i,l in enumerate(fin):
rs_id = 'snp{}'.format(i+1)
chrs, pos, all_geno = line_parse(l)
chrs = int(chrs[3:]) # only need the number
tped.write( '{} {} {} {} {}n'.format(chrs, rs_id, morgan, pos, all_
geno) )
tfam.close()
tped.close()
C*Y
8 楼
CNS?
【在 s**u 的大作中提到】
: 发信人: scottsdale (除草剂), 信区: Biology
: 标 题: 国内有坑还是赶紧去填吧，机会是越来越少
: 发信站: BBS 未名空间站 (Thu Feb 24 09:28:54 2011, 美东)
: 跟国内一PI聊天。
: 现在去中科院系统，没有关系的话，潜规则基本上是得有一篇CNS加一篇系列档次的。
: 越来
: 越难了，人家根本不待见你一般海归了，递简历的多了去了。
: 当然你也可以去二三线大学，可那不是主流圈子的，你上哪儿弄钱去啊。
: 国内的就业形式更是触目惊心，一个３０００块一个月的研究助理（技术员），你都不
: 知道多少人去抢，还得找人递条子，不是９８５，２１１毕业的人家看都不看，其中还
【在 s**u 的大作中提到】
: 发信人: scottsdale (除草剂), 信区: Biology
: 标 题: 国内有坑还是赶紧去填吧，机会是越来越少
: 发信站: BBS 未名空间站 (Thu Feb 24 09:28:54 2011, 美东)
: 跟国内一PI聊天。
: 现在去中科院系统，没有关系的话，潜规则基本上是得有一篇CNS加一篇系列档次的。
: 越来
: 越难了，人家根本不待见你一般海归了，递简历的多了去了。
: 当然你也可以去二三线大学，可那不是主流圈子的，你上哪儿弄钱去啊。
: 国内的就业形式更是触目惊心，一个３０００块一个月的研究助理（技术员），你都不
: 知道多少人去抢，还得找人递条子，不是９８５，２１１毕业的人家看都不看，其中还
c*n
9 楼
wo wan
l*5
10 楼
父母都是为了子女好，不过没有哪个父母真的会为难自己的孩子的，好好的跟家里说说
说，不要威胁，毕竟是自己的亲生父母，岁数都不小了，受不了什么刺激，心平气和的
说就好了
说，不要威胁，毕竟是自己的亲生父母，岁数都不小了，受不了什么刺激，心平气和的
说就好了
m*g
11 楼
前两天看了一本关于二战德军军马的书，里面提到一点我觉得很重要，就是军马不能靠
吃草连续行军。因为马吃草吃到饱要花很长时间，每天吃十个钟头，所以德军为了保证
行军速度，是给军马吃饲料的（燕麦大麦之类的混合物），而尽管德军的饲料已经经过
压缩，一吨饲料仍然是同样数量燃料的体积的十倍，占用了德军大部分车皮。
所以如果在不富庶的地区行军，中古时代的骑兵每天只能行军几个小时，其他时间要用
来放马。
吃草连续行军。因为马吃草吃到饱要花很长时间，每天吃十个钟头，所以德军为了保证
行军速度，是给军马吃饲料的（燕麦大麦之类的混合物），而尽管德军的饲料已经经过
压缩，一吨饲料仍然是同样数量燃料的体积的十倍，占用了德军大部分车皮。
所以如果在不富庶的地区行军，中古时代的骑兵每天只能行军几个小时，其他时间要用
来放马。
C*Y
12 楼
cell, nature, science?
发信人: scottsdale (除草剂), 信区: Biology
标 题: 国内有坑还是赶紧去填吧，机会是越来越少
发信站: BBS 未名空间站 (Thu Feb 24 09:28:54 2011, 美东)
跟国内一PI聊天。
现在去中科院系统，没有关系的话，潜规则基本上是得有一篇CNS加一篇系列档次的。
越来
越难了，人家根本不待见你一般海归了，递简历的多了去了。
当然你也可以去二三线大学，可那不是主流圈子的，你上哪儿弄钱去啊。
国内的就业形式更是触目惊心，一个３０００块一个月的研究助理（技术员），你都不
知道多少人去抢，还得找人递条子，不是９８５，２１１毕业的人家看都不看，其中还
不乏海归。
【在 s**u 的大作中提到】
: 发信人: scottsdale (除草剂), 信区: Biology
: 标 题: 国内有坑还是赶紧去填吧，机会是越来越少
: 发信站: BBS 未名空间站 (Thu Feb 24 09:28:54 2011, 美东)
: 跟国内一PI聊天。
: 现在去中科院系统，没有关系的话，潜规则基本上是得有一篇CNS加一篇系列档次的。
: 越来
: 越难了，人家根本不待见你一般海归了，递简历的多了去了。
: 当然你也可以去二三线大学，可那不是主流圈子的，你上哪儿弄钱去啊。
: 国内的就业形式更是触目惊心，一个３０００块一个月的研究助理（技术员），你都不
: 知道多少人去抢，还得找人递条子，不是９８５，２１１毕业的人家看都不看，其中还
发信人: scottsdale (除草剂), 信区: Biology
标 题: 国内有坑还是赶紧去填吧，机会是越来越少
发信站: BBS 未名空间站 (Thu Feb 24 09:28:54 2011, 美东)
跟国内一PI聊天。
现在去中科院系统，没有关系的话，潜规则基本上是得有一篇CNS加一篇系列档次的。
越来
越难了，人家根本不待见你一般海归了，递简历的多了去了。
当然你也可以去二三线大学，可那不是主流圈子的，你上哪儿弄钱去啊。
国内的就业形式更是触目惊心，一个３０００块一个月的研究助理（技术员），你都不
知道多少人去抢，还得找人递条子，不是９８５，２１１毕业的人家看都不看，其中还
不乏海归。
【在 s**u 的大作中提到】
: 发信人: scottsdale (除草剂), 信区: Biology
: 标 题: 国内有坑还是赶紧去填吧，机会是越来越少
: 发信站: BBS 未名空间站 (Thu Feb 24 09:28:54 2011, 美东)
: 跟国内一PI聊天。
: 现在去中科院系统，没有关系的话，潜规则基本上是得有一篇CNS加一篇系列档次的。
: 越来
: 越难了，人家根本不待见你一般海归了，递简历的多了去了。
: 当然你也可以去二三线大学，可那不是主流圈子的，你上哪儿弄钱去啊。
: 国内的就业形式更是触目惊心，一个３０００块一个月的研究助理（技术员），你都不
: 知道多少人去抢，还得找人递条子，不是９８５，２１１毕业的人家看都不看，其中还
a*n
13 楼
cell, nature, science
【在 C*Y 的大作中提到】
: CNS?
【在 C*Y 的大作中提到】
: CNS?
C*Y
14 楼
太牛了。。。
cell, nature, science
【在 a*****n 的大作中提到】
: cell, nature, science
cell, nature, science
【在 a*****n 的大作中提到】
: cell, nature, science
相关阅读
家里搞文件服务器用sambe还是nfs？9.10下Xorg吃掉太多CPU哪个Linux版支持触摸屏？瘦狗拼音，有Linux版了妈？卖猪娃很好看啊，震惊了Is Ubuntu good for PBX and sharing internet access?你们用 firefox ctrl-shift-E 多么？升级到11.04后常莫名其妙地被关机a question on 64-bit想玩LINUX-求建议Amex Gold Premier Card Match 75000 points bonus再问一个grub2的问题退出ssh终端后怎么能让程序继续运行？如何下载streaming data (转载)Best Linux 4 Thinkpad最小化的替代是 lower the window请教一格批量文件名修改的问题哈用得好好的系统不要随便升级选择适合自己的编程语言Chase信用卡$500刀大放送 双倍Bonus 限时抢！