How to use multi-core to speed Python program - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

How to use multi-core to speed Python program

How to use multi-core to speed Python program# Programming - 葵花宝典

s*52008-07-17 07:07

1 楼

在米国生物phd了一年，不想再搞这个了，想申个cs的master读，不知道能申到什么样
的学校，各位大牛指教一下。一直对cs还是有兴趣的，只是生物的普遍弱点数学
background有点差，去年选过本校的生物信息课，这学期选了门数学系的课和一门计算
机系的课正读着。

s*h2008-07-17 07:07

2 楼

Sorry, I cannot input Chinese now.
I am writing Python program to do some scientific calculation.
I just got a new desktop which has 4 CPUs.
I wonder if I can take advantage of 4 CPUs in Python program?
Now the maximum CPU usage is only 25% since only one CPU is used.

s*52008-07-17 07:07

3 楼

还可以申到有钱的？会是什么样的学校？

a*a2008-07-17 07:07

4 楼

In the level of application, you can use multi-processe to use multi-
processor.
In the other hand, if your CPU is of Intel processor, you might want to try
to use Intel's MKL as your BLAS/LAPACK engine, which might drive CPU to its
full use. In the application level, you might want to learn about the
parallel
programming paradigms, such as MPI. In the engine level, the BLAS engine
will try to take advantage of the CPU for you.

【在 s****h 的大作中提到】

: Sorry, I cannot input Chinese now.
: I am writing Python program to do some scientific calculation.
: I just got a new desktop which has 4 CPUs.
: I wonder if I can take advantage of 4 CPUs in Python program?
: Now the maximum CPU usage is only 25% since only one CPU is used.

s*52008-07-17 07:07

5 楼

还可以申到有钱的？会是什么样的学校？

g*g2008-07-17 07:07

6 楼

Python's thread can't take advantage of multi-core?

【在 s****h 的大作中提到】

r*n2008-07-17 07:07

7 楼

master很难拿到钱，
我认识的两个都是自费，这是地二个学期了，
还是没找到钱，
一个科班，一个非科班。

【在 s******5 的大作中提到】

: 还可以申到有钱的？会是什么样的学校？

f*y2008-07-17 07:07

8 楼

这和python没关系
你得自己要写程序啊

【在 s****h 的大作中提到】

T*o2008-07-17 07:07

9 楼

EE转CS算不算非科班？

【在 r*******n 的大作中提到】

: master很难拿到钱，
: 我认识的两个都是自费，这是地二个学期了，
: 还是没找到钱，
: 一个科班，一个非科班。

g*g2008-07-17 07:07

10 楼

It seems python threading can only use one cpu.
You have to go process level to take advantage of multi-core.

【在 f*******y 的大作中提到】

: 这和python没关系
: 你得自己要写程序啊

J*r2008-07-17 07:07

11 楼

算吧，除非你本科学过一堆CS课程

【在 T*o 的大作中提到】

: EE转CS算不算非科班？

s*h2008-07-17 07:07

12 楼

谢谢。
我刚刚找到一个Parallel Python的软件包。
可以提供SMP方面的支持。
我当然希望找到一个立即可以用的东西，自己弄太难了。

T*o2008-07-17 07:07

13 楼

嗯，很多都没学过呢，离散数学，编译原理

【在 J*********r 的大作中提到】

: 算吧，除非你本科学过一堆CS课程

s*e2008-07-17 07:07

14 楼

Just a quick search, and found that this might help: Parallel Python.
http://www.parallelpython.com/
And some excerption
=====================
PP is a python module which provides mechanism for parallel execution of
python code on SMP (systems with multiple processors or cores) and clusters
(computers connected via network).
... it appears that if the application is computation-bound using 'thread'
or 'threading' python modules will not allow to run python byte-code in
parallel. The reason is th

【在 s****h 的大作中提到】

v*e2008-07-17 07:07

15 楼

suan

【在 T*o 的大作中提到】

: EE转CS算不算非科班？

f*y2008-07-17 07:07

16 楼

这不是真的吧
听起来很匪夷所思

【在 g*****g 的大作中提到】

: It seems python threading can only use one cpu.
: You have to go process level to take advantage of multi-core.

s*g2008-07-17 07:07

17 楼

严格的说，大部分ee转cs都不算科班。

【在 T*o 的大作中提到】

: EE转CS算不算非科班？

T*92008-07-17 07:07

18 楼

truth
I encountered this problem days before
I switch to C++ for performance reason

【在 f*******y 的大作中提到】

: 这不是真的吧
: 听起来很匪夷所思

v*e2008-07-17 07:07

19 楼

ye suan~

h*z2008-07-17 07:07

20 楼

Yes, standard python threading is limited by the global interpreter lock.

【在 g*****g 的大作中提到】

: Python's thread can't take advantage of multi-core?

r*n2008-07-17 07:07

21 楼

算近亲。
从软件来说，我认为算非科班。
EE不学数据结构和算法（或者学一点，也不重视），
操作系统，编译，所以我认为不算科班。

【在 T*o 的大作中提到】

: EE转CS算不算非科班？

h*z2008-07-17 07:07

22 楼

You can also try Stackless and IPython1.

clusters
Interpreter

【在 s***e 的大作中提到】

: Just a quick search, and found that this might help: Parallel Python.
: http://www.parallelpython.com/
: And some excerption
: =====================
: PP is a python module which provides mechanism for parallel execution of
: python code on SMP (systems with multiple processors or cores) and clusters
: (computers connected via network).
: ... it appears that if the application is computation-bound using 'thread'
: or 'threading' python modules will not allow to run python byte-code in
: parallel. The reason is th

m*n2008-07-17 07:07

23 楼

没有修过那些的话能被录取么还是要求先修些本科的课才能被录取

r*t2008-07-17 07:07

24 楼

Truth, 那天咱们不是已经讨论过了么。

【在 g*****g 的大作中提到】

: Python's thread can't take advantage of multi-core?

L*d2008-07-17 07:07

25 楼

the later

【在 m*****n 的大作中提到】

: 没有修过那些的话能被录取么还是要求先修些本科的课才能被录取

r*t2008-07-17 07:07

26 楼

不一定直接就要用到 parallel python, 我不知道 parallel python 现在发展怎么样
没法说。
但是在标准的 CPython 里面也可以用 threading interface 来使用 multi-core, 办
法就是用 processing module, 这个 module 会进入 python2.6, 它提供 python
threading module 的语法，底层使用 process 来 utilize multiple CPUs. 如果你的
code 不仅仅是你自己用的话，最好使用这个。
threading method 因为没法 scale to multiple CPUs across machines, with GIL
的原因，在 python world 里面没有得到采用。 python answer 是使用进程。使用进
程来 parallel 的有 IPython1 + mpi

【在 s****h 的大作中提到】

: 谢谢。
: 我刚刚找到一个Parallel Python的软件包。
: 可以提供SMP方面的支持。
: 我当然希望找到一个立即可以用的东西，自己弄太难了。

s*g2008-07-17 07:07

27 楼

master问题不大，应该能录取。

【在 m*****n 的大作中提到】

: 没有修过那些的话能被录取么还是要求先修些本科的课才能被录取

g*g2008-07-17 07:07

28 楼

使用进程也太吃内存了吧，要是跑服务器，上百连接进来怎么办？

【在 r****t 的大作中提到】

: 不一定直接就要用到 parallel python, 我不知道 parallel python 现在发展怎么样
: 没法说。
: 但是在标准的 CPython 里面也可以用 threading interface 来使用 multi-core, 办
: 法就是用 processing module, 这个 module 会进入 python2.6, 它提供 python
: threading module 的语法，底层使用 process 来 utilize multiple CPUs. 如果你的
: code 不仅仅是你自己用的话，最好使用这个。
: threading method 因为没法 scale to multiple CPUs across machines, with GIL
: 的原因，在 python world 里面没有得到采用。 python answer 是使用进程。使用进
: 程来 parallel 的有 IPython1 + mpi

s*n2008-07-17 07:07

29 楼

俺有钱，但学校烂。你来么？

s*e2008-07-17 07:07

30 楼

我想它应该是让进程scale to the number of CPU, 但是线程不是，但是线程还是有的。

【在 g*****g 的大作中提到】

: 使用进程也太吃内存了吧，要是跑服务器，上百连接进来怎么办？

n*g2008-07-17 07:07

31 楼

我也要去！

【在 s*****n 的大作中提到】

: 俺有钱，但学校烂。你来么？

r*t2008-07-17 07:07

32 楼

用进程， up to the number of CPUs, 再多就没有好处了。
servers in python uses Twisted to implement. Twisted + Prospective Broker+ 少量的 threading 基本上是 python 里面对这
个问题的回答吧。

【在 g*****g 的大作中提到】

: 使用进程也太吃内存了吧，要是跑服务器，上百连接进来怎么办？

g*g2008-07-17 07:07

33 楼

I heard Python was used for web application too, how does it handle it?

少量的 threading 基本上是 python 里面对这

【在 r****t 的大作中提到】

: 用进程， up to the number of CPUs, 再多就没有好处了。
: servers in python uses Twisted to implement. Twisted + Prospective Broker+ 少量的 threading 基本上是 python 里面对这
: 个问题的回答吧。

r*t2008-07-17 07:07

34 楼

Python has too many web frameworks, I am expert of neither of them.
就我的了解，我只能说在 Django book Chapter 20 可能有你要的回答：
http://www.djangobook.com/en/1.0/chapter20/
或者这个采访吧，很多东西我也就是当门外汉一样读一下：
http://cloudsecurity.org/2008/07/01/cloudsecurityorg-interviews-guido-van-rossum-google-app-engine-python-and-security/

【在 g*****g 的大作中提到】

: I heard Python was used for web application too, how does it handle it?
:
: 少量的 threading 基本上是 python 里面对这

d*q2008-07-17 07:07

35 楼

twisted use async socket to handle multiple call.
It also doesn't take any benefit from more than one core.
It seems that the only one way to use >1 core is to use multi process

r*t2008-07-17 07:07

36 楼

twisted is not something that's only work for single process, yes it strives
to keep as much stuff "twisted" in one process, but you can use PB or
foolscap (part of twised) to make use of >1 core (as many cores as you want).

【在 d***q 的大作中提到】

: twisted use async socket to handle multiple call.
: It also doesn't take any benefit from more than one core.
: It seems that the only one way to use >1 core is to use multi process