看到python的multiprocessing心中一痛 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

看到python的multiprocessing心中一痛

看到python的multiprocessing心中一痛# Programming - 葵花宝典

V*62018-02-18 08:02

1 楼

昨天说修真四万年写了一千多万字，竟然结尾烂尾，刚刚说开打，就结束了，就像金庸
先生写的雪山飞狐，那一刀砍还是不砍。
这结局太操蛋，但是作为这么长的书，还能一直追下去，确实有很多吸引人的地方，这
是我追看的最长的一本书，想一念永恒，我开头在追，写了五百多章就没看了。现在唯
一在追的很长的书是永夜君王了。
修真世界有很多假设，说人类起的起源，为了逃避地球被毁灭，修建了很多宇宙飞船用
来逃命，最后在这种危难时刻，人类进化速度大幅度发展，而生命的存在方式不只是人
类，有信息生命，机械生命，又或者我们这里只是一个三维世界，在三维世界有思维世
界，我们人类可以通过电脑创造信息生命，那么也有可能我们人类是更高维度的生命创
造的。
如果世界是一个维度链接一个维度，就像圈养的话，那么其实是可以好好解释得通世界
里的洞天等等。我觉得其实用现在科学的方法来解释，是可以解释的通的。另外这本书
还有一个很值得研究的观点，就是所有文明发展到极度情况下，都想探索未知的世界，
而且都会构建毁灭世界的超级武器。这些武器并最终会毁灭这个世界。我觉得也是很有
道理、

w*g2018-02-18 08:02

2 楼

最终还是没有真正的multi-thread支持。
我希望在C++中支持python callback，然后用multithread并行跑
这个callback的想法毕竟还是不行。
python3最终也还是一些cosmetic improvement，真正的痛点还是
一点改进都没有。
如果不是ecosystem这么强大，我肯定不会用的。
Lua就没有问题。

b*u2018-02-18 08:02

3 楼

其实我也很纠结。这个多线程的确是一个大问题。
在考虑是不是要对python投入大量感情。

【在 w***g 的大作中提到】

: 最终还是没有真正的multi-thread支持。
: 我希望在C++中支持python callback，然后用multithread并行跑
: 这个callback的想法毕竟还是不行。
: python3最终也还是一些cosmetic improvement，真正的痛点还是
: 一点改进都没有。
: 如果不是ecosystem这么强大，我肯定不会用的。
: Lua就没有问题。

g*t2018-02-18 08:02

4 楼

对做数据科学或者算法的人来说，现在我的浅见：
1.pyhton必学。
2.处理好python和其他语言的工作划分和界面是重点。
Lua生态系统和速度都不在极端。感觉有点落伍了。

g*t2018-02-18 08:02

5 楼

只学胶水那部分，以及很好用的自带数据结构就行了吧？别的东西可能在未来实用价值
不高。

: 其实我也很纠结。这个多线程的确是一个大问题。

: 在考虑是不是要对python投入大量感情。

【在 b****u 的大作中提到】

: 其实我也很纠结。这个多线程的确是一个大问题。
: 在考虑是不是要对python投入大量感情。

d*c2018-02-18 08:02

6 楼

python 跟cPython结合太紧，这个局限是摆脱不了了。
python特别注重灵活，但是实现上又是各种hacking的方式，长远发展上是不利的
2到3搞这么痛苦，还没有解决多少真正重要的问题
没有完美的语言，只能根据问题挑选问题最少最能忍受的语言
想学一个，然后不用学新的是不可能的

【在 w***g 的大作中提到】

x*u2018-02-18 08:02

7 楼

要是多线程支持完备，那插件就不好写了，ecosystem说不定就完蛋了

【在 w***g 的大作中提到】

b*s2018-02-18 08:02

8 楼

计算方面有用mtk实现numpy等并行的

【在 w***g 的大作中提到】

g*t2018-02-18 08:02

9 楼

未来很难保证吧

【在 b*******s 的大作中提到】

: 计算方面有用mtk实现numpy等并行的

b*s2018-02-18 08:02

10 楼

需求还是很旺盛的，会有人做的

【在 g****t 的大作中提到】

: 未来很难保证吧

y*j2018-02-18 08:02

11 楼

我倒认为PYTHON的缺乏真正的多线程是它的一个优点，也许不是刻意追求，而是歪打正
着的。因为这样PYTHON和插件的接口就特别方便，看看java的接口有多么痛苦你就能理
解了。
我个人对多线程这种并发模式不是十分欣赏，有点像C语言，太低层了以至于不是很好
用。

g*t2018-02-18 08:02

12 楼

摩尔定律失效。最后你总要有效的用多核。So or later ...

【在 y*j 的大作中提到】

: 我倒认为PYTHON的缺乏真正的多线程是它的一个优点，也许不是刻意追求，而是歪打正
: 着的。因为这样PYTHON和插件的接口就特别方便，看看java的接口有多么痛苦你就能理
: 解了。
: 我个人对多线程这种并发模式不是十分欣赏，有点像C语言，太低层了以至于不是很好
: 用。

g*t2018-02-18 08:02

13 楼

python 包太复杂很难搞。历史上这类东西应该已经搞过一轮了。

【在 b*******s 的大作中提到】

: 需求还是很旺盛的，会有人做的

y*j2018-02-18 08:02

14 楼

Mtk ~ Matlab ?

: 计算方面有用mtk实现numpy等并行的

【在 b*******s 的大作中提到】

: 需求还是很旺盛的，会有人做的

y*j2018-02-18 08:02

15 楼

颗粒大一点的可以用多进程，颗粒小的就得用插件，反正纯PYTHON运行多线程cpu
bound 的任务也好不倒哪里去，像PYTHON这样的解释型语言搞多线程不是很合适，这种
情况下为什么不让贤呢，让更合适的语言来处理。

: 摩尔定律失效。最后你总要有效的用多核。So or later ...

【在 g****t 的大作中提到】

: python 包太复杂很难搞。历史上这类东西应该已经搞过一轮了。

y*j2018-02-18 08:02

16 楼

完全同意，有得就有失。试图面面俱到也许会搞成四不像。

: 要是多线程支持完备，那插件就不好写了，ecosystem说不定就完蛋了

【在 x****u 的大作中提到】

: 要是多线程支持完备，那插件就不好写了，ecosystem说不定就完蛋了

x*u2018-02-18 08:02

17 楼

多核不一定要在语言层啊
numpy和tensorflow都能有效支持多核

【在 g****t 的大作中提到】

: 摩尔定律失效。最后你总要有效的用多核。So or later ...

f*t2018-02-18 08:02

18 楼

async不能替代多线程吗？

b*s2018-02-18 08:02

19 楼

计算性不关心延迟的也许可以

【在 f*******t 的大作中提到】

: async不能替代多线程吗？

d*a2018-02-18 08:02

20 楼

我同意这个观点。Python搞并行反正是不行，不如用C/Fortran和pthread/MPI/PVM来搞
。Python的一些模块，内部可以用并行来实现。Numpy内部应该是可以用上多核并行。

【在 y*j 的大作中提到】

: 颗粒大一点的可以用多进程，颗粒小的就得用插件，反正纯PYTHON运行多线程cpu
: bound 的任务也好不倒哪里去，像PYTHON这样的解释型语言搞多线程不是很合适，这种
: 情况下为什么不让贤呢，让更合适的语言来处理。
:
:
: 摩尔定律失效。最后你总要有效的用多核。So or later ...
:

m*u2018-02-18 08:02

21 楼

俺啥也不懂哈，要不给matlab 反映一下，他们弄个包，就都结了？。。。
然后大家都各回各家。。。。

f*t2018-02-18 08:02

22 楼

Python就是一个动态类型的胶水语言，本来就不应该负担沉重的计算任务

【在 b*******s 的大作中提到】

: 计算性不关心延迟的也许可以

w*g2018-02-18 08:02

23 楼

就是只能python call c, 反过来限制很大。
我有个torch model, 在c++服务器里用，可以起多线程，每个线程一个lua虚拟机。
python就不行，只能全局一个。多线程task并行，每个task单线程比单task跑多线程要
快好几倍。

：我同意这个观点。Python搞并行反正是不行，不如用C/Fortran和pthread/MPI/PVM来
搞。Python的一些模块，内部可以用并行来实现。Numpy内部应该是可以用上多核并行。
：

y*j2018-02-18 08:02

24 楼

你这个土法上马，scalibility 是个问题吧？有现成的轮子为什么不用，比如node.js
or twisted python。
具体到TF, 它也有自带的web deployment 。

: 就是只能python call c, 反过来限制很大。

: 我有个torch model, 在c 服务器里用，可以起多线程，每个线程一个
lua虚拟
机。

: python就不行，只能全局一个。多线程task并行，每个task单线程比单
task跑多
线程要

: 快好几倍。

: ：我同意这个观点。Python搞并行反正是不行，不如用C/Fortran和
pthread/MPI
/PVM来

: 搞。Python的一些模块，内部可以用并行来实现。Numpy内部应该是可以
用上多
核并行。

: ：

【在 w***g 的大作中提到】

: 就是只能python call c, 反过来限制很大。
: 我有个torch model, 在c++服务器里用，可以起多线程，每个线程一个lua虚拟机。
: python就不行，只能全局一个。多线程task并行，每个task单线程比单task跑多线程要
: 快好几倍。
:
: ：我同意这个观点。Python搞并行反正是不行，不如用C/Fortran和pthread/MPI/PVM来
: 搞。Python的一些模块，内部可以用并行来实现。Numpy内部应该是可以用上多核并行。
: ：

w*g2018-02-18 08:02

25 楼

我也是现成的轮子啊，人家用torch训练好的model我直接集成到C++服务器里面用。
现在自然是TF了。我这个服务跑了有一年多了。
C++做算法的restful服务器很好。

js

【在 y*j 的大作中提到】

: 你这个土法上马，scalibility 是个问题吧？有现成的轮子为什么不用，比如node.js
: or twisted python。
: 具体到TF, 它也有自带的web deployment 。
:
:
: 就是只能python call c, 反过来限制很大。
:
: 我有个torch model, 在c 服务器里用，可以起多线程，每个线程一个
: lua虚拟
: 机。
:
: python就不行，只能全局一个。多线程task并行，每个task单线程比单
: task跑多