一个关于多个Python 程序共享数据结构的问题# Programming - 葵花宝典
m*a
1 楼
Being a minority, but does not mean " can not be popular"
d*6
2 楼
写了一个小的Python的程序。 在单机上比较慢。现在准备在好多个机器上同时跑这个
程序。
问题：有没有现成的Python库，让这些在不同的机器上的Python程序共享数据结构？
如果其中的一个程序更新了这个数据结构， 别的程序应当能马上看到。
谢谢。
程序。
问题：有没有现成的Python库，让这些在不同的机器上的Python程序共享数据结构？
如果其中的一个程序更新了这个数据结构， 别的程序应当能马上看到。
谢谢。
P*s
3 楼
虽然这句话没错，但是不支持你的论点
【在 m****a 的大作中提到】
: Being a minority, but does not mean " can not be popular"
【在 m****a 的大作中提到】
: Being a minority, but does not mean " can not be popular"
m*o
4 楼
直接上pyspark吧
s*n
5 楼
为什么非要POPULAR,我认得个白人女孩，自称高中是个书虫JERK，老是被人嘲笑，后来
了，本科毕业打无数零工混经验推荐信，现在已经医学院快毕业了，
高中阶段知道自己是谁，自己要什么，比什么都重要
了，本科毕业打无数零工混经验推荐信，现在已经医学院快毕业了，
高中阶段知道自己是谁，自己要什么，比什么都重要
d*c
6 楼
如果不是访问特别频繁，redis database，in memory database应该是容易的。
之前有个帖子，那是单机不一定要用数据库，但你多机，用数据库应该比搞spark之类
的简单。
https://www.mitbbs.com/article_t/Programming/31509253.html
【在 d**********6 的大作中提到】
: 写了一个小的Python的程序。 在单机上比较慢。现在准备在好多个机器上同时跑这个
: 程序。
: 问题：有没有现成的Python库，让这些在不同的机器上的Python程序共享数据结构？
: 如果其中的一个程序更新了这个数据结构， 别的程序应当能马上看到。
: 谢谢。
之前有个帖子，那是单机不一定要用数据库，但你多机，用数据库应该比搞spark之类
的简单。
https://www.mitbbs.com/article_t/Programming/31509253.html
【在 d**********6 的大作中提到】
: 写了一个小的Python的程序。 在单机上比较慢。现在准备在好多个机器上同时跑这个
: 程序。
: 问题：有没有现成的Python库，让这些在不同的机器上的Python程序共享数据结构？
: 如果其中的一个程序更新了这个数据结构， 别的程序应当能马上看到。
: 谢谢。
i*e
7 楼
这个说得太对了
有的人一辈子都搞不清楚
对了，你有什么好的推法么？
【在 s******n 的大作中提到】
: 为什么非要POPULAR,我认得个白人女孩，自称高中是个书虫JERK，老是被人嘲笑，后来
: 了，本科毕业打无数零工混经验推荐信，现在已经医学院快毕业了，
: 高中阶段知道自己是谁，自己要什么，比什么都重要
有的人一辈子都搞不清楚
对了，你有什么好的推法么？
【在 s******n 的大作中提到】
: 为什么非要POPULAR,我认得个白人女孩，自称高中是个书虫JERK，老是被人嘲笑，后来
: 了，本科毕业打无数零工混经验推荐信，现在已经医学院快毕业了，
: 高中阶段知道自己是谁，自己要什么，比什么都重要
g*t
8 楼
局域网内的话，直接share log文件就好了吧？
别的都很麻烦
【在 d**********6 的大作中提到】
: 写了一个小的Python的程序。 在单机上比较慢。现在准备在好多个机器上同时跑这个
: 程序。
: 问题：有没有现成的Python库，让这些在不同的机器上的Python程序共享数据结构？
: 如果其中的一个程序更新了这个数据结构， 别的程序应当能马上看到。
: 谢谢。
别的都很麻烦
【在 d**********6 的大作中提到】
: 写了一个小的Python的程序。 在单机上比较慢。现在准备在好多个机器上同时跑这个
: 程序。
: 问题：有没有现成的Python库，让这些在不同的机器上的Python程序共享数据结构？
: 如果其中的一个程序更新了这个数据结构， 别的程序应当能马上看到。
: 谢谢。
n*g
9 楼
Serialization
Pickle
[在 dailygrind16 (天天绞肉机) 的大作中提到：]
:写了一个小的Python的程序。 在单机上比较慢。现在准备在好多个机器上同时跑这个
:程序。
:问题：有没有现成的Python库，让这些在不同的机器上的Python程序共享数据结构？
:如果其中的一个程序更新了这个数据结构， 别的程序应当能马上看到。
:谢谢。
Pickle
[在 dailygrind16 (天天绞肉机) 的大作中提到：]
:写了一个小的Python的程序。 在单机上比较慢。现在准备在好多个机器上同时跑这个
:程序。
:问题：有没有现成的Python库，让这些在不同的机器上的Python程序共享数据结构？
:如果其中的一个程序更新了这个数据结构， 别的程序应当能马上看到。
:谢谢。
d*6
10 楼
谢谢大伙的回复。
Shared logging file 对于我的这个应用好像不太合适（不够快？）。在这个应用里，
那些Python 程序要共享的数据结构是动态增长的和无法提前预测的； 如果一个Python
程序产生了一个新的节点（到那个数据结构里的话）， 别的Python程序就不应当再重
复这个劳动。这个有点像多个计算机程序之间shared data structure。
另外， 这是一个小应用，所以能够不用大的， 复杂的库是最理想的。
我先试试哥们推荐的几个库看看。
【在 g****t 的大作中提到】
: 局域网内的话，直接share log文件就好了吧？
: 别的都很麻烦
Shared logging file 对于我的这个应用好像不太合适（不够快？）。在这个应用里，
那些Python 程序要共享的数据结构是动态增长的和无法提前预测的； 如果一个Python
程序产生了一个新的节点（到那个数据结构里的话）， 别的Python程序就不应当再重
复这个劳动。这个有点像多个计算机程序之间shared data structure。
另外， 这是一个小应用，所以能够不用大的， 复杂的库是最理想的。
我先试试哥们推荐的几个库看看。
【在 g****t 的大作中提到】
: 局域网内的话，直接share log文件就好了吧？
: 别的都很麻烦
w*g
11 楼
你跑python程序时看看CPU有没有所有core都用满。别先急着折腾多机。
多机共享数据结构这个做起来不易，不到萬不得已不应该试。
不管是spark还是数据库，都只是多机共享数据， 但都谈不上什么结构。
用这些轮子做“结构”都会很慢。
【在 d**********6 的大作中提到】
: 写了一个小的Python的程序。 在单机上比较慢。现在准备在好多个机器上同时跑这个
: 程序。
: 问题：有没有现成的Python库，让这些在不同的机器上的Python程序共享数据结构？
: 如果其中的一个程序更新了这个数据结构， 别的程序应当能马上看到。
: 谢谢。
多机共享数据结构这个做起来不易，不到萬不得已不应该试。
不管是spark还是数据库，都只是多机共享数据， 但都谈不上什么结构。
用这些轮子做“结构”都会很慢。
【在 d**********6 的大作中提到】
: 写了一个小的Python的程序。 在单机上比较慢。现在准备在好多个机器上同时跑这个
: 程序。
: 问题：有没有现成的Python库，让这些在不同的机器上的Python程序共享数据结构？
: 如果其中的一个程序更新了这个数据结构， 别的程序应当能马上看到。
: 谢谢。
w*m
12 楼
共享数据结构的第一个问题是access走哪条路，TCP还是HTTP。
Redis pubsub可以是首选。
Redis pubsub可以是首选。
d*a
13 楼
说的对。Software distributed shared memory不容易做好也不容易用好。Python好象
没有现成的轮子，那就不要跳这个坑。
【在 w***g 的大作中提到】
: 你跑python程序时看看CPU有没有所有core都用满。别先急着折腾多机。
: 多机共享数据结构这个做起来不易，不到萬不得已不应该试。
: 不管是spark还是数据库，都只是多机共享数据， 但都谈不上什么结构。
: 用这些轮子做“结构”都会很慢。
没有现成的轮子，那就不要跳这个坑。
【在 w***g 的大作中提到】
: 你跑python程序时看看CPU有没有所有core都用满。别先急着折腾多机。
: 多机共享数据结构这个做起来不易，不到萬不得已不应该试。
: 不管是spark还是数据库，都只是多机共享数据， 但都谈不上什么结构。
: 用这些轮子做“结构”都会很慢。
d*a
14 楼
你要是用数据库的话，数据库本身很可能会成为瓶颈。
Python有个MPI的模块叫mpi4py，也许可以试试。但我自己从来没在python里用过MPI，
只在C和FORTRAN里用过。
Python
【在 d**********6 的大作中提到】
: 谢谢大伙的回复。
: Shared logging file 对于我的这个应用好像不太合适（不够快？）。在这个应用里，
: 那些Python 程序要共享的数据结构是动态增长的和无法提前预测的； 如果一个Python
: 程序产生了一个新的节点（到那个数据结构里的话）， 别的Python程序就不应当再重
: 复这个劳动。这个有点像多个计算机程序之间shared data structure。
: 另外， 这是一个小应用，所以能够不用大的， 复杂的库是最理想的。
: 我先试试哥们推荐的几个库看看。
Python有个MPI的模块叫mpi4py，也许可以试试。但我自己从来没在python里用过MPI，
只在C和FORTRAN里用过。
Python
【在 d**********6 的大作中提到】
: 谢谢大伙的回复。
: Shared logging file 对于我的这个应用好像不太合适（不够快？）。在这个应用里，
: 那些Python 程序要共享的数据结构是动态增长的和无法提前预测的； 如果一个Python
: 程序产生了一个新的节点（到那个数据结构里的话）， 别的Python程序就不应当再重
: 复这个劳动。这个有点像多个计算机程序之间shared data structure。
: 另外， 这是一个小应用，所以能够不用大的， 复杂的库是最理想的。
: 我先试试哥们推荐的几个库看看。
d*6
15 楼
好主意。 这个Python程序并不是computation-intensive。慢估计是别的原因。
之所以选择Python是因为有两个轮子好用。以前用Java 和 C 比较多。用Python认真地
写程序还是第一次。 所以来问问。
谢谢楼上大伙的回复。
【在 w***g 的大作中提到】
: 你跑python程序时看看CPU有没有所有core都用满。别先急着折腾多机。
: 多机共享数据结构这个做起来不易，不到萬不得已不应该试。
: 不管是spark还是数据库，都只是多机共享数据， 但都谈不上什么结构。
: 用这些轮子做“结构”都会很慢。
之所以选择Python是因为有两个轮子好用。以前用Java 和 C 比较多。用Python认真地
写程序还是第一次。 所以来问问。
谢谢楼上大伙的回复。
【在 w***g 的大作中提到】
: 你跑python程序时看看CPU有没有所有core都用满。别先急着折腾多机。
: 多机共享数据结构这个做起来不易，不到萬不得已不应该试。
: 不管是spark还是数据库，都只是多机共享数据， 但都谈不上什么结构。
: 用这些轮子做“结构”都会很慢。
c*n
16 楼
嗯 查查瓶颈到底在哪里
时间紧就花钱砸硬件 租个大内存全ssd的机器来跑
【在 d**********6 的大作中提到】
: 好主意。 这个Python程序并不是computation-intensive。慢估计是别的原因。
: 之所以选择Python是因为有两个轮子好用。以前用Java 和 C 比较多。用Python认真地
: 写程序还是第一次。 所以来问问。
: 谢谢楼上大伙的回复。
时间紧就花钱砸硬件 租个大内存全ssd的机器来跑
【在 d**********6 的大作中提到】
: 好主意。 这个Python程序并不是computation-intensive。慢估计是别的原因。
: 之所以选择Python是因为有两个轮子好用。以前用Java 和 C 比较多。用Python认真地
: 写程序还是第一次。 所以来问问。
: 谢谢楼上大伙的回复。
t*o
17 楼
给你出个馊主意：
跟老板说这个做不了 要么花钱买新机器 要么雇俩contractor归你指挥
等资源拿到手 就玩命干活 干出来后 不但有credit 还展现了你的team leading能力
ps：很多技术问题，首先要避免的就是闷头吭哧吭哧一个人干完。多向南亚人学习
【在 d**********6 的大作中提到】
: 写了一个小的Python的程序。 在单机上比较慢。现在准备在好多个机器上同时跑这个
: 程序。
: 问题：有没有现成的Python库，让这些在不同的机器上的Python程序共享数据结构？
: 如果其中的一个程序更新了这个数据结构， 别的程序应当能马上看到。
: 谢谢。
跟老板说这个做不了 要么花钱买新机器 要么雇俩contractor归你指挥
等资源拿到手 就玩命干活 干出来后 不但有credit 还展现了你的team leading能力
ps：很多技术问题，首先要避免的就是闷头吭哧吭哧一个人干完。多向南亚人学习
【在 d**********6 的大作中提到】
: 写了一个小的Python的程序。 在单机上比较慢。现在准备在好多个机器上同时跑这个
: 程序。
: 问题：有没有现成的Python库，让这些在不同的机器上的Python程序共享数据结构？
: 如果其中的一个程序更新了这个数据结构， 别的程序应当能马上看到。
: 谢谢。
a*g
18 楼
o(∩_∩)o...哈哈！！！有创意i啊。
这个
？
【在 t******o 的大作中提到】
: 给你出个馊主意：
: 跟老板说这个做不了 要么花钱买新机器 要么雇俩contractor归你指挥
: 等资源拿到手 就玩命干活 干出来后 不但有credit 还展现了你的team leading能力
: ps：很多技术问题，首先要避免的就是闷头吭哧吭哧一个人干完。多向南亚人学习
这个
？
【在 t******o 的大作中提到】
: 给你出个馊主意：
: 跟老板说这个做不了 要么花钱买新机器 要么雇俩contractor归你指挥
: 等资源拿到手 就玩命干活 干出来后 不但有credit 还展现了你的team leading能力
: ps：很多技术问题，首先要避免的就是闷头吭哧吭哧一个人干完。多向南亚人学习
w*g
19 楼
话是这么说, 但是contractor在这里起了啥作用?
难道不应该是逼contractor玩命干活?
完了怎么避免contractor取代自己?
【在 t******o 的大作中提到】
: 给你出个馊主意：
: 跟老板说这个做不了 要么花钱买新机器 要么雇俩contractor归你指挥
: 等资源拿到手 就玩命干活 干出来后 不但有credit 还展现了你的team leading能力
: ps：很多技术问题，首先要避免的就是闷头吭哧吭哧一个人干完。多向南亚人学习
难道不应该是逼contractor玩命干活?
完了怎么避免contractor取代自己?
【在 t******o 的大作中提到】
: 给你出个馊主意：
: 跟老板说这个做不了 要么花钱买新机器 要么雇俩contractor归你指挥
: 等资源拿到手 就玩命干活 干出来后 不但有credit 还展现了你的team leading能力
: ps：很多技术问题，首先要避免的就是闷头吭哧吭哧一个人干完。多向南亚人学习
g*t
20 楼
培训和指挥人是最麻烦的，如果不是自己的公司，当领导往往是个吃力不讨好的事。
有那教别人的时间，还不如花时间教教自己小孩.
【在 w***g 的大作中提到】
: 话是这么说, 但是contractor在这里起了啥作用?
: 难道不应该是逼contractor玩命干活?
: 完了怎么避免contractor取代自己?
有那教别人的时间，还不如花时间教教自己小孩.
【在 w***g 的大作中提到】
: 话是这么说, 但是contractor在这里起了啥作用?
: 难道不应该是逼contractor玩命干活?
: 完了怎么避免contractor取代自己?
s*y
21 楼
没搞清楚 瓶颈在哪就开始瞎jb优化 一直到7楼才开始回归正题 Lol
g*t
22 楼
我给的share log文件的办法还是非常糙快猛的。而且很可能
是可以解决问题的。
log文件是慢，但是可以scale up. 你可以用很多机器。
还可以跨语言。跨操作系统。我有3个没人用的laptop,一个desktop,经常用这个办法。
起码你先能把分布式任务的逻辑跑通。
: 没搞清楚 瓶颈在哪就开始瞎jb优化 一直到7楼才开始回归正题 Lol
【在 s*********y 的大作中提到】
: 没搞清楚 瓶颈在哪就开始瞎jb优化 一直到7楼才开始回归正题 Lol
是可以解决问题的。
log文件是慢，但是可以scale up. 你可以用很多机器。
还可以跨语言。跨操作系统。我有3个没人用的laptop,一个desktop,经常用这个办法。
起码你先能把分布式任务的逻辑跑通。
: 没搞清楚 瓶颈在哪就开始瞎jb优化 一直到7楼才开始回归正题 Lol
【在 s*********y 的大作中提到】
: 没搞清楚 瓶颈在哪就开始瞎jb优化 一直到7楼才开始回归正题 Lol
d*6
23 楼
对， 这个项目要的就是糙快猛。最主要的是要先看到那个数据结构长得什么样子。程
序的很多地方并不精细。
我先试试提高单机的搞法。 若不行， 就试试你的做法。 谢谢。
【在 g****t 的大作中提到】
: 我给的share log文件的办法还是非常糙快猛的。而且很可能
: 是可以解决问题的。
: log文件是慢，但是可以scale up. 你可以用很多机器。
: 还可以跨语言。跨操作系统。我有3个没人用的laptop,一个desktop,经常用这个办法。
: 起码你先能把分布式任务的逻辑跑通。
:
:
: 没搞清楚 瓶颈在哪就开始瞎jb优化 一直到7楼才开始回归正题 Lol
:
序的很多地方并不精细。
我先试试提高单机的搞法。 若不行， 就试试你的做法。 谢谢。
【在 g****t 的大作中提到】
: 我给的share log文件的办法还是非常糙快猛的。而且很可能
: 是可以解决问题的。
: log文件是慢，但是可以scale up. 你可以用很多机器。
: 还可以跨语言。跨操作系统。我有3个没人用的laptop,一个desktop,经常用这个办法。
: 起码你先能把分布式任务的逻辑跑通。
:
:
: 没搞清楚 瓶颈在哪就开始瞎jb优化 一直到7楼才开始回归正题 Lol
:
t*o
24 楼
contractor在这里基本起摆设作用，
1. 一般来说，很难找到水平高的contractor，除非花大价钱；感觉lz所在的公司不大
想能出这个钱；
2. 考虑指挥contractor，干活质量监督，擦屁股，开会扯淡，花的时间，跟你自己
solo花的时间比较一下，看哪个时间少，就走哪条路。
3. contractor摆在这里主要衬托lz的team leading能力，至于私底下到底谁干了活，
不重要；重要的是，在老板眼里是你带着一帮人把这活干了。
【在 w***g 的大作中提到】
: 话是这么说, 但是contractor在这里起了啥作用?
: 难道不应该是逼contractor玩命干活?
: 完了怎么避免contractor取代自己?
1. 一般来说，很难找到水平高的contractor，除非花大价钱；感觉lz所在的公司不大
想能出这个钱；
2. 考虑指挥contractor，干活质量监督，擦屁股，开会扯淡，花的时间，跟你自己
solo花的时间比较一下，看哪个时间少，就走哪条路。
3. contractor摆在这里主要衬托lz的team leading能力，至于私底下到底谁干了活，
不重要；重要的是，在老板眼里是你带着一帮人把这活干了。
【在 w***g 的大作中提到】
: 话是这么说, 但是contractor在这里起了啥作用?
: 难道不应该是逼contractor玩命干活?
: 完了怎么避免contractor取代自己?
a*n
25 楼
这条回复要严肃点赞
【在 t******o 的大作中提到】
: 给你出个馊主意：
: 跟老板说这个做不了 要么花钱买新机器 要么雇俩contractor归你指挥
: 等资源拿到手 就玩命干活 干出来后 不但有credit 还展现了你的team leading能力
: ps：很多技术问题，首先要避免的就是闷头吭哧吭哧一个人干完。多向南亚人学习
【在 t******o 的大作中提到】
: 给你出个馊主意：
: 跟老板说这个做不了 要么花钱买新机器 要么雇俩contractor归你指挥
: 等资源拿到手 就玩命干活 干出来后 不但有credit 还展现了你的team leading能力
: ps：很多技术问题，首先要避免的就是闷头吭哧吭哧一个人干完。多向南亚人学习
相关阅读
goLang吸引了很多Ruby/Python程序员如何反编译.so类库？大牛们说说为什么我那么钟意node？写脚本真麻烦新手学习写app， 从哪个难度的项目下手？掏钱买support的的确都是脑子进水的发明bitcoin的中本聪找到了 (转载)板上有修Coursera上的machine learning课程的么？开源不开源是一回事，support赚钱就是最大的忽悠Docker这种东西 真心不看好 门槛太低，哪个公司都能搞学了一个周末Cassandra，顺利拿到certificate怎么写程序拿这个网页的数据？太空飞猪的网站有没有软工面试题大全啊其实C++是一块试金石纽约法院强制封杀DVDFABhow to find the size of stack??在买买提上混久了用python测webpage软件速度也可以是生死攸关的事情。