Python多处理:在进程之间共享数据

克里斯珀

我正在尝试第一次使用多重处理,并且遇到一些相当基本的问题。我在下面有一个玩具示例,其中两个进程将数据添加到列表中:

def add_process(all_nums_class, numbers_to_add):
    for number in numbers_to_add:
        all_nums_class.all_nums_list.append(number)

class AllNumsClass:
    def __init__(self):
        self.all_nums_list = []

all_nums_class = AllNumsClass()

p1 = Process(target=add_process, args=(all_nums_class, [1,3,5]))
p1.start()

p2 = Process(target=add_process, args=(all_nums_class, [2,4,6]))
p2.start()

all_nums_class.all_nums_list

我想在这些进程之间共享all_nums_class,以便它们都可以添加到其all_nums_list中-因此结果应为

[1,2,3,4,5,6]

而不是我现在得到的是旧的

[]

有人可以建议吗?我在命名空间上玩了些,但是还没有在这里使用。

我觉得最好在Jupyter笔记本电脑上这样做(以防万一)。

幼稚

您可以使用多处理队列或管道在进程之间共享数据。队列既是线程安全的,也是进程安全的。使用管道时,您必须更加小心,因为如果两个进程(或线程)尝试同时从管道的同一端读取或写入管道,则管道中的数据可能会损坏。当然,不存在同时使用管道不同端的过程造成损坏的风险。

当前,您的实现产生两个独立的进程,每个进程都有自己的 self.all_nums_list因此,您实际上产生了以下三个对象AllNumsClass:在主程序中一个,一个in p1,一个in p2由于进程是独立的,并且不共享相同的内存空间,因此它们可以正确地附加,但是self.all_nums_list对于每个进程,其附加到自己的附加空间这就是为什么当您all_nums_class.all_nums_list在主程序中进行打印时,您正在打印主进程的self.all_nums_list列表,该列表为空。为了共享数据并使进程追加到同一列表,我建议使用队列。

使用队列和流程的示例

import multiprocessing as mp

def add_process(queue, numbers_to_add):
    for number in numbers_to_add:
        queue.put(number)

class AllNumsClass:
    def __init__(self):
        self.queue = mp.Queue()
    def get_queue(self):
        return self.queue

if __name__ == '__main__':
    
    all_nums_class = AllNumsClass()

    processes = []
    p1 = mp.Process(target=add_process, args=(all_nums_class.get_queue(), [1,3,5]))
    p2 = mp.Process(target=add_process, args=(all_nums_class.get_queue(), [2,4,6]))

    processes.append(p1)
    processes.append(p2)
    for p in processes:
        p.start()
    for p in processes:
        p.join()

    output = [] 
    while all_nums_class.get_queue().qsize() > 0:
        output.append(all_nums_class.get_queue().get())
    print(output)

此实现是异步的,因为它不能按顺序应用。每次运行它,您可能会得到不同的输出。

输出示例

[1、2、3、5、4、6]

[1、3、5、2、4、6]

[2,4,6,1,3,5]

[2,1,4,3,5,6]

维护结果的有序列表或无序列表的更简单方法是使用mp.Pool类。具体来说,Pool.applyPool.apply_async功能。Pool.apply将锁定主程序,直到所有进程完成为止,如果我们要为某些应用程序以特定顺序获取结果,这将非常有用。相反,Pool.apply_async将立即提交所有过程,并在完成后立即检索结果。另一个不同之处是,我们需要getPool.apply_async调用之后使用方法,以获取完成的过程的返回值。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

Python在多处理进程之间共享双端队列

在多处理进程之间共享大型只读的Numpy数组

Python:为什么这里的进程之间共享多处理锁?

如何在进程之间共享日期变量-多处理Python

Python多处理-进程之间的管道通信

如何在python的进程之间共享数据?

在节点子进程之间共享数据

使用python多处理在两个进程之间转移模块

Python多处理-是否可以在各个进程之间引入固定的时间延迟?

在Python中使用多处理模块时无法在进程之间互锁

Python多处理:避免通过进程之间的模块进行通信

Python多处理,进程与池之间的差异,数据酸洗

在Python进程之间共享复杂的对象?

Python在进程之间共享锁

在python中的进程之间共享对象

Python多重处理:RuntimeError:“队列对象仅应通过继承在进程之间共享”

进程之间共享内存

在Python进程之间共享内存中的大型数据结构?

Python3.x如何共享进程之间的数据库连接?

进程之间的大二进制数据共享

python服务器中进程之间的共享列表

在python中的不同进程之间共享列表

在 Python 中的多个进程之间共享存储对象的字典

在多个python进程之间共享RabbitMQ通道

在单独的进程之间共享内存中的复杂python对象

在Python中的进程之间共享许多队列

可以在Python进程之间共享set()吗?

Python如何在多个进程之间共享内存?

Python:在生成的进程之间共享锁