Tengo tres modelos de aprendizaje automático diferentes en Python. Para mejorar el rendimiento, los ejecuto en diferentes terminales en paralelo. Se comunican y comparten datos entre sí a través de archivos. Estos modelos están creando lotes de archivos para ponerlos a disposición de otros. Todos los procesos se ejecutan en paralelo pero dependen de los datos preparados por otro proceso. Una vez que un proceso A prepara un lote de datos, crea un archivo para dar una señal a otro proceso de que los datos están listos, luego el proceso B comienza a procesarlos, mientras busca otro lote también simultáneamente. ¿Cómo se pueden compartir estos enormes datos con el próximo proceso sin crear archivos? ¿Hay alguna forma mejor de comunicarse entre estos procesos sin crear / eliminar archivos temporales en Python? Gracias
Podría considerar ejecutar una pequeña instancia de Redis ... un servidor de estructura de datos en memoria muy rápido.
Le permite compartir cadenas, listas, colas, hashes, enteros atómicos, conjuntos, conjuntos ordenados entre procesos de forma muy sencilla.
Como está en red, puede compartir todas estas estructuras de datos no solo dentro de una sola máquina, sino entre varias máquinas.
Como tiene enlaces para C / C ++, Python, bash, Ruby, Perl, etc., también significa que puede usar el shell, por ejemplo, para inyectar rápidamente comandos / datos en su aplicación para cambiar su comportamiento u obtener información de depuración. observando cómo se establecen las variables.
Este artículo se recopila de Internet, indique la fuente cuando se vuelva a imprimir.
En caso de infracción, por favor [email protected] Eliminar
Déjame decir algunas palabras