最佳实践设备或用例特定的导入?

PeterAlgoMaker

我目前正在从事python数据科学项目。管道包含10个不同的步骤,其中一个特定步骤基于PyTorch中实现的AI。由于某些步骤的计算非常耗时,因此我们目前正在实施Redis RQ worker设置以计划多台计算机。由于并非所有机器都配备GPU,因此我们将两个队列分开,一个队列用于CPU任务,另一个队列用于GPU任务。到目前为止,一切都很好。问题在于,在仅CPU的计算机上,并非所有库都可用,例如,割炬。当然可以安装,但是不需要。所以我目前面临的问题是:

处理GPU工作程序和CPU工作程序之间的不同导入的最佳方法是哪种?

所有十个计算步骤都在“数据集”的主类中实现。

程序员

嗯,您可以创建一个config.py,在其中进行硬编码的定义,例如,HAVE_GPU=True对于配备GPU的计算机,将第一件事导入代码中的所有位置,然后根据该变量决定要进行的导入。

config.py

HAVE_GPU = True

some_script.py

import config
if config.HAVE_GPU:
    import gpurelatedmodules
else:
    import cpurelatedmodules

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

单例还是静态?最佳实践的PHP?

单元测试用例的最佳实践

备份LUKS加密设备的最佳实践

Python 标准库导入最佳实践

ElasticSearch初始批量导入的最佳实践

嵌套Python模块导入的最佳实践

在python中导入外部模块的最佳实践

导入库的最佳实践是什么?

在最新版本的 PyTorch 中,让所有张量默认使用特定设备的最佳实践是什么?

授予访问特定表的最佳实践,SQL

ansible:托管特定剧本的最佳实践

将 PyTorch 设备名称传递给模型的最佳实践

Python库项目结构最佳实践:导入和测试

在 MySQL 上导入错误的 .sql 文件的最佳实践

在Python中导入很少使用的软件包的最佳实践

Django:在 urls 文件中导入视图的最佳实践

在节点中导入*最佳实践并做出反应

Kubernetes中导出/导入Keycloak数据的最佳实践

将.CSV文件导入SQL Server的最佳实践(在性能方面)

在VueJS 2.0中导入组件的最佳实践

从 react-bootstrap 导入多个组件的最佳实践?

在 Python 中使用导入的模块编写自己的函数的最佳实践?

导入 PyQt5.QtWidgets 模块的最佳实践

最佳实践

动态环境中的OpenGL VBO安全实践(特定用例)

在 forEach 循环中运行特定于子类的方法的最佳实践

影响数据库的 Laravel 测试用例 - 使用最佳实践

在 2% 的所有用例中,存储过程/查询需要额外的字段。最佳实践?

在单例中使用“私有静态最终字符串”变量的最佳实践