所以我尝试训练一个自动编码器模型，但在 Google Drive 中提取大型 zipfile 和 rarfile 有困难。它是一个3GB包含 500 个图像目录的5GBzip 文件和一个包含 170 万个图像的rarfile。
我尝试在 Colab 中运行此代码，它在 6 小时后完成了我的 3 GB zipfile 的提取。
!unzip -q drive/"My Drive"/"Colab Notebooks"/"Dataset"/"Dataset_Final_500"/syn_train_3.zip -d drive/"My Drive"/"Colab Notebooks"/"Dataset"/"Dataset_Final_500"/
但是当我检查时，它只在我的谷歌驱动器中创建了 500 个目录中的86 个。为什么会发生这种情况，我该如何继续而不重新提取它。关于将我的 5GB rarfile 提取到谷歌驱动器的任何想法？
任何帮助都是一种祝福:)
正如@BobSmith 所说，我首先将所有数据集移动到 google colab 的本地磁盘，然后使用以下命令提取所有数据：
!unzip -u -q /content/syn_train_3.zip
对于 rar 使用 unrar
!unrar e real_train_500_2.rar train_dir
提取被证明更快。我将数据集拆分为 .npy 文件并再次将其保存到驱动器中。
我发现 Google Colab在您的桌面上使用Google Drive File Stream 之类的备份和同步。等待 Colab 和 Drive 之间同步的数据集会很痛苦。
小心，不要让"/drive/My Drive"Google Colab 欺骗您它已经保存到 Google Drive，它需要时间来同步！。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句