面向数据科学家的云存储 — 使用 RcloneView 管理训练数据和模型

2026年6月25日 · 阅读需 8 分钟

Principal Engineer

数据科学家每天都要处理数以 GB 计的数据 — RcloneView 提供多云图形界面，帮助你在 S3、Google Drive 等平台之间管理训练数据集、模型检查点和实验输出。

机器学习工作流会产生海量文件：跨越数百 GB 的原始数据集、预处理后的特征存储、训练好的模型检查点，以及需要长期归档的实验日志。在本地机器、云对象存储和团队共享云盘之间移动这些文件既耗时又存在风险，尤其是在传输悄然失败的情况下。RcloneView 为数据科学团队提供了一个可视化文件管理器，可在 Windows、macOS 和 Linux 上通过单一窗口管理 90 多个云存储提供商。

在一个地方管理和同步所有云端

RcloneView 是 rclone 的跨平台 GUI。通过清爽的可视化界面比较文件夹、传输或同步文件，并自动化多云工作流。

一键作业：复制 · 同步 · 比较
调度器与历史记录，实现可靠的自动化
支持 Google Drive、OneDrive、Dropbox、S3、WebDAV、SFTP 等

WindowsmacOSLinux

免费开始使用 →

核心功能免费。Plus 提供自动化功能。

在同一视图中连接所有存储

机器学习流水线通常同时跨越多个存储系统：用于训练运行和模型产物的 Amazon S3 存储桶、用于团队数据集的共享 Google Drive、用于原始数据采集的本地 NAS，以及可能用于经济高效的长期归档的 Backblaze B2 存储桶。RcloneView 允许你将每一个都添加为命名远程，并在并排的资源管理器面板中打开它们 — 无需在浏览器标签页或命令行会话之间切换，即可在不同提供商之间拖拽文件并监控传输进度。

RcloneView 可在同一窗口内管理 90 多个云存储提供商 — S3、Google Drive、Backblaze B2 等 — 在免费版许可下即可免费同步和比较。

Dragging training data files between cloud storage providers in RcloneView

一个处理 200 GB 标注图像的计算机视觉团队，可以同时连接他们的标注共享云盘和 S3 训练存储桶，然后通过浏览两个面板并选择已变更的目录，只复制新增的批次。通过机构 WebDAV 或 Google Drive 共享的公共数据集也可以作为远程使用，与私有 S3 存储桶在同一会话中并存。

借助实时传输监控传输大型模型文件

上传一个 15 GB 的检查点文件，或将多部分数据集同步到 S3，都需要可靠的反馈信息。RcloneView 的传输标签页会显示每个活动任务的传输速度、已完成字节数和文件数量。可配置的多线程传输设置会将大文件上传拆分为并行数据流，这能明显加快向 Wasabi 或 Cloudflare R2 等兼容 S3 的提供商上传的速度，因为这些平台的单文件开销会迅速累积。

Live transfer monitoring for large ML dataset uploads in RcloneView

如果传输因网络波动或 VPN 超时而中断，重新运行同步任务会从中断处继续：RcloneView 会跳过已经传输的文件，并从剩余部分继续传输。对于 TB 级数据集，这可以避免在冗余重试上浪费数小时。

使用文件夹比较验证数据集完整性

在预处理流水线修改或增强本地数据集之后，在启动训练任务之前确认云端备份反映了当前状态，可以节省宝贵的 GPU 时间。RcloneView 的文件夹比较视图会并排显示任意两个文件夹（本地或云端）之间的差异，识别出仅存在于左侧、仅存在于右侧或大小不同的文件。

Folder comparison view showing dataset differences between local disk and S3 storage

对数据科学家而言，这是一项训练前的健全性检查：在投入 GPU 预算之前，验证云端训练目录是否与预期的本地基线一致。被标记为不同的文件可以逐个复制以解决差异。在同步任务中启用校验和验证，可以捕获仅靠大小比较无法发现的数据损坏。

通过定时同步自动化数据集备份

持续运行的数据采集流水线，若能获得无需手动触发的自动云备份，将大有裨益。使用 PLUS 许可，RcloneView 的类 crontab 调度器可以在设定的时间间隔触发同步任务 — 例如流水线完成后的每晚，或采集活跃期间的每小时。1:N 同步功能可将一个源目录同时镜像到多个目标，因此一个原始数据文件夹可以在一次任务运行中同时备份到 S3 和 Google Drive。