跳到主要内容

Rclone Chunker 远程 —— 在 RcloneView 中为任意云存储拆分大文件

· 阅读需 7 分钟
Tayson
Senior Engineer

当云服务商的单文件大小限制阻止你上传时,rclone 的 Chunker 虚拟远程可以透明地拆分文件 —— RcloneView 无需任何命令行即可配置和使用它。

许多云存储服务商对单文件大小有严格限制 —— Dropbox 将单文件上传上限设为 50 GB,一些免费或低价套餐服务商则将上限设为 5–10 GB。对于需要存储数据库转储文件、未压缩的视频导出文件或超过这些限制的大型归档文件的用户来说,rclone 的 Chunker 虚拟远程提供了解决方案:它会在上传前将文件拆分成更小的分块,并在下载时透明地重新组装。RcloneView 通过其标准的远程管理界面配置和使用 Chunker。

RcloneView 应用预览

在一个地方管理和同步所有云端

RcloneView 是 rclone 的跨平台 GUI。通过清爽的可视化界面比较文件夹、传输或同步文件,并自动化多云工作流。

  • 一键作业:复制 · 同步 · 比较
  • 调度器与历史记录,实现可靠的自动化
  • 支持 Google Drive、OneDrive、Dropbox、S3、WebDAV、SFTP 等
WindowsmacOSLinux
免费开始使用 →

核心功能免费。Plus 提供自动化功能。

什么是 Chunker 远程?

Chunker 是 rclone 的虚拟远程包装器之一 —— 这是一个在文件到达实际云端后端之前修改文件处理方式的层。与直接连接云服务商的标准远程不同,Chunker 会拦截超过配置大小限制的文件,并在上传前将其拆分成多个片段。每个分块都以一种命名约定存储为单独的文件,rclone 能够识别这种命名约定,从而在你通过同一个 Chunker 远程读取或下载时透明地重新组装文件。

Creating a Chunker virtual remote in RcloneView

在 RcloneView 中,像 Chunker 这样的虚拟远程与标准远程一样,通过相同的 Remote 标签页 > New Remote 工作流创建 —— 你选择 Chunker 作为提供商,指定基础远程,并配置分块大小。创建结果会与你的其他远程一起出现在资源管理器中,分块过程对你的工作流完全透明。

在 RcloneView 中创建 Chunker 远程

  1. 首先,确保你的基础远程已经配置好(例如你的 Dropbox 或 OneDrive 远程)。
  2. 进入 Remote 标签页 > New Remote,然后从虚拟远程部分选择 Chunker
  3. 指定底层远程(你预先配置好的基础远程)以及其中一个可选的子目录。
  4. 分块大小设置为低于你的服务商文件大小限制 —— 例如,大多数服务商设为 4 GB,Dropbox 则设为 45 GB 以保持在 50 GB 上限之下。
  5. 保存 Chunker 远程 —— 它现在会像其他任何远程一样出现在资源管理器中。
Using a Chunker remote for large file uploads in RcloneView

当你将一个 30 GB 的视频文件拖放到 Chunker 远程时,RcloneView 会将其作为多个分块(例如八个 4 GB 的文件)上传到底层云端。通过同一个 Chunker 远程读回该文件时,会透明地重新组装 —— 你的应用程序看到的是一个连续的文件。

实际应用场景

一名数据工程师每晚需要将 20 GB 的数据库转储文件归档到一个文件大小限制为 10 GB 的云服务,他创建了一个包装该服务的 Chunker 远程,分块大小设为 8 GB。任务管理器中的同步任务与其他任何云传输任务的运行方式完全相同 —— 分块过程对任务配置完全透明。

Scheduling large file uploads via Chunker remote in RcloneView

将 Chunker 与 Crypt 结合使用可以构建一个高级虚拟远程堆栈:先用 Crypt 包装你的基础远程(实现端到端加密),再用 Chunker 包装这个 Crypt 远程(实现拆分)。结果是:分块在上传前已被加密,服务商只能看到被拆分成有大小限制片段的不透明加密数据块。对于任意云服务商上的敏感大文件而言,这是一种出色的方案 —— RcloneView 通过其标准的远程管理界面处理这两层,无需任何命令行。

快速上手

  1. rcloneview.com 下载 RcloneView
  2. 将你的基础云远程(有文件大小限制的服务商)添加为标准远程。
  3. 进入 Remote 标签页 > New Remote,选择 Chunker,并指定你的基础远程和分块大小。
  4. 通过 Chunker 远程传输大文件 —— 拆分与重新组装会自动透明完成。

Chunker 为原本会拒绝上传的服务商解锁了大文件云存储能力 —— 对于文件大小限制原本会阻碍操作的数据密集型工作流而言,这是一个强大的虚拟远程。


相关指南:

支持的云服务商

Local Files
WebDAV
FTP
SFTP
HTTP
SMB / CIFS
Google Drive
Google Photos
Google Cloud Storage
OneDrive
Dropbox
Box
MS Azure Blob
MS File Storage
S3 Compatible
Amazon S3
pCloud
Wasabi
Mega
Backblaze B2
Cloudflare R2
Alibaba OSS
Ceph
Swift (OpenStack)
IBM Cloud Object Storage
Oracle Cloud Object Storage
IDrive e2
MinIO
Storj
DigitalOcean Spaces