メインコンテンツまでスキップ

Rclone Chunkerリモート — RcloneViewで任意のクラウドストレージ向けに大容量ファイルを分割

· 約7分
Tayson
Senior Engineer

クラウドプロバイダーのファイルごとのサイズ制限によってアップロードがブロックされる場合、rcloneのChunker仮想リモートを使えばファイルを透過的に分割できます — RcloneViewはCLIを一切使わずにこれを設定・利用できます。

多くのクラウドストレージプロバイダーは、ファイルごとに厳しいサイズ制限を課しています — Dropboxはファイルあたり50GBのアップロード上限があり、無料プランや低価格プランの一部のサービスでは5〜10GBの上限が設けられています。データベースダンプ、非圧縮の動画書き出し、あるいはこうした制限を超える大容量アーカイブファイルを保存するユーザーにとって、rcloneのChunker仮想リモートは解決策となります。アップロード前にファイルを小さなチャンクに分割し、ダウンロード時には透過的に再結合します。RcloneViewは、標準のリモート管理インターフェースを通じてChunkerを設定・利用します。

RcloneViewアプリのプレビュー

すべてのクラウドを一か所で管理・同期

RcloneViewはrcloneのクロスプラットフォームGUIです。フォルダを比較し、ファイルを転送・同期し、クリーンなビジュアルインターフェースでマルチクラウドのワークフローを自動化できます。

  • ワンクリック操作: コピー · 同期 · 比較
  • 信頼性の高い自動化のためのスケジューラーと履歴
  • Google Drive、OneDrive、Dropbox、S3、WebDAV、SFTPなどに対応
WindowsmacOSLinux
無料で始める →

コア機能は無料。Plusで自動化機能を利用可能。

Chunkerリモートとは?

Chunkerは、rcloneの仮想リモートラッパーの一つです — 実際のクラウドバックエンドに到達する前に、ファイルの扱い方を変更するレイヤーです。クラウドプロバイダーに直接接続する標準リモートとは異なり、Chunkerは設定されたサイズ制限を超えるファイルを検知し、アップロード前に複数の断片に分割します。各チャンクは、同じChunkerリモート経由で読み取りやダウンロードを行う際に透過的な再結合をrcloneが認識できる命名規則に従って、個別のファイルとして保存されます。

Creating a Chunker virtual remote in RcloneView

RcloneViewでは、Chunkerのような仮想リモートは、標準リモートと同じRemoteタブ > New Remoteのワークフローで作成されます — プロバイダーとしてChunkerを選択し、ベースとなるリモートを指定して、チャンクサイズを設定します。作成結果はエクスプローラー内に他のリモートと並んで表示され、透過的なチャンク分割はワークフロー上では意識する必要がありません。

RcloneViewでChunkerリモートを作成する

  1. まず、ベースとなるリモート(例えばDropboxやOneDriveのリモート)がすでに設定されていることを確認します。
  2. Remoteタブ > New Remoteに進み、仮想リモートのセクションからChunkerを選択します。
  3. 元となるリモート(あらかじめ設定済みのベースリモート)と、任意でその中のサブディレクトリを指定します。
  4. プロバイダーのファイルサイズ制限より小さいチャンクサイズを設定します — 例えば、ほとんどのプロバイダーでは4GB、Dropboxの場合は50GBの上限を下回るよう45GBに設定します。
  5. Chunkerリモートを保存します — これで他のリモートと同様にエクスプローラーに表示されます。
Using a Chunker remote for large file uploads in RcloneView

30GBの動画ファイルをChunkerリモートにドラッグすると、RcloneViewはそれを複数のチャンク(例えば4GBのファイル8個)として、元となるクラウドにアップロードします。同じChunkerリモート経由でファイルを読み戻すと透過的に再結合され、アプリケーション側からは1つの連続したファイルとして見えます。

実際の利用例

10GBのファイル制限があるクラウドサービスに毎晩20GBのデータベースダンプをアーカイブするデータエンジニアは、そのサービスをラップする8GBチャンクのChunkerリモートを作成します。Job Managerの同期ジョブは他のクラウド転送と全く同じように実行され、チャンク分割はジョブ設定に対して完全に透過的です。

Scheduling large file uploads via Chunker remote in RcloneView

ChunkerとCryptの組み合わせにより、より高度な仮想リモートのスタックを構築できます。まずベースリモートをCryptでラップし(エンドツーエンドの暗号化のため)、そのCryptリモートをさらにChunkerでラップします(分割のため)。結果として、チャンクはアップロード前に暗号化され、プロバイダー側にはサイズ制限に収まるよう分割された不透明な暗号化データのみが見えます。これは、任意のクラウドプロバイダー上で機密性の高い大容量ファイルを扱う際に優れたアプローチであり、RcloneViewは両方のレイヤーを標準のリモート管理機能で処理するため、CLIは一切不要です。

はじめに

  1. rcloneview.comからRcloneViewをダウンロードします。
  2. ファイルサイズ制限のあるベースクラウドリモートを、標準リモートとして追加します。
  3. Remoteタブ > New Remoteに進み、Chunkerを選択して、ベースリモートとチャンクサイズを指定します。
  4. Chunkerリモートを介して大容量ファイルを転送します — 分割と再結合は透過的に行われます。

Chunkerを使えば、通常であればアップロードを拒否してしまうプロバイダー上でも大容量ファイルのクラウドストレージ利用が可能になります — ファイルサイズ制限が本来なら作業を妨げてしまうような、データ量の多いワークフローにとって強力な仮想リモートです。


関連ガイド:

対応クラウドプロバイダー

Local Files
WebDAV
FTP
SFTP
HTTP
SMB / CIFS
Google Drive
Google Photos
Google Cloud Storage
OneDrive
Dropbox
Box
MS Azure Blob
MS File Storage
S3 Compatible
Amazon S3
pCloud
Wasabi
Mega
Backblaze B2
Cloudflare R2
Alibaba OSS
Ceph
Swift (OpenStack)
IBM Cloud Object Storage
Oracle Cloud Object Storage
IDrive e2
MinIO
Storj
DigitalOcean Spaces