大容量ファイルアップロードの接続タイムアウトを修正 — RcloneViewで解決
クラウドストレージへの大容量ファイルアップロードは、小さいファイルよりもタイムアウトエラーで失敗しやすいものです。根本原因を診断し、数十GB規模の転送を確実に処理できるようRcloneViewを設定する方法を紹介します。
20GBの動画アーカイブや50GBのデータベースダンプをクラウドストレージにアップロードすることは、ドキュメントフォルダを同期することとは根本的に異なります。大容量ファイルは接続の安定性に負荷をかけ、デフォルトのタイムアウト閾値を使い果たし、小さいファイルの転送では決して遭遇しないマルチパートチャンキングの制限を露呈させます。RcloneViewは、シェルスクリプトを書く必要なく、グローバルRcloneフラグとジョブごとの設定を通じて、これらのパラメータを調整するために必要なrcloneフラグを公開しています。
すべてのクラウドを一か所で管理・同期
RcloneViewはrcloneのクロスプラットフォームGUIです。フォルダを比較し、ファイルを転送・同期し、クリーンなビジュアルインターフェースでマルチクラウドのワークフローを自動化できます。
- ワンクリック操作: コピー · 同期 · 比較
- 信頼性の高い自動化のためのスケジューラーと履歴
- Google Drive、OneDrive、Dropbox、S3、WebDAV、SFTPなどに対応
コア機能は無料。Plusで自動化機能を利用可能。
RcloneViewでタイムアウトエラーを見分ける
大容量ファイルのアップロードがタイムアウトすると、RcloneViewのLogタブにはFailed to copy: net/http: request canceled (Client.Timeout exceeded)やRequestTimeout: Your socket connection to the server was not read from or written to within the timeout periodといったエントリが表示されます。Transferringタブでは、ジョブがエラーを報告する前に、対象のファイルが途中の進捗率で止まっている様子が表示されます。
大容量アップロード中の接続タイムアウトは、次のような状況で最も多く発生します。
- パートアップロードの時間枠が厳しいS3互換プロバイダー
- 30〜60秒後にアイドル接続を切断するクラウドAPI
- 断続的なパケットロスによりラウンドトリップの遅延が増大するネットワーク経路
チャンクサイズとタイムアウトフラグの調整
大容量ファイルのタイムアウトエラーに対する最も効果的な修正は、マルチパートアップロードのチャンクサイズを調整することです。RcloneViewでSettings → Embedded Rclone → Global Rclone Flagsに移動し、以下を追加してください。
--s3-chunk-size 128M— S3のマルチパートチャンクサイズをデフォルトの5MBから128MBに増やし、ファイルごとのAPIラウンドトリップ回数を削減します--s3-upload-cutoff 200M— マルチパートアップロードが使用されるファイルサイズの閾値を設定します--timeout 5m— 操作ごとのグローバル接続タイムアウトを5分に延長します
Google Driveの場合は、S3用フラグの代わりに--drive-chunk-size 128Mを使用してください。Backblaze B2の場合は--b2-chunk-size 128Mを使用してください。
リトライと転送の再開を有効にする
同期ウィザードのステップ2でRetry entire sync if failsを有効にし（リトライ回数を3または5に設定）ます。rcloneのリトライロジックは、S3互換プロバイダーに対しては中断した箇所からマルチパートアップロードを再開しようとするため、無駄になる転送時間を最小限に抑えられます。レジューム可能なアップロードをサポートしないプロバイダー（基本的なWebDAVなど）の場合、リトライはファイルを最初からやり直しますが、ジョブ全体としてはすでに完了しているファイルを再転送することなく継続します。
大容量ファイルのジョブでは、同時転送数を減らしてください。Number of file transfersを2〜4に設定すると、ピーク帯域幅の需要と接続スロットの競合が減り、これは輻輳したネットワークで多くのタイムアウトエラーが発生する根本原因となっています。
はじめに
- rcloneview.comからRcloneViewをダウンロードします。
- 大容量ファイルのアップロードが失敗した後、Logタブでタイムアウトエラーメッセージを確認します。
- SettingsのGlobal Rclone Flagsに
--s3-chunk-size 128Mと--timeout 5mを追加します。 - 同期ジョブウィザードで同時転送数を2〜4に設定し、3〜5回のリトライを有効にします。
適切なチャンクサイズとリトライ設定により、RcloneViewは不完全なネットワーク接続下でも数十GB規模のアップロードを確実に処理します。
関連ガイド:
- RcloneViewでGoogle Driveの同期に大容量ファイルをアップロードする
- クラウドアップロードの速度低下を修正 — RcloneViewによる速度最適化
- RcloneViewでS3マルチパートアップロードの失敗を修正する
対応クラウドプロバイダー
