メインコンテンツまでスキップ

Number of Equality Checkers — RcloneViewで低速なバックエンド向けに同期の比較を調整する

· 約6分
Kai
Junior Engineer

同期は何かをコピーする前に、どのファイルがすでに一致しているかを判断する必要があります。checkerの数は、その段階がストレージにどれだけ負荷をかけるかを決めます。

RcloneViewのすべてのSyncジョブは、実際に転送が必要なものを把握するため、ソースと宛先のファイルを比較することから始まります。この処理を担うのがequality checkerで、同期ウィザードのStep 2で並列実行する数を設定できます。デフォルトの8はほとんどのクラウドプロバイダーに適していますが、小規模なSFTPサーバー、WebDAV共有、API制限の厳しいプロバイダーでは、少ない値のほうが安定することがよくあります。

RcloneViewアプリのプレビュー

すべてのクラウドを一か所で管理・同期

RcloneViewはrcloneのクロスプラットフォームGUIです。フォルダを比較し、ファイルを転送・同期し、クリーンなビジュアルインターフェースでマルチクラウドのワークフローを自動化できます。

  • ワンクリック操作: コピー · 同期 · 比較
  • 信頼性の高い自動化のためのスケジューラーと履歴
  • Google Drive、OneDrive、Dropbox、S3、WebDAV、SFTPなどに対応
WindowsmacOSLinux
無料で始める →

コア機能は無料。Plusで自動化機能を利用可能。

Equality Checkerの役割​

checkerは両側のファイルを調べ、同じかどうかを判断します。デフォルトではサイズと更新日時で比較します。同じステップでEnable checksumにチェックを入れると、代わりにハッシュとサイズで比較します。より厳密ですが、すべてのファイルについてバックエンドにハッシュを要求することになります。

Opening a sync job in RcloneView to adjust advanced settings

checkerは、同時にコピーするファイル数を制御するNumber of file transfersとは別物です。ほとんどが変更されていない200,000個の小さなファイルを同期する場合、転送よりもチェックにはるかに多くの時間がかかるため、checker数のほうが転送数より重要になることがあります。

Checker数を下げるべきとき​

RcloneViewの推奨は、低速なバックエンドでは4以下にすることです。典型的なケース:

  • 控えめなスペックのサーバー上のSFTPやFTP。 並列チェックは同時接続の増加を意味し、小さなVPSや古いNASは追加のセッションを拒否したり制限したりすることがあります。
  • メタデータ要求への応答が遅いWebDAV共有。
  • 並列リクエストが集中するとレート制限エラーと再試行が発生する、リクエスト制限の厳しいクラウドプロバイダー。

checkerを下げると、純粋な並列性と引き換えに、より安定した進行が得られます。比較フェーズ中にログで再試行や接続エラーが繰り返される場合は、4、次に2へと下げて再実行してください。

Monitoring sync progress and speed in the RcloneView Transferring tab

デフォルトのままで問題ないとき​

Amazon S3、Wasabi、Cloudflare R2などのS3互換オブジェクトストレージは通常8つのcheckerを問題なく処理でき、ローカルディスクや高速なLAN上のNASはほとんど調整を必要としません。RcloneViewはWindows、macOS、Linux上で、1つのウィンドウから90+のプロバイダーをマウントし同期できるため、1台のマシンでジョブごとに異なるcheckerの値が必要になることはよくあります。S3のジョブはデフォルトのままにし、SFTPのジョブだけを下げましょう。

Dry RunとJob Historyで効果を測定する​

設定は一度に1つずつ変更します。Dry Runでジョブの範囲を確認してから同期を実行し、Job Historyを開きます。Job Historyには各実行のTime Spent、Status、ファイル数が記録されます。同じジョブを異なるcheckerの値で実行した2回分を比較すれば、変更が効果的だったかどうかがわかります。再試行設定(Retry entire sync if fails、デフォルト3)が何度も働く場合も、バックエンドがより少ない並列リクエストを求めているサインです。

Comparing sync run durations in RcloneView Job History after changing the checker count

はじめに​

  1. rcloneview.comからRcloneViewをダウンロードします。
  2. Job Managerを開き、低速なリモートを対象とする同期ジョブを編集します。
  3. Step 2でNumber of equality checkersを4に設定し、Enable checksumが必要かどうかを判断します。
  4. ジョブを実行し、Job Historyで以前の実行とTime Spentやステータスを比較します。

数分の調整で、比較フェーズで止まっていた同期を着実に完了する同期に変えられます。


関連ガイド:

対応クラウドプロバイダー

Local Files
WebDAV
FTP
SFTP
HTTP
SMB / CIFS
Google Drive
Google Photos
Google Cloud Storage
OneDrive
Dropbox
Box
MS Azure Blob
MS File Storage
S3 Compatible
Amazon S3
pCloud
Wasabi
Mega
Backblaze B2
Cloudflare R2
Alibaba OSS
Ceph
Swift (OpenStack)
IBM Cloud Object Storage
Oracle Cloud Object Storage
IDrive e2
MinIO
Storj
DigitalOcean Spaces