HTTP リモートストレージを管理する — RcloneView でファイルを閲覧・同期
RcloneView は公開されている HTTP ファイルインデックスを閲覧可能なリモートに変換し、wget コマンドを一切使わずにその内容を Google Drive、S3、その他 90 以上のクラウドプロバイダーに取り込めるようにします。
多くのデータセット、ファームウェアアーカイブ、研究用ミラー、社内のビルド成果物が、API もログインもなく、URL で配信されるシンプルな HTTP ディレクトリ一覧の背後に今も存在しています。こうしたソースからダウンロードするには、通常 curl や wget のループをスクリプト化し、実行中にディレクトリ構造が変わらないことを願うしかありません。RcloneView は任意の HTTP エンドポイントを読み取り専用リモートとして接続し、クラウドストレージと同じエクスプローラーパネルで閲覧できるようにし、必要なものを適切なバックアップ先へコピーできます。
すべてのクラウドを一か所で管理・同期
RcloneViewはrcloneのクロスプラットフォームGUIです。フォルダを比較し、ファイルを転送・同期し、クリーンなビジュアルインターフェースでマルチクラウドのワークフローを自動化できます。
- ワンクリック操作: コピー · 同期 · 比較
- 信頼性の高い自動化のためのスケジューラーと履歴
- Google Drive、OneDrive、Dropbox、S3、WebDAV、SFTPなどに対応
コア機能は無料。Plusで自動化機能を利用可能。
RcloneView で HTTP リモートを接続する
Remote タブを開き New Remote をクリックして、プロバイダーの一覧から HTTP を選択します。閲覧したいファイルインデックスのベース URL を入力すると、RcloneView がサーバーのディレクトリ一覧を読み取り、通常のフォルダツリーとして表示します。HTTP リモートは設計上読み取り専用のため、OAuth フローも管理すべき認証情報もありません。ファイルの一覧表示、閲覧、ダウンロードはできますが、ソースサーバーへのアップロード、名前変更、削除はできません。
この違いは、このリモートタイプの使い方において重要です。マウント専用ツールとは異なり、RcloneView は FREE ライセンスでも同期とフォルダ比較を提供するため、HTTP リモートは書き込み可能なクラウドまたはローカルの宛先を反対側に置き、そこからデータを取り込むソースとして使うのが最適です。
HTTP インデックスの閲覧とダウンロード
接続後、HTTP リモートは RcloneView のマルチペインエクスプローラー内で他のパネルと同じように動作します。フォルダツリーを展開し、サーバーが情報を提供している場合はファイルサイズと更新日時を確認し、Ctrl+Click または Shift+Click で複数のファイルやサブフォルダを選択してからダウンロードします。隣接パネルで Backblaze B2 バケットや Google Drive フォルダなどのクラウド宛先を開き、ファイルをドラッグして転送を開始できます。
これは、公開データセットアーカイブをミラーリングしたり、ベンダーの HTTP 配布拠点からファームウェアイメージを取得したり、ディレクトリ一覧しか公開していない社内ビルドサーバーのスナップショットをアーカイブしたりするチームでよく見られるパターンです。
HTTP ソースからの定期的な取り込みをスケジュールする
HTTP インデックスが夜間ビルドや週次のデータセット更新のように定期的に更新される場合は、HTTP リモートをソース、クラウドストレージを宛先とする Job Manager エントリを設定します。HTTP ディレクトリ一覧が公開するメタデータの量はサーバーによって異なるため、実際の転送前にファイルのマッチングが想定どおり動作するか確認するために、まず Dry Run を実行してコピーされるファイルを正確に確認してください。
PLUS ライセンス では、ジョブに crontab 形式のスケジュールを設定できるため、HTTP サーバーに公開された新しいファイルをそのスケジュールに従ってクラウドアーカイ ブに取り込むことができ、その後 Job History タブで転送件数を確認したり、ソースサーバーが提供を停止したファイルを見つけたりできます。
はじめに
- rcloneview.com から RcloneView をダウンロード します。
- Remote > New Remote を開き、プロバイダーの一覧から HTTP を選択します。
- ディレクトリ一覧のベース URL を入力してリモートを保存します。
- 片方のパネルに HTTP リモートを、もう片方にクラウド宛先を開きます。
- Job Manager で同期ジョブを設定し、最初の実転送前に Dry Run を実行します。
HTTP ソースを接続すれば、クラウドアーカイブへのファイル取り込みは、毎回思い出して再実行しなければならない使い捨てスクリプトではなく、繰り返し実行可能で監査可能なジョブになります。
関連ガイド:
- Connect Any WebDAV Server to RcloneView — Sync with Google Drive, S3, and 90+ Clouds
- Connect Any SFTP Server to RcloneView — Sync Remote Servers with Cloud Storage
- Manage FTP Server Storage — Sync and Backup Files with RcloneView
対応クラウドプロバイダー
