Mengatasi Listing Bucket S3 dan Sinkronisasi yang Lambat pada File Kecil Berjumlah Banyak — Tuning dengan RcloneView
Bucket dengan ratusan ribu file kecil lambat disinkronkan karena overhead per objek, bukan bandwidth, dan beberapa pengaturan job dapat mengubahnya.
Folder proxy milik fotografer atau arsip log aplikasi bisa berisi objek kecil dalam jumlah sangat besar. Setiap objek memerlukan entri listing, perbandingan, dan satu request, sehingga sinkronisasi merayap meskipun jaringan sedang lengang. RcloneView menyediakan pengaturan rclone yang relevan di wizard job, sehingga Anda dapat menyetelnya tanpa menulis flag. Hubungkan S3, Azure, atau Backblaze B2 dengan akses baca/tulis penuh pada lisensi FREE.
Kelola & Sinkronkan Semua Cloud di Satu Tempat
RcloneView adalah GUI lintas platform untuk rclone. Bandingkan folder, transfer atau sinkronkan file, dan otomatiskan alur kerja multi-cloud dengan antarmuka visual yang bersih.
- Pekerjaan sekali klik: Salin · Sinkronkan · Bandingkan
- Penjadwal & riwayat untuk otomatisasi yang andal
- Bekerja dengan Google Drive, OneDrive, Dropbox, S3, WebDAV, SFTP, dan lainnya
Fitur inti gratis. Otomatisasi Plus tersedia.
Mengapa File Kecil Lambat
Pada file besar, throughput yang dominan. Pada file kecil, jumlah request yang dominan: setiap objek di-list, dibandingkan berdasarkan ukuran, waktu, atau checksum, lalu diunggah satu per satu. Kelambatan di sini biasanya disebabkan oleh latensi per request dan pembatasan rate dari sisi penyedia, sehingga menambah bandwidth tidak membantu.
Buka tab Transferring saat job berjalan. Jika kecepatan rendah tetapi jumlah file terus bertambah secara stabil, hambatannya ada pada request, bukan bandwidth.
Setel Pengaturan Job
Pada Langkah 2 wizard sinkronisasi, naikkan jumlah transfer file agar lebih banyak objek berpindah secara paralel. Equality checkers bernilai default 8; pada backend yang lambat atau dibatasi, panduannya adalah menggunakan 4 atau kurang, karena terlalu banyak pemeriksaan bersamaan dapat memicu pembatasan dan memperburuk keadaan. Ubah satu nilai pada satu waktu lalu jalankan ulang.
Mengaktifkan perbandingan checksum menambah pekerjaan hash di atas pemeriksaan ukuran, jadi gunakan hanya ketika integritas lebih penting daripada kecepatan. Biarkan pengaturan percobaan ulang pada nilai default 3 agar error sementara tidak menghentikan job yang panjang.
Perkecil Beban Kerja
Filter pada Langkah 3 mengurangi beban listing. Gunakan usia file maksimum untuk melewati objek lama, kecualikan folder yang tidak diperlukan, dan gunakan filter bawaan untuk mengecualikan tipe file tertentu. Memecah satu job raksasa menjadi job per prefiks juga memudahkan isolasi kegagalan dan menjalankannya ulang.
Selalu jalankan Dry Run setelah mengubah filter, agar Anda melihat dengan tepat file mana yang akan disalin atau dihapus sebelum eksekusi sebenarnya.
Memulai
- Unduh RcloneView dari rcloneview.com.
- Buka job yang lambat dan perhatikan tab Transferring untuk memastikan hambatannya ada pada request.
- Sesuaikan transfer dan checker satu per satu, dan tambahkan filter untuk memperkecil cakupan.
- Bandingkan waktu di Job History dan pertahankan pengaturan dengan hasil terbaik.
Perubahan kecil yang metodis mengubah sinkronisasi semalaman menjadi tugas rutin.
Panduan Terkait:
- Atasi Kegagalan Unggah Multipart S3
- Atasi Kecepatan Transfer Cloud yang Lambat
- Atasi Error Pembatasan Rate API Cloud
Penyedia Cloud yang Didukung
