Lewati ke konten utama

Mengatasi Penggunaan Memori dan CPU Tinggi pada Transfer Rclone dengan RcloneView

· 6 menit membaca
Tayson
Senior Engineer

Transfer rclone menghabiskan seluruh RAM Anda atau membuat CPU terjebak di 100%? RcloneView memudahkan Anda mengidentifikasi penyebabnya dan menyetel pengaturan performa tanpa harus menghafal flag command-line.

Jika Anda menyadari sistem Anda melambat drastis selama transfer cloud, Anda tidak sendirian. Rclone memang bertenaga, tetapi pengaturan default atau opsi yang salah konfigurasi dapat menghabiskan sumber daya sistem secara signifikan -- terutama saat menangani jumlah file yang besar, drive yang di-mount, atau transfer paralel. Gejalanya sudah familiar: kipas berputar kencang, aplikasi menjadi tidak responsif, dan transfer yang tampak menggunakan sumber daya lebih banyak dari seharusnya.

Kabar baiknya, sebagian besar skenario penggunaan sumber daya tinggi memiliki solusi yang sederhana. Panduan ini membahas penyebab paling umum dari penggunaan memori dan CPU yang berlebihan pada rclone dan menunjukkan cara mengatasinya menggunakan alat konfigurasi visual RcloneView.

Pratinjau aplikasi RcloneView

Kelola & Sinkronkan Semua Cloud di Satu Tempat

RcloneView adalah GUI lintas platform untuk rclone. Bandingkan folder, transfer atau sinkronkan file, dan otomatiskan alur kerja multi-cloud dengan antarmuka visual yang bersih.

  • Pekerjaan sekali klik: Salin · Sinkronkan · Bandingkan
  • Penjadwal & riwayat untuk otomatisasi yang andal
  • Bekerja dengan Google Drive, OneDrive, Dropbox, S3, WebDAV, SFTP, dan lainnya
WindowsmacOSLinux
Mulai Gratis →

Fitur inti gratis. Otomatisasi Plus tersedia.

Gejala Umum

Sebelum membahas solusinya, berikut tampilan umum dari penggunaan sumber daya tinggi selama operasi rclone:

  • Penggunaan RAM tinggi: proses rclone mengonsumsi 1 GB memori atau lebih, terkadang terus bertambah hingga sistem kehabisan memori.
  • Lonjakan CPU: satu atau lebih core CPU terjebak di 100% selama transfer, terutama saat mendaftar direktori besar.
  • Sistem tidak responsif: aplikasi lain membeku atau lag saat rclone berjalan.
  • Kegagalan transfer: error out-of-memory yang menyebabkan transfer terhenti secara tiba-tiba.
  • Performa lambat: secara paradoks, terlalu banyak operasi paralel justru dapat memperlambat semuanya karena perebutan sumber daya.

Terlalu Banyak Transfer dan Checker Bersamaan

Penyebab paling umum dari penggunaan sumber daya tinggi adalah menjalankan terlalu banyak transfer dan checker paralel. Rclone secara default menggunakan 4 transfers dan 8 checkers, tetapi pengguna sering menaikkan angka ini dengan anggapan akan mempercepat proses. Menjalankan 32 atau 64 transfer bersamaan dapat membebani sistem maupun koneksi jaringan Anda.

Cara mengatasinya di RcloneView:

Saat membuat atau mengedit sync job, atur flag --transfers ke nilai yang wajar. Mulailah dengan 4 dan tingkatkan hanya jika bandwidth serta sistem Anda mampu menanganinya. Atur --checkers ke 8 atau lebih rendah. Untuk sebagian besar koneksi rumahan, 2-4 transfers dan 4-8 checkers memberikan keseimbangan yang tepat antara kecepatan dan konsumsi sumber daya.

Running a sync job in RcloneView

Daftar File Besar dan Pemindaian Direktori

Saat rclone memindai direktori dengan ratusan ribu atau bahkan jutaan file, ia membangun daftar in-memory dari setiap file beserta metadatanya. Hal ini dapat mengonsumsi memori hingga hitungan gigabyte pada direktori yang sangat besar.

Cara mengatasinya:

  • Gunakan --fast-list jika didukung. Flag ini mengambil daftar direktori dengan lebih sedikit panggilan API, yang sebenarnya dapat mengurangi penggunaan memori pada beberapa provider (seperti S3) sementara meningkatkannya pada provider lain. Uji dengan provider spesifik Anda.
  • Pecah sync job besar menjadi beberapa bagian lebih kecil dengan menargetkan subdirektori tertentu, bukan mensinkronisasi seluruh akun cloud sekaligus.
  • Gunakan aturan filter (--include, --exclude) untuk membatasi cakupan setiap operasi sinkronisasi. Semakin sedikit file yang perlu didaftar, semakin sedikit memori yang terpakai.

Pembengkakan VFS Cache dari Drive yang Di-mount

Jika Anda mount penyimpanan cloud sebagai drive lokal, cache VFS (Virtual File System) dapat tumbuh secara signifikan. Secara default, rclone mungkin menyimpan sejumlah besar data dalam cache untuk memberikan performa baca/tulis yang lancar pada drive yang di-mount. Seiring waktu, cache ini dapat menghabiskan ruang disk dan memori yang cukup besar.

Cara mengatasinya:

  • Atur --vfs-cache-max-size ke batas yang wajar, seperti 1G atau 5G, tergantung sumber daya yang tersedia.
  • Atur --vfs-cache-max-age untuk secara otomatis membersihkan file cache lama. Nilai seperti 1h atau 4h cocok untuk sebagian besar alur kerja.
  • Pilih --vfs-cache-mode yang tepat. Gunakan minimal atau writes alih-alih full jika Anda hanya memerlukan akses baca atau penulisan sesekali. Mode cache penuh (full) menyimpan seluruh file dalam cache sebelum dapat diakses, yang menggunakan memori dan disk paling banyak.
mount from remote explorer

Kesalahan Konfigurasi Buffer Size

Flag --buffer-size mengontrol berapa banyak memori yang dialokasikan rclone per file untuk buffering selama transfer. Nilai default-nya adalah 16 MB per transfer. Jika Anda menjalankan 16 transfer bersamaan, itu berarti 256 MB memori buffer saja. Menaikkan --buffer-size menjadi 256 MB dengan 16 transfers akan mengonsumsi 4 GB hanya untuk buffer.

Cara mengatasinya:

  • Pertahankan --buffer-size pada nilai default 16M kecuali Anda memiliki alasan khusus untuk menaikkannya.
  • Jika Anda menaikkannya untuk transfer file besar, kurangi --transfers secara proporsional agar tetap sesuai dengan RAM yang tersedia.
  • Untuk sistem dengan RAM terbatas (4 GB atau kurang), pertimbangkan untuk menurunkan --buffer-size ke 8M atau bahkan 4M.

Overhead Mount dan Operasi FUSE

Drive yang di-mount menambahkan overhead CPU karena setiap operasi file (open, read, write, stat) melewati lapisan FUSE dan memicu panggilan API. Aplikasi yang agresif memindai direktori -- seperti software antivirus, generator thumbnail, atau search indexer -- dapat menyebabkan penggunaan CPU dan API yang terus-menerus pada drive yang di-mount.

Cara mengatasinya:

  • Kecualikan path drive yang di-mount dari pemindaian antivirus.
  • Nonaktifkan pembuatan thumbnail untuk drive yang di-mount di pengaturan file explorer Anda.
  • Gunakan --dir-cache-time untuk memperpanjang durasi cache daftar direktori (misalnya, 5m atau 30m), sehingga mengurangi panggilan API berulang.
  • Atur --attr-timeout untuk menyimpan atribut file dalam cache lebih lama, yang mengurangi panggilan stat.
  • Jika Anda hanya perlu membaca file, gunakan --read-only untuk mencegah overhead terkait penulisan.

Memantau Penggunaan Sumber Daya di RcloneView

RcloneView menyediakan pemantauan transfer secara real-time yang membantu Anda mengidentifikasi kapan sumber daya digunakan secara berlebihan. Selama transfer aktif, Anda dapat mengamati kecepatan transfer, jumlah file, dan progres keseluruhan. Jika kecepatan menurun atau antarmuka menjadi lambat, itu adalah tanda untuk mengurangi paralelisme.

Gunakan tampilan riwayat job untuk meninjau transfer sebelumnya dan mengidentifikasi pola. Jika job tertentu secara konsisten memakan waktu lebih lama atau gagal, job tersebut adalah kandidat untuk disetel ulang.

transfer monitoring

Referensi Cepat: Pengaturan yang Direkomendasikan

PengaturanSistem Sumber Daya RendahSistem StandarPerforma Tinggi
--transfers248-16
--checkers4816
--buffer-size4M16M32M
--vfs-cache-max-size512M2G10G
--vfs-cache-modeminimalwritesfull

Sesuaikan pengaturan ini berdasarkan RAM, core CPU, dan bandwidth internet yang tersedia. Mulailah secara konservatif dan tingkatkan secara bertahap.

Memulai

  1. Unduh RcloneView dari rcloneview.com.
  2. Buka sync job yang sudah ada atau buat yang baru, lalu tinjau pengaturan transfer dan checker.
  3. Kurangi --transfers dan --checkers jika sistem Anda kesulitan selama transfer.
  4. Untuk drive yang di-mount, konfigurasikan batas VFS cache untuk mencegah pertumbuhan memori yang tidak terbatas.

Penyesuaian kecil pada paralelisme dan pengaturan cache dapat secara signifikan meningkatkan responsivitas sistem tanpa memengaruhi kecepatan transfer secara berarti.


Panduan Terkait:

Penyedia Cloud yang Didukung

Local Files
WebDAV
FTP
SFTP
HTTP
SMB / CIFS
Google Drive
Google Photos
Google Cloud Storage
OneDrive
Dropbox
Box
MS Azure Blob
MS File Storage
S3 Compatible
Amazon S3
pCloud
Wasabi
Mega
Backblaze B2
Cloudflare R2
Alibaba OSS
Ceph
Swift (OpenStack)
IBM Cloud Object Storage
Oracle Cloud Object Storage
IDrive e2
MinIO
Storj
DigitalOcean Spaces