Langsames S3-Bucket-Listing und langsame Synchronisation bei vielen kleinen Dateien beheben — Tuning mit RcloneView
Ein Bucket mit Hunderttausenden winziger Dateien wird wegen des Overheads pro Objekt langsam synchronisiert, nicht wegen der Bandbreite – und einige Job-Einstellungen ändern das.
Der Proxy-Ordner eines Fotografen oder das Log-Archiv einer Anwendung kann eine riesige Zahl kleiner Objekte enthalten. Jedes benötigt einen Listing-Eintrag, einen Vergleich und eine Anfrage, sodass die Synchronisation trotz freiem Netzwerk nur schleppend vorankommt. RcloneView stellt die relevanten rclone-Einstellungen im Job-Assistenten bereit, sodass Sie sie ohne Flags anpassen können. Verbinden Sie S3, Azure oder Backblaze B2 mit vollem Lese-/Schreibzugriff mit der FREE-Lizenz.
Alle Clouds an einem Ort verwalten & synchronisieren
RcloneView ist eine plattformübergreifende GUI für rclone. Vergleichen Sie Ordner, übertragen oder synchronisieren Sie Dateien und automatisieren Sie Multi-Cloud-Workflows mit einer klaren, visuellen Oberfläche.
- Ein-Klick-Jobs: Kopieren · Synchronisieren · Vergleichen
- Zeitpläne & Verlauf für zuverlässige Automatisierung
- Funktioniert mit Google Drive, OneDrive, Dropbox, S3, WebDAV, SFTP und mehr
Kernfunktionen kostenlos. Plus-Automatisierungen verfügbar.
Warum kleine Dateien langsam sind
Bei großen Dateien dominiert der Durchsatz. Bei kleinen Dateien dominiert die Anzahl der Anfragen: Jedes Objekt wird aufgelistet, nach Größe, Zeit oder Prüfsumme verglichen und einzeln hochgeladen. Die Langsamkeit entsteht hier meist durch die Latenz pro Anfrage und durch Ratenbegrenzung seitens des Anbieters, sodass mehr Bandbreite nichts bringt.
Öffnen Sie während eines Laufs den Transferring-Tab. Ist die Geschwindigkeit niedrig, die Dateianzahl steigt aber stetig, sind Sie durch Anfragen begrenzt und nicht durch die Bandbreite.
Job-Einstellungen anpassen
In Schritt 2 des Sync-Assistenten erhöhen Sie die Anzahl der Dateiübertragungen, damit mehr Objekte parallel verschoben werden. Die Equality Checkers sind standardmäßig auf 8 gesetzt; bei einem langsamen oder gedrosselten Backend gilt die Empfehlung, 4 oder weniger zu verwenden, da zu viele gleichzeitige Prüfungen eine Drosselung auslösen und alles verschlimmern können. Ändern Sie jeweils nur einen Wert und starten Sie erneut.
Der Prüfsummenvergleich fügt zusätzlich zu den Größenprüfungen Hash-Berechnungen hinzu; nutzen Sie ihn daher nur, wenn Integrität wichtiger ist als Geschwindigkeit. Belassen Sie die Wiederholungseinstellung beim Standardwert 3, damit vorübergehende Fehler einen langen Lauf nicht abbrechen.
Den Aufwand verkleinern
Die Filter in Schritt 3 verringern die Listing-Last. Nutzen Sie das maximale Dateialter, um alte Objekte zu überspringen, schließen Sie nicht benötigte Ordner aus und lassen Sie mit vordefinierten Filtern bestimmte Dateitypen weg. Wenn Sie einen riesigen Job in Jobs pro Präfix aufteilen, lassen sich Fehler zudem leichter eingrenzen und erneut ausführen.
Führen Sie nach jeder Filteränderung einen Dry Run aus, damit Sie vor dem echten Lauf genau sehen, welche Dateien kopiert oder gelöscht werden.
Erste Schritte
- Laden Sie RcloneView herunter von rcloneview.com.
- Öffnen Sie Ihren langsamen Job und beobachten Sie den Transferring-Tab, um zu bestätigen, dass die Anfragen der Engpass sind.
- Passen Sie Transfers und Checker einzeln an und fügen Sie Filter hinzu, um den Umfang zu verringern.
- Vergleichen Sie die Laufzeiten im Job History und behalten Sie die besten Einstellungen.
Kleine, methodische Änderungen machen aus einer nächtelangen Synchronisation eine Routineaufgabe.
Weiterführende Anleitungen:
- S3-Multipart-Upload-Fehler beheben
- Langsame Cloud-Übertragungsgeschwindigkeit beheben
- Fehler durch Cloud-API-Ratenbegrenzung beheben
Unterstützte Cloud-Anbieter
