Corriger la lenteur de comparaison de dossiers pour les grands répertoires — Guide RcloneView
Comparer des répertoires contenant des dizaines de milliers de fichiers peut être lent si vos paramètres ne sont pas optimisés. Voici comment ajuster la fonction Folder Compare de RcloneView pour les grands répertoires cloud.
La fonction Folder Compare de RcloneView est l'une de ses fonctionnalités les plus puissantes — elle indique précisément quels fichiers diffèrent entre deux emplacements, lesquels n'existent que d'un côté, et lesquels sont identiques. Mais comparer deux buckets S3 contenant 500 000 fichiers, ou un répertoire NAS avec une archive cloud, peut être extrêmement lent si la configuration n'est pas adaptée à la charge de travail. Ces ajustements permettent de réduire les temps de comparaison de plusieurs heures à quelques minutes.
Gérez et synchronisez tous vos clouds au même endroit
RcloneView est une interface graphique multiplateforme pour rclone. Comparez des dossiers, transférez ou synchronisez des fichiers et automatisez vos workflows multi-cloud avec une interface visuelle et épurée.
- Tâches en un clic : Copier · Synchroniser · Comparer
- Planificateurs et historique pour une automatisation fiable
- Compatible avec Google Drive, OneDrive, Dropbox, S3, WebDAV, SFTP et plus
Fonctions essentielles gratuites. Automatisations disponibles avec Plus.
Réduire le périmètre avec des filtres avant la comparaison
Le moyen le plus rapide d'accélérer une comparaison de dossiers est de réduire le nombre de fichiers comparés. Utilisez Folder Compare with Filter (licence PLUS) pour exclure les types de fichiers que vous n'avez pas besoin de vérifier — par exemple, exclure les fichiers .tmp, .log et .DS_Store qui n'affectent pas votre évaluation de l'intégrité des données. Vous pouvez également filtrer par nom de dossier pour ne comparer que des sous-répertoires spécifiques d'une grande arborescence.
La syntaxe de filtrage suit les règles de filtrage de rclone : .tmp exclut tout fichier portant cette extension, /.git/* exclut les fichiers d'un répertoire .git à la racine, et /archive/ ignore tout un dossier de premier niveau. Appliquer ces règles avant de lancer la comparaison réduit considérablement le nombre d'éléments que rclone doit énumérer et hacher.
Ajuster la concurrence des vérificateurs pour les backends lents
Les paramètres de tâche de RcloneView incluent Number of equality checkers (nombre de vérificateurs d'égalité), qui vaut 8 par défaut. Pour les backends cloud lents (ceux avec une latence élevée ou des limites strictes de taux d'API), cette valeur par défaut élevée peut entraîner un empilement des vérificateurs en attente de réponses de l'API, ce qui ralentit paradoxalement le processus. Pour des fournisseurs comme Google Drive, OneDrive ou des serveurs WebDAV lents, essayez de réduire le nombre de vérificateurs à 2–4.
À l'inverse, pour des backends compatibles S3 rapides comme Wasabi ou Cloudflare R2, augmenter le nombre de vérificateurs à 16 ou plus peut accélérer significativement le listage de grands buckets. Testez différentes valeurs — le réglage optimal varie selon le fournisseur et les conditions réseau.
Utiliser le mode taille uniquement pour les premières passes
Par défaut, rclone compare les fichiers à la fois par taille et par date de modification. Pour une première passe rapide sur un très grand répertoire, vous pouvez utiliser la comparaison par taille uniquement afin d'identifier les écarts évidents (fichiers présents d'un côté mais pas de l'autre, ou fichiers de tailles clairement différentes) sans supporter le coût de la vérification par checksum.
Dans RcloneView, vous pouvez passer --size-only en tant que Global Rclone Flag dans Settings → Embedded Rclone → Global Rclone Flags pour une session de comparaison. Cela sacrifie un peu de précision au profit de la vitesse — utilisez ce mode pour de grands audits initiaux, puis effectuez une comparaison complète par checksum sur les fichiers suspects.
Pour commencer
- Téléchargez RcloneView depuis rcloneview.com.
- Utilisez Folder Compare with Filter (PLUS) pour exclure les types de fichiers non pertinents avant la comparaison.
- Réduisez la concurrence des vérificateurs à 2–4 pour les backends lents ; augmentez-la pour les fournisseurs S3 rapides.
- Utilisez le mode taille uniquement pour des audits initiaux rapides de très grands répertoires.
Avec la bonne configuration, Folder Compare s'adapte à des millions de fichiers répartis sur différents fournisseurs cloud sans délais inutiles.
Guides connexes :
- Guide de comparaison de dossiers — Détecter les différences avec RcloneView
- Règles de filtrage et synchronisation sélective avec RcloneView
- Vérifier l'intégrité des fichiers cloud avec RcloneView
Fournisseurs cloud pris en charge
