Soluciona el listado lento de buckets S3 y la sincronización con muchos archivos pequeños — Ajustes con RcloneView
Un bucket con cientos de miles de archivos diminutos se sincroniza despacio por la sobrecarga de cada objeto, no por el ancho de banda, y unos pocos ajustes del trabajo lo cambian.
La carpeta de proxies de un fotógrafo o el archivo de registros de una aplicación pueden contener una enorme cantidad de objetos pequeños. Cada uno necesita una entrada de listado, una comparación y una solicitud, así que la sincronización avanza a paso de tortuga aunque la red esté libre. RcloneView expone en el asistente de trabajos los ajustes relevantes de rclone, de modo que puedes configurarlos sin escribir flags. Conecta S3, Azure o Backblaze B2 con lectura y escritura completas en la licencia FREE.
Gestiona y sincroniza todas tus nubes en un solo lugar
RcloneView es una GUI multiplataforma para rclone. Compara carpetas, transfiere o sincroniza archivos y automatiza flujos de trabajo multinube con una interfaz visual y limpia.
- Trabajos con un clic: Copiar · Sincronizar · Comparar
- Programadores e historial para una automatización fiable
- Funciona con Google Drive, OneDrive, Dropbox, S3, WebDAV, SFTP y más
Funciones principales gratis. Automatizaciones disponibles con Plus.
Por qué los archivos pequeños son lentos
Con archivos grandes domina el rendimiento. Con archivos pequeños domina el número de solicitudes: cada objeto se lista, se compara por tamaño, fecha o suma de verificación y se sube individualmente. La lentitud aquí suele deberse a la latencia por solicitud y a la limitación de tasa del proveedor, por lo que añadir ancho de banda no sirve de nada.
Abre la pestaña Transferring durante una ejecución. Si la velocidad es baja pero el número de archivos crece de forma constante, estás limitado por las solicitudes y no por el ancho de banda.
Ajusta la configuración del trabajo
En el paso 2 del asistente de sincronización, aumenta el número de transferencias de archivos para que se muevan más objetos en paralelo. Los equality checkers tienen un valor predeterminado de 8; en un backend lento o limitado, la recomendación es usar 4 o menos, porque demasiadas comprobaciones simultáneas pueden provocar limitación y empeorar las cosas. Cambia un valor a la vez y vuelve a ejecutar.
Activar la comparación por suma de verificación añade cálculo de hash además de las comprobaciones de tamaño, así que úsala solo cuando la integridad importe más que la velocidad. Mantén el ajuste de reintentos en su valor predeterminado de 3 para que los errores transitorios no interrumpan una ejecución larga.
Reduce el trabajo
Los filtros del paso 3 reducen la carga del listado. Usa la antigüedad máxima de archivo para omitir objetos antiguos, excluye las carpetas que no necesites y usa los filtros predefinidos para dejar fuera ciertos tipos de archivo. Dividir un trabajo gigante en trabajos por prefijo también facilita aislar los fallos y volver a ejecutarlos.
Ejecuta siempre un Dry Run después de cambiar los filtros, para ver exactamente qué archivos se copiarán o eliminarán antes de la ejecución real.
Primeros pasos
- Descarga RcloneView desde rcloneview.com.
- Abre tu trabajo lento y observa la pestaña Transferring para confirmar que el límite son las solicitudes.
- Ajusta las transferencias y los checkers uno por uno, y añade filtros para reducir el alcance.
- Compara los tiempos en Job History y conserva los ajustes con mejor resultado.
Cambios pequeños y metódicos convierten una sincronización de toda la noche en una tarea rutinaria.
Guías relacionadas:
- Soluciona los fallos de subida multiparte en S3
- Soluciona la lentitud en las transferencias en la nube
- Soluciona los errores de limitación de tasa de la API en la nube
Proveedores de nube compatibles
