대용량 디렉터리에서 느린 폴더 비교 문제 해결 — RcloneView 가이드
설정이 최적화되어 있지 않으면 수만 개의 파일이 있는 디렉터리를 비교할 때 속도가 느려질 수 있습니다. 대규모 클라우드 디렉터리를 위해 RcloneView의 폴더 비교를 조정하는 방법을 알아보세요.
RcloneView의 폴더 비교는 가장 강력한 기능 중 하나로, 두 위치 간에 어떤 파일이 다른지, 한쪽에만 존재하는 파일은 무엇인지, 어떤 파일이 동일한지를 정확히 보여줍니다. 하지만 파일이 500,000개인 두 개의 S3 버킷을 비교하거나 NAS 디렉터리와 클라우드 아카이브를 비교할 때, 워크로드에 맞게 설정을 조정하지 않으면 속도가 매우 느려질 수 있습니다. 아래 조정 방법들을 적용하면 비교 시간을 몇 시간에서 몇 분으로 단축할 수 있습니다.
모든 클라우드를 한 곳에서 관리하고 동기화하세요
RcloneView는 rclone의 크로스플랫폼 GUI입니다. 폴더를 비교하고, 파일을 전송·동기화하고, 깔끔한 시각적 인터페이스로 멀티 클라우드 워크플로를 자동화하세요.
- 원클릭 작업: 복사 · 동기화 · 비교
- 안정적인 자동화를 위한 스케줄러와 작업 이력
- Google Drive, OneDrive, Dropbox, S3, WebDAV, SFTP 등 지원
핵심 기능은 무료. Plus로 자동화 기능 이용 가능.
비교 전에 필터로 범위 줄이기
폴더 비교 속도를 높이는 가장 빠른 방법은 비교 대상 파일 수를 줄이는 것입니다. 필터를 사용한 폴더 비교(PLUS 라이선스)를 사용하면 데이터 무결성 평가에 영향을 주지 않는 파일 유형을 제외할 수 있습니다. 예를 들어 .tmp, .log, .DS_Store 파일을 제외할 수 있습니다. 폴더 이름으로 필터링하여 대규모 트리 중 특정 하위 디렉터리만 비교할 수도 있습니다.
필터 구문은 rclone의 필터 규칙을 따릅니다. .tmp는 해당 확장자를 가진 모든 파일을 제외하고, /.git/*은 루트의 .git 디렉터리에 있는 파일을 제외하며, /archive/는 최상위 폴더 전체를 건너뜁니다. 비교를 시작하기 전에 이러한 규칙을 적용하면 rclone이 열거하고 해시해야 하는 항목 수가 크게 줄어듭니다.
느린 백엔드를 위한 체커 동시성 조정
RcloneView의 작업 설정에는 동등성 체커 수(Number of equality checkers) 항목이 있으며 기본값은 8입니다. 지연 시간이 길거나 API 요청 제한이 엄격한 느린 클라우드 백엔드의 경우, 이 높은 기본값 때문에 체커들이 API 응답을 기다리며 쌓이게 되어 오히려 속도가 느려질 수 있습니다. Google Drive, OneDrive, 또는 느린 WebDAV 서버와 같은 제공업체의 경우 체커 수를 2~4로 줄여보세요.
반대로 Wasabi나 Cloudflare R2와 같은 빠른 S3 호환 백엔드의 경우, 체커 수를 16 이상으로 늘리면 대용량 버킷 목록 조회 속도를 크게 높일 수 있습니다. 다양한 값을 테스트해 보세요. 최적의 값은 제공업체와 네트워크 상태에 따라 달라집니다.
초기 검사에는 크기 전용 모드 사용
기본적으로 rclone은 파일을 크기와 수정 시간 모두를 기준으로 비교합니다. 매우 큰 디렉터리를 빠르게 초기 검사할 때는, 체크섬 검증에 따른 오버헤드 없이 명백한 불일치(한쪽에만 존재하는 파일이나 크기가 확연히 다른 파일)를 파악하기 위해 크기 전용 비교를 사용할 수 있습니다.
RcloneView에서는 설정 → 임베디드 Rclone → 전역 Rclone 플래그에서 비교 세션에 대한 전역 Rclone 플래그로 --size-only를 전달할 수 있습니다. 이는 정확도를 다소 희생하는 대신 속도를 얻는 방법입니다. 대규모 초기 감사에 사용한 후, 의심스러운 파일에 대해서는 전체 체크섬 비교를 후속으로 진행하세요.
시작하기
- rcloneview.com에서 RcloneView를 다운로드하세요.
- 비교 전에 관련 없는 파일 유형을 제외하려면 필터를 사용한 폴더 비교(PLUS)를 사용하세요.
- 느린 백엔드의 경우 체커 동시성을 2~4로 낮추고, 빠른 S3 제공업체의 경우 늘리세요.
- 매우 큰 디렉터리의 빠른 초기 감사에는 크기 전용 모드를 사용하세요.
올바른 설정을 사용하면 폴더 비교는 불필요한 지연 없이 여러 클라우드 제공업체에 걸쳐 수백만 개의 파일까지 확장됩니다.
관련 가이드:
지원 클라우드 제공업체
