작은 파일이 많은 S3 버킷의 느린 목록 조회와 동기화 해결 — RcloneView로 튜닝하기
작은 파일이 수십만 개 있는 버킷의 동기화가 느린 이유는 대역폭이 아니라 객체당 오버헤드 때문이며, 몇 가지 작업 설정으로 개선할 수 있습니다.
사진가의 프록시 폴더나 애플리케이션 로그 아카이브에는 아주 많은 작은 객체가 쌓일 수 있습니다. 각 객체마다 목록 항목, 비교, 요청이 필요하므로 네트워크가 한가해도 동기화는 느리게 진행됩니다. RcloneView는 작업 마법사에서 관련 rclone 설정을 제공하므로 플래그를 직접 작성하지 않고도 조정할 수 있습니다. S3, Azure, Backblaze B2를 FREE 라이선스에서 읽기/쓰기 모두 연결할 수 있습니다.
모든 클라우드를 한 곳에서 관리하고 동기화하세요
RcloneView는 rclone의 크로스플랫폼 GUI입니다. 폴더를 비교하고, 파일을 전송·동기화하고, 깔끔한 시각적 인터페이스로 멀티 클라우드 워크플로를 자동화하세요.
- 원클릭 작업: 복사 · 동기화 · 비교
- 안정적인 자동화를 위한 스케줄러와 작업 이력
- Google Drive, OneDrive, Dropbox, S3, WebDAV, SFTP 등 지원
핵심 기능은 무료. Plus로 자동화 기능 이용 가능.
작은 파일이 느린 이유
큰 파일에서는 처리량이 지배적입니다. 작은 파일에서는 요청 수가 지배적입니다. 모든 객체가 목록에 나열되고, 크기·시간·체크섬으로 비교되며, 개별적으로 업로드됩니다. 이때의 느림은 대개 요청당 지연 시간과 제공업체 측 속도 제한 때문이므로 대역폭을 늘려도 효과가 없습니다.
실행 중에 Transferring 탭을 여세요. 속도는 낮은데 파일 수가 꾸준히 증가한다면 대역폭이 아니라 요청 수가 병목입니다.
작업 설정 조정
동기화 마법사의 2단계에서 파일 전송 수를 늘리면 더 많은 객체가 병렬로 이동합니다. equality checkers의 기본값은 8이며, 느리거나 제한이 걸리는 백엔드에서는 4 이하를 사용하라는 것이 권장 사항입니다. 동시 확인이 너무 많으면 제한이 걸려 오히려 상황이 나빠질 수 있기 때문입니다. 한 번에 하나의 값만 변경하고 다시 실행하세요.
체크섬 비교를 활성화하면 크기 확인에 더해 해시 계산이 추가되므로, 속도보다 무결성이 중요할 때만 사용하세요. 일시적인 오류로 긴 작업이 중단되지 않도록 재시도 설정은 기본값 3으로 유지하세요.
작업량 줄이기
3단계 필터는 목록 조회 부하를 줄여 줍니다. 최대 파일 연령으로 오래된 객체를 건너뛰고, 필요 없는 폴더를 제외하고, 미리 정의된 필터로 특정 파일 형식을 제외하세요. 거대한 작업 하나를 접두사별 작업으로 나누면 실패를 격리하고 다시 실행하기도 쉬워집니다.
필터를 변경한 후에는 항상 Dry Run을 실행해, 실제 실행 전에 어떤 파일이 복사되거나 삭제될지 정확히 확인하세요.
시작하기
- rcloneview.com에서 RcloneView를 다운로드합니다.
- 느린 작업을 열고 Transferring 탭을 확인해 요청 수가 병목인지 확인합니다.
- 전송 수와 checker를 하나씩 조정하고, 필터를 추가해 범위를 줄입니다.
- Job History에서 소요 시간을 비교하고 가장 좋은 설정을 유지합니다.
작고 체계적인 변경이 밤새 걸리던 동기화를 일상적인 작업으로 바꿔 줍니다.
관련 가이드:
지원 클라우드 제공업체
