Kelola Penyimpanan HDFS — Sinkronisasi dan Pencadangan File dengan RcloneView
Cluster Hadoop menyimpan data hasil pemrosesan selama bertahun-tahun, tetapi memindahkan data tersebut antara penyimpanan on-prem dan cloud biasanya berarti harus terjun ke skrip dan alat CLI — RcloneView memberi HDFS rumah visual sebagai gantinya.
Hadoop Distributed File System (HDFS) adalah lapisan penyimpanan di balik banyak sekali pipeline big data on-premise, tetapi tidak dilengkapi cara yang ramah pengguna untuk memeriksa, mentransfer, atau mengarsipkan data tersebut di luar ekosistem Hadoop. RcloneView terhubung ke HDFS sebagai remote berbasis protokol seperti halnya SFTP, FTP, dan WebDAV, sehingga seorang data engineer dapat menelusuri isi cluster dalam file explorer yang familiar dan memindahkan dataset ke dan dari penyimpanan cloud tanpa perlu menulis job distcp atau skrip khusus. Aplikasi ini berjalan sama di Windows, macOS, dan Linux, yang penting ketika tim data Anda tidak semuanya menggunakan sistem operasi yang sama.
Kelola & Sinkronkan Semua Cloud di Satu Tempat
RcloneView adalah GUI lintas platform untuk rclone. Bandingkan folder, transfer atau sinkronkan file, dan otomatiskan alur kerja multi-cloud dengan antarmuka visual yang bersih.
- Pekerjaan sekali klik: Salin · Sinkronkan · Bandingkan
- Penjadwal & riwayat untuk otomatisasi yang andal
- Bekerja dengan Google Drive, OneDrive, Dropbox, S3, WebDAV, SFTP, dan lainnya
Fitur inti gratis. Otomatisasi Plus tersedia.
Menambahkan Cluster HDFS sebagai Remote
HDFS termasuk dalam kategori penyimpanan berbasis protokol RcloneView, yang dikonfigurasi melalui wizard New Remote yang sama seperti yang digunakan untuk koneksi SFTP dan WebDAV. Setelah cluster ditambahkan, cluster tersebut muncul sebagai tab tersendiri di panel Explorer, lengkap dengan folder tree standar, daftar file, dan tampilan thumbnail untuk menelusuri dataset yang tersimpan di seluruh namenode cluster. Operasi klik kanan — salin, unduh, ganti nama, Get Size — berfungsi persis seperti pada remote lainnya, artinya engineer yang kurang terbiasa dengan perintah hadoop fs tetap bisa memeriksa apa saja yang sebenarnya tersimpan di HDFS.
RcloneView melakukan mount DAN sinkronisasi lebih dari 90 penyedia dari satu jendela, sehingga sesi yang sama yang digunakan untuk menelusuri HDFS bisa membuka Google Drive, S3 bucket, atau disk lokal di panel sebelahnya untuk perbandingan langsung.
Menjembatani Penyimpanan On-Prem dengan Penyimpanan Objek Cloud
Alasan paling umum untuk menghubungkan HDFS ke RcloneView adalah memindahkan data dingin atau data yang telah diproses dari cluster yang mahal dan terbatas kapasitasnya ke penyimpanan cloud yang lebih murah untuk retensi jangka panjang. Job sinkronisasi satu arah dengan arah "Modifying destination only" menyalin output HDFS — dataset hasil pemrosesan, artefak pelatihan model, arsip log — ke bucket S3, Azure Blob, atau Backblaze B2 tanpa menyentuh sumbernya. Pengaturan filter di Langkah 3 dari wizard sinkronisasi memungkinkan Anda membatasi job pada jenis file tertentu atau mengecualikan file _SUCCESS dan file sementara yang ditinggalkan oleh job Hadoop, sehingga bucket tujuan hanya menyimpan data yang memang layak disimpan.
Untuk dataset besar, menyesuaikan jumlah transfer file dan jumlah transfer multi-thread di Advanced Settings membantu memaksimalkan bandwidth yang tersedia antara cluster dan tujuan, sementara menjaga jumlah equality checker tetap moderat menghindari beban baca yang tidak perlu pada namenode selama fase perbandingan.
Menjadwalkan Job Pengarsipan Berulang
Pipeline data jarang berjalan hanya sekali. Pengguna lisensi PLUS dapat melampirkan jadwal bergaya crontab pada job sinkronisasi HDFS sehingga output yang baru masuk secara otomatis dicerminkan ke penyimpanan cloud setelah setiap batch run selesai, tanpa perlu ada orang yang mengingat untuk memulai transfer secara manual. Job History kemudian mencatat setiap eksekusi — status, ukuran yang ditransfer, durasi — memberikan tim jejak audit yang menunjukkan dengan tepat kapan setiap dataset meninggalkan cluster dan ke mana ia berakhir.
Memulai
- Unduh RcloneView dari rcloneview.com.
- Tambahkan cluster HDFS Anda sebagai remote baru menggunakan opsi penyimpanan berbasis protokol.
- Telusuri cluster di panel Explorer untuk memastikan dataset dan izin akses sudah benar.
- Siapkan job sinkronisasi satu arah ke tujuan cloud arsip Anda, dengan filter untuk mengecualikan file sementara.
Menghadirkan HDFS ke dalam jendela yang sama dengan remote cloud Anda mengubah proses ekspor yang berbasis skrip dan rawan kesalahan menjadi job yang berulang, dapat dipantau, dan dapat dijadwalkan.
Panduan Terkait:
- Kelola Penyimpanan MinIO — Sinkronisasi Cloud Self-Hosted di RcloneView
- Penyimpanan Cloud untuk Data Scientist — Sederhanakan Dataset dengan RcloneView
- Pipeline Dataset Pelatihan AI — Bangun dan Sinkronkan dengan RcloneView
Penyedia Cloud yang Didukung
