Masalah utama dengan menyalin file hdfs yang digabungkan adalah sangat lambat.
import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")
Baris kode ini mengimpor modul shutil dan kemudian menggunakan fungsi copyfile dari modul tersebut untuk menyalin file dari HDFS ke sistem file lokal.
Apa itu hdfs
HDFS adalah sistem file terdistribusi yang menyediakan penyimpanan yang dapat diskalakan, tahan lama, dan andal untuk kumpulan data besar. Itu ditulis dalam Java dan berjalan di platform Java.
Cara menggabungkan file
Ada beberapa cara untuk menggabungkan file dengan Python. Cara termudah adalah dengan menggunakan modul penggabungan file bawaan:
impor filemerger
file1 = buka(“file1.txt”)
file2 = buka(“file2.txt”)
gabungan_file(file1, file2)
print(“File digabungkan!”)
Bekerja dengan file
Di Python, Anda dapat bekerja dengan file dengan mengimpor modul yang sesuai. Misalnya, untuk mengimpor modul penanganan file, Anda akan menggunakan baris berikut:
dari file Penanganan impor File
Setelah Anda mengimpor modul, Anda dapat mengakses file dengan menggunakan namanya sebagai variabel. Misalnya, jika Anda ingin mengakses file myfile.txt di direktori Anda saat ini, Anda akan menggunakan baris berikut:
fileku = File(“fileku.txt”)
