Masalah utama dengan hdfs gabungan fail salinan ialah ia boleh menjadi sangat perlahan.
import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")
Baris kod ini mengimport modul shutil dan kemudian menggunakan fungsi fail salinan daripada modul itu untuk menyalin fail daripada HDFS ke sistem fail tempatan.
Apakah itu hdfs
HDFS ialah sistem fail teragih yang menyediakan storan berskala, tahan lama dan boleh dipercayai untuk set data yang besar. Ia ditulis dalam Java dan berjalan pada platform Java.
Cara untuk menggabungkan fail
Terdapat beberapa cara untuk menggabungkan fail dalam Python. Cara paling mudah ialah menggunakan modul penggabungan fail terbina dalam:
import penggabung fail
file1 = open(“file1.txt”)
file2 = open(“file2.txt”)
merge_file(fail1, fail2)
print(“Fail digabungkan!”)
Bekerja dengan fail
Dalam Python, anda boleh bekerja dengan fail dengan mengimport modul yang sesuai. Sebagai contoh, untuk mengimport modul pengendalian fail, anda akan menggunakan baris berikut:
daripada fail Mengendalikan import Fail
Sebaik sahaja anda telah mengimport modul, anda boleh mengakses fail dengan menggunakan nama mereka sebagai pembolehubah. Sebagai contoh, jika anda ingin mengakses fail myfile.txt dalam direktori semasa anda, anda akan menggunakan baris berikut:
myfile = Fail(“myfile.txt”)
