Pagrindinė problema, susijusi su sujungtų hdfs kopijavimo failais, yra ta, kad jis gali būti labai lėtas.
import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")
Ši kodo eilutė importuoja „Shutil“ modulį ir tada naudoja kopijavimo funkciją iš to modulio, kad nukopijuotų failą iš HDFS į vietinę failų sistemą.
Kas yra hdfs
HDFS yra paskirstyta failų sistema, kuri suteikia keičiamo dydžio, patvarią ir patikimą didelių duomenų rinkinių saugyklą. Jis parašytas Java kalba ir veikia Java platformoje.
Failų sujungimo būdai
Yra keletas būdų, kaip sujungti failus Python. Paprasčiausias būdas yra naudoti integruotą failų sujungimo modulį:
importuoti failų jungiklį
failas1 = atidaryti („failas1.txt“)
failas2 = atidaryti („failas2.txt“)
merge_file(failas1, failas2)
spausdinti („Failas sujungtas!“)
Darbas su failais
„Python“ galite dirbti su failais importuodami atitinkamą modulį. Pavyzdžiui, norėdami importuoti failų tvarkymo modulį, turėtumėte naudoti šią eilutę:
iš failo Importo failo tvarkymas
Kai importuosite modulį, galite pasiekti failus naudodami jų pavadinimą kaip kintamąjį. Pavyzdžiui, jei norite pasiekti failą manofailas.txt dabartiniame kataloge, naudokite šią eilutę:
mano failas = Failas („mano failas.txt“)
