Principala problemă cu fișierele de copiere hdfs îmbinate este că poate fi foarte lent.
import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")
Această linie de cod importă modulul Shuil și apoi utilizează funcția copyfile din acel modul pentru a copia un fișier din HDFS în sistemul de fișiere local.
Ce este hdfs
HDFS este un sistem de fișiere distribuit care oferă stocare scalabilă, durabilă și fiabilă pentru seturi mari de date. Este scris în Java și rulează pe platforma Java.
Modalități de îmbinare a fișierelor
Există câteva moduri de a îmbina fișiere în Python. Cel mai simplu mod este să utilizați modulul de fuziune a fișierelor încorporat:
import filemerger
fișier1 = deschis(„fișier1.txt”)
fișier2 = deschis(„fișier2.txt”)
merge_file(fișier1, fișier2)
print(„Fișierul fuzionat!”)
Lucrați cu fișiere
În Python, puteți lucra cu fișiere importând modulul corespunzător. De exemplu, pentru a importa modulul de gestionare a fișierelor, veți folosi următoarea linie:
din fișier Gestionarea fișierului de import
Odată ce ați importat modulul, puteți accesa fișierele folosind numele lor ca variabilă. De exemplu, dacă doriți să accesați fișierul myfile.txt din directorul dvs. curent, ați folosi următoarea linie:
myfile = Fișier(„myfile.txt”)
