El principal problema amb la còpia de fitxers hdfs combinats és que pot ser molt lent.
import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")
Aquesta línia de codi importa el mòdul Shuil i després utilitza la funció copyfile d'aquest mòdul per copiar un fitxer de HDFS al sistema de fitxers local.
Què és hdfs
HDFS és un sistema de fitxers distribuït que proporciona un emmagatzematge escalable, durador i fiable per a grans conjunts de dades. Està escrit en Java i s'executa a la plataforma Java.
Maneres de combinar fitxers
Hi ha algunes maneres de combinar fitxers a Python. La manera més senzilla és utilitzar el mòdul de fusió de fitxers integrat:
importar filemerger
fitxer1 = obert ("fitxer1.txt")
fitxer2 = obert ("fitxer2.txt")
merge_file(fitxer1, fitxer2)
print("Fitxer combinat!")
Treballar amb fitxers
A Python, podeu treballar amb fitxers important el mòdul adequat. Per exemple, per importar el mòdul de gestió de fitxers, utilitzareu la línia següent:
des del fitxer Gestió del fitxer d'importació
Un cop hàgiu importat el mòdul, podeu accedir als fitxers utilitzant el seu nom com a variable. Per exemple, si volguéssiu accedir al fitxer myfile.txt al vostre directori actual, haureu d'utilitzar la línia següent:
el meufitxer = Fitxer(“el meufitxer.txt”)
