Det största problemet med kopiera fil sammanslagna hdfs är att det kan vara mycket långsamt.
import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")
Denna kodrad importerar shutil-modulen och använder sedan copyfile-funktionen från den modulen för att kopiera en fil från HDFS till det lokala filsystemet.
Vad är hdfs
HDFS är ett distribuerat filsystem som ger skalbar, hållbar och pålitlig lagring för stora datamängder. Den är skriven i Java och körs på Java-plattformen.
Sätt att slå ihop filer
Det finns några sätt att slå ihop filer i Python. Det enklaste sättet är att använda den inbyggda filsammanslagningsmodulen:
importera filemerger
fil1 = öppen(“fil1.txt”)
fil2 = öppen(“fil2.txt”)
merge_file(fil1, fil2)
print(“Fil sammanslagen!”)
Arbeta med filer
I Python kan du arbeta med filer genom att importera lämplig modul. För att till exempel importera filhanteringsmodulen använder du följande rad:
från fil Hanterar importfil
När du har importerat modulen kan du komma åt filer genom att använda deras namn som en variabel. Om du till exempel vill komma åt filen myfile.txt i din nuvarande katalog, använder du följande rad:
minfil = Fil(“minfil.txt”)
