Løst: kopier fil sammenslått hdfs

Hovedproblemet med kopiert fil sammenslått hdfs er at det kan være veldig tregt.

import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")

Denne kodelinjen importerer shutil-modulen og bruker deretter kopifilfunksjonen fra den modulen for å kopiere en fil fra HDFS til det lokale filsystemet.

Hva er hdfs

HDFS er et distribuert filsystem som gir skalerbar, holdbar og pålitelig lagring for store datasett. Den er skrevet i Java og kjører på Java-plattformen.

Måter å slå sammen filer

Det er noen måter å slå sammen filer i Python. Den enkleste måten er å bruke den innebygde filsammenslåingsmodulen:

importere filsammenslåing
fil1 = åpen(“fil1.txt”)
fil2 = åpen(“fil2.txt”)
merge_file(fil1, fil2)
print(“Fil slått sammen!”)

Arbeid med filer

I Python kan du jobbe med filer ved å importere den aktuelle modulen. For å importere filhåndteringsmodulen bruker du for eksempel følgende linje:

fra fil Håndtering av importfil

Når du har importert modulen, kan du få tilgang til filer ved å bruke navnet deres som en variabel. For eksempel, hvis du ønsker å få tilgang til filen myfile.txt i din nåværende katalog, vil du bruke følgende linje:

minfil = Fil(“minfil.txt”)

Relaterte innlegg:

Legg igjen en kommentar