Hovedproblemet med kopifil fusioneret hdfs er, at det kan være meget langsomt.
import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")
Denne kodelinje importerer shutil-modulet og bruger derefter copyfile-funktionen fra dette modul til at kopiere en fil fra HDFS til det lokale filsystem.
Hvad er hdfs
HDFS er et distribueret filsystem, der giver skalerbar, holdbar og pålidelig lagring til store datasæt. Det er skrevet i Java og kører på Java-platformen.
Måder at flette filer på
Der er et par måder at flette filer i Python. Den nemmeste måde er at bruge det indbyggede filfusionsmodul:
importere filemerger
fil1 = åben(“fil1.txt”)
fil2 = åben(“fil2.txt”)
merge_file(fil1, fil2)
print(“Fil flettet!”)
Arbejde med filer
I Python kan du arbejde med filer ved at importere det relevante modul. For at importere filhåndteringsmodulet for eksempel, skal du bruge følgende linje:
fra fil Håndtering af importfil
Når du har importeret modulet, kan du få adgang til filer ved at bruge deres navn som en variabel. For eksempel, hvis du vil have adgang til filen myfile.txt i din nuværende mappe, vil du bruge følgende linje:
minfil = Fil(“minfil.txt”)
