Problemi kryesor me skedarin e kopjimit të bashkuar hdf është se mund të jetë shumë i ngadaltë.
import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")
Kjo linjë kodi importon modulin shutil dhe më pas përdor funksionin e skedarit të kopjimit nga ai modul për të kopjuar një skedar nga HDFS në sistemin lokal të skedarëve.
Çfarë është hdfs
HDFS është një sistem skedari i shpërndarë që ofron ruajtje të shkallëzuar, të qëndrueshme dhe të besueshme për grupe të mëdha të dhënash. Është shkruar në Java dhe funksionon në platformën Java.
Mënyrat për të bashkuar skedarët
Ka disa mënyra për të bashkuar skedarët në Python. Mënyra më e thjeshtë është të përdorni modulin e integruar të bashkimit të skedarëve:
importimi i bashkimit të skedarëve
file1 = hapur ("file1.txt")
file2 = hapur ("file2.txt")
merge_file (skedari1, skedari2)
print ("Skedari u bashkua!")
Punoni me skedarë
Në Python, ju mund të punoni me skedarë duke importuar modulin e duhur. Për shembull, për të importuar modulin e trajtimit të skedarëve, do të përdorni rreshtin e mëposhtëm:
nga skedari Trajtimi i skedarit të importit
Pasi të keni importuar modulin, mund të përdorni skedarët duke përdorur emrin e tyre si variabël. Për shembull, nëse dëshironi të përdorni skedarin myfile.txt në drejtorinë tuaj aktuale, do të përdorni rreshtin e mëposhtëm:
myfile = Skedar ("myfile.txt")
