La ĉefa problemo kun kopidosiero kunfandita hdfs estas ke ĝi povas esti tre malrapida.
import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")
Ĉi tiu kodlinio importas la Shuil-modulon kaj tiam uzas la kopidosierfunkcion de tiu modulo por kopii dosieron de HDFS al la loka dosiersistemo.
Kio estas hdfs
HDFS estas distribuita dosiersistemo kiu disponigas skaleblan, daŭran kaj fidindan stokadon por grandaj datumaro. Ĝi estas skribita en Java kaj funkcias per la Java platformo.
Manieroj kunfandi dosierojn
Estas kelkaj manieroj kunfandi dosierojn en Python. La plej simpla maniero estas uzi la enkonstruitan dosieran fuziomodulon:
import filemerger
dosiero1 = malfermita ("dosiero1.txt")
dosiero2 = malfermita ("dosiero2.txt")
kunfandi_dosiero(dosiero1, dosiero2)
print("Dosiero kunfandita!")
Laboru kun dosieroj
En Python, vi povas labori kun dosieroj importante la taŭgan modulon. Ekzemple, por importi la dosiertraktadmodulon, vi uzus la sekvan linion:
de dosiero Pritraktado de importdosiero
Post kiam vi importis la modulon, vi povas aliri dosierojn uzante ilian nomon kiel variablon. Ekzemple, se vi volus aliri la dosieron myfile.txt en via nuna dosierujo, vi uzus la jenan linion:
mia dosiero = Dosiero ("mia dosiero.txt")
