Koopiafaili ühendatud hdfs-i peamine probleem on see, et see võib olla väga aeglane.
import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")
See koodirida impordib shutili mooduli ja kasutab seejärel faili kopeerimiseks sellest moodulist faili HDFS-ist kohalikku failisüsteemi.
Mis on hdfs
HDFS on hajutatud failisüsteem, mis pakub suurte andmehulkade jaoks skaleeritavat, vastupidavat ja usaldusväärset salvestusruumi. See on kirjutatud Java keeles ja töötab Java platvormil.
Failide liitmise viisid
Pythonis failide liitmiseks on mitu võimalust. Lihtsaim viis on kasutada sisseehitatud faililiitmismoodulit:
impordi failiühendaja
fail1 = avatud (“fail1.txt”)
fail2 = avatud (“fail2.txt”)
merge_file(fail1, fail2)
print ("Fail on ühendatud!")
Töötage failidega
Pythonis saate failidega töötada, importides vastava mooduli. Näiteks failihaldusmooduli importimiseks kasutage järgmist rida:
failist Impordifaili käsitlemine
Kui olete mooduli importinud, pääsete failidele juurde, kasutades muutujana nende nime. Näiteks kui soovite juurdepääsu failile myfile.txt oma praeguses kataloogis, kasutage järgmist rida:
myfile = Fail(“minufail.txt”)
