Hlavným problémom pri kopírovaní súborov zlúčených hdfs je to, že to môže byť veľmi pomalé.
import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")
Tento riadok kódu importuje modul Shutil a potom použije funkciu copyfile z tohto modulu na skopírovanie súboru z HDFS do lokálneho súborového systému.
Čo je to hdfs
HDFS je distribuovaný súborový systém, ktorý poskytuje škálovateľné, odolné a spoľahlivé úložisko pre veľké súbory údajov. Je napísaný v jazyku Java a beží na platforme Java.
Spôsoby zlúčenia súborov
Existuje niekoľko spôsobov, ako zlúčiť súbory v Pythone. Najjednoduchším spôsobom je použiť vstavaný modul zlučovania súborov:
import filemerger
súbor1 = otvorený(“súbor1.txt”)
súbor2 = otvorený(“súbor2.txt”)
merge_file(súbor1, súbor2)
vytlačiť („Súbor zlúčený!“)
Práca so súbormi
V Pythone môžete pracovať so súbormi importovaním príslušného modulu. Napríklad na importovanie modulu spracovania súborov by ste použili nasledujúci riadok:
zo súboru Spracovanie importu Súbor
Po importovaní modulu môžete pristupovať k súborom pomocou ich názvu ako premennej. Napríklad, ak chcete získať prístup k súboru myfile.txt vo vašom aktuálnom adresári, použite nasledujúci riadok:
myfile = File(“myfile.txt”)
