Das Hauptproblem bei zusammengeführten HDFS-Dateien besteht darin, dass es sehr langsam sein kann.
import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")
Diese Codezeile importiert das Shutil-Modul und verwendet dann die Copyfile-Funktion von diesem Modul, um eine Datei von HDFS in das lokale Dateisystem zu kopieren.
Was ist hdfs
HDFS ist ein verteiltes Dateisystem, das skalierbaren, dauerhaften und zuverlässigen Speicher für große Datensätze bietet. Es ist in Java geschrieben und läuft auf der Java-Plattform.
Möglichkeiten zum Zusammenführen von Dateien
Es gibt einige Möglichkeiten, Dateien in Python zusammenzuführen. Der einfachste Weg ist die Verwendung des integrierten Dateizusammenführungsmoduls:
Dateizusammenführung importieren
datei1 = öffnen ("datei1.txt")
datei2 = öffnen ("datei2.txt")
merge_file(Datei1, Datei2)
print("Datei zusammengeführt!")
Arbeiten Sie mit Dateien
In Python können Sie mit Dateien arbeiten, indem Sie das entsprechende Modul importieren. Um beispielsweise das Dateiverwaltungsmodul zu importieren, würden Sie die folgende Zeile verwenden:
aus Datei Handhabung Importdatei
Nachdem Sie das Modul importiert haben, können Sie auf Dateien zugreifen, indem Sie ihren Namen als Variable verwenden. Wenn Sie beispielsweise auf die Datei myfile.txt in Ihrem aktuellen Verzeichnis zugreifen möchten, verwenden Sie die folgende Zeile:
meinedatei = Datei („meinedatei.txt“)
