Το κύριο πρόβλημα με το αρχείο αντιγραφής συγχωνευμένων hdfs είναι ότι μπορεί να είναι πολύ αργό.
import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")
Αυτή η γραμμή κώδικα εισάγει τη λειτουργική μονάδα shutil και, στη συνέχεια, χρησιμοποιεί τη λειτουργία copyfile από αυτήν την ενότητα για να αντιγράψει ένα αρχείο από το HDFS στο τοπικό σύστημα αρχείων.
Τι είναι το hdfs
Το HDFS είναι ένα κατανεμημένο σύστημα αρχείων που παρέχει επεκτάσιμη, ανθεκτική και αξιόπιστη αποθήκευση για μεγάλα σύνολα δεδομένων. Είναι γραμμένο σε Java και εκτελείται στην πλατφόρμα Java.
Τρόποι συγχώνευσης αρχείων
Υπάρχουν μερικοί τρόποι συγχώνευσης αρχείων στην Python. Ο απλούστερος τρόπος είναι να χρησιμοποιήσετε την ενσωματωμένη μονάδα συγχώνευσης αρχείων:
εισαγωγή αρχείου συγχώνευσης
file1 = open ("file1.txt")
file2 = open ("file2.txt")
συγχώνευση_αρχείου(αρχείο1,αρχείο2)
εκτύπωση ("Το αρχείο συγχωνεύτηκε!")
Εργασία με αρχεία
Στην Python, μπορείτε να εργαστείτε με αρχεία εισάγοντας την κατάλληλη ενότητα. Για παράδειγμα, για να εισαγάγετε τη μονάδα χειρισμού αρχείων, θα χρησιμοποιήσετε την ακόλουθη γραμμή:
από αρχείο Χειρισμός αρχείου εισαγωγής
Αφού εισαγάγετε τη λειτουργική μονάδα, μπορείτε να αποκτήσετε πρόσβαση στα αρχεία χρησιμοποιώντας το όνομά τους ως μεταβλητή. Για παράδειγμα, εάν θέλατε να αποκτήσετε πρόσβαση στο αρχείο myfile.txt στον τρέχοντα κατάλογο σας, θα χρησιμοποιούσατε την ακόλουθη γραμμή:
myfile = Αρχείο ("myfile.txt")
