Vấn đề chính với sao chép tệp hdfs đã hợp nhất là nó có thể rất chậm.
import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")
Dòng mã này nhập mô-đun Shutil và sau đó sử dụng chức năng copyfile từ mô-đun đó để sao chép tệp từ HDFS sang hệ thống tệp cục bộ.
hdfs là gì
HDFS là một hệ thống tệp phân tán cung cấp khả năng lưu trữ có thể mở rộng, lâu bền và đáng tin cậy cho các tập dữ liệu lớn. Nó được viết bằng Java và chạy trên nền tảng Java.
Các cách để hợp nhất các tập tin
Có một số cách để hợp nhất các tệp trong Python. Cách đơn giản nhất là sử dụng mô-đun hợp nhất tệp tích hợp:
nhập filemerger
file1 = open(“file1.txt”)
file2 = open(“file2.txt”)
hợp nhất_tệp (tệp1, tệp2)
print("Tệp được hợp nhất!")
Làm việc với các tệp
Trong Python, bạn có thể làm việc với các tệp bằng cách nhập mô-đun thích hợp. Ví dụ: để nhập mô-đun xử lý tệp, bạn sẽ sử dụng dòng sau:
từ tệp Xử lý tệp nhập
Khi bạn đã nhập mô-đun, bạn có thể truy cập các tệp bằng cách sử dụng tên của chúng làm biến. Ví dụ: nếu bạn muốn truy cập tệp myfile.txt trong thư mục hiện tại của mình, bạn sẽ sử dụng dòng sau:
myfile = Tệp(“myfile.txt”)
