تم حلها: نسخ ملف مدمج hdfs

المشكلة الرئيسية في نسخ الملفات المدمجة هي أنه يمكن أن يكون بطيئًا جدًا.

import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")

يستورد سطر الكود هذا وحدة shutil ثم يستخدم وظيفة copyfile من تلك الوحدة لنسخ ملف من HDFS إلى نظام الملفات المحلي.

ما هو hdfs

HDFS هو نظام ملفات موزع يوفر تخزينًا قابلًا للتطوير ودائمًا وموثوقًا لمجموعات البيانات الكبيرة. إنه مكتوب بلغة Java ويعمل على نظام Java الأساسي.

طرق لدمج الملفات

هناك عدة طرق لدمج الملفات في بايثون. إن أبسط طريقة هي استخدام وحدة دمج الملفات المدمجة:

استيراد ملف
file1 = فتح (“file1.txt”)
file2 = فتح (“file2.txt”)
merge_file (ملف 1 ، ملف 2)
طباعة ("تم دمج الملف!")

العمل مع الملفات

في Python ، يمكنك العمل مع الملفات عن طريق استيراد الوحدة المناسبة. على سبيل المثال ، لاستيراد وحدة معالجة الملفات ، يمكنك استخدام السطر التالي:

من ملف التعامل مع استيراد ملف

بمجرد قيامك باستيراد الوحدة ، يمكنك الوصول إلى الملفات باستخدام اسمها كمتغير. على سبيل المثال ، إذا أردت الوصول إلى الملف myfile.txt في دليلك الحالي ، يمكنك استخدام السطر التالي:

myfile = ملف (“myfile.txt”)

الوظائف ذات الصلة:

اترك تعليق