कॉपी फाइल मर्ज किए गए hdfs के साथ मुख्य समस्या यह है कि यह बहुत धीमा हो सकता है।
import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")
यह कोड लाइन शटिल मॉड्यूल को आयात करती है और फिर एचडीएफएस से स्थानीय फाइल सिस्टम में फाइल कॉपी करने के लिए उस मॉड्यूल से कॉपीफाइल फ़ंक्शन का उपयोग करती है।
एचडीएफएस क्या है
एचडीएफएस एक वितरित फाइल सिस्टम है जो बड़े डेटा सेट के लिए स्केलेबल, टिकाऊ और विश्वसनीय भंडारण प्रदान करता है। यह जावा में लिखा गया है और जावा प्लेटफॉर्म पर चलता है।
फ़ाइलों को मर्ज करने के तरीके
पायथन में फाइलों को मर्ज करने के कुछ तरीके हैं। अंतर्निहित फ़ाइल विलय मॉड्यूल का उपयोग करने का सबसे आसान तरीका है:
फाइलमर्जर आयात करें
फ़ाइल 1 = खुला ("फ़ाइल 1.txt")
फ़ाइल 2 = खुला ("फ़ाइल 2.txt")
मर्ज_फाइल (फ़ाइल 1, फ़ाइल 2)
प्रिंट ("फ़ाइल विलय!")
फाइलों के साथ काम करें
पायथन में, आप उपयुक्त मॉड्यूल को आयात करके फाइलों के साथ काम कर सकते हैं। उदाहरण के लिए, फ़ाइल हैंडलिंग मॉड्यूल आयात करने के लिए, आप निम्न पंक्ति का प्रयोग करेंगे:
फ़ाइल हैंडलिंग आयात फ़ाइल से
एक बार जब आप मॉड्यूल आयात कर लेते हैं, तो आप चर के रूप में उनके नाम का उपयोग करके फ़ाइलों तक पहुँच सकते हैं। उदाहरण के लिए, यदि आप अपनी वर्तमान निर्देशिका में फ़ाइल myfile.txt तक पहुंचना चाहते हैं, तो आप निम्न पंक्ति का उपयोग करेंगे:
myfile = फ़ाइल ("myfile.txt")
