ಕಾಪಿ ಫೈಲ್ ವಿಲೀನಗೊಂಡ hdfs ನ ಮುಖ್ಯ ಸಮಸ್ಯೆ ಎಂದರೆ ಅದು ತುಂಬಾ ನಿಧಾನವಾಗಿರಬಹುದು.
import shutil shutil.copyfile("/hdfs/path/to/file", "/local/path/to/file")
ಈ ಕೋಡ್ ಲೈನ್ ಶಟಿಲ್ ಮಾಡ್ಯೂಲ್ ಅನ್ನು ಆಮದು ಮಾಡಿಕೊಳ್ಳುತ್ತದೆ ಮತ್ತು ನಂತರ HDFS ನಿಂದ ಸ್ಥಳೀಯ ಫೈಲ್‌ಸಿಸ್ಟಮ್‌ಗೆ ಫೈಲ್ ಅನ್ನು ನಕಲಿಸಲು ಆ ಮಾಡ್ಯೂಲ್‌ನಿಂದ ಕಾಪಿಫೈಲ್ ಕಾರ್ಯವನ್ನು ಬಳಸುತ್ತದೆ.
ಎಚ್ಡಿಎಫ್ಎಸ್ ಎಂದರೇನು
HDFS ಒಂದು ವಿತರಿಸಿದ ಫೈಲ್ ಸಿಸ್ಟಮ್ ಆಗಿದ್ದು ಅದು ದೊಡ್ಡ ಡೇಟಾ ಸೆಟ್‌ಗಳಿಗೆ ಸ್ಕೇಲೆಬಲ್, ಬಾಳಿಕೆ ಬರುವ ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹ ಸಂಗ್ರಹಣೆಯನ್ನು ಒದಗಿಸುತ್ತದೆ. ಇದನ್ನು ಜಾವಾದಲ್ಲಿ ಬರೆಯಲಾಗಿದೆ ಮತ್ತು ಜಾವಾ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ನಲ್ಲಿ ಚಲಿಸುತ್ತದೆ.
ಫೈಲ್ಗಳನ್ನು ವಿಲೀನಗೊಳಿಸುವ ಮಾರ್ಗಗಳು
ಪೈಥಾನ್‌ನಲ್ಲಿ ಫೈಲ್ಗಳನ್ನು ವಿಲೀನಗೊಳಿಸಲು ಕೆಲವು ಮಾರ್ಗಗಳಿವೆ. ಅಂತರ್ನಿರ್ಮಿತ ಫೈಲ್ ವಿಲೀನ ಮಾಡ್ಯೂಲ್ ಅನ್ನು ಬಳಸುವುದು ಸರಳವಾದ ಮಾರ್ಗವಾಗಿದೆ:
ಆಮದು ಫೈಲ್ ವಿಲೀನ
file1 = ಓಪನ್ (“file1.txt”)
file2 = ಓಪನ್ (“file2.txt”)
merge_file(file1, file2)
ಪ್ರಿಂಟ್ ("ಫೈಲ್ ವಿಲೀನಗೊಂಡಿದೆ!")
ಫೈಲ್ಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಿ
ಪೈಥಾನ್‌ನಲ್ಲಿ, ಸೂಕ್ತವಾದ ಮಾಡ್ಯೂಲ್ ಅನ್ನು ಆಮದು ಮಾಡಿಕೊಳ್ಳುವ ಮೂಲಕ ನೀವು ಫೈಲ್ಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಬಹುದು. ಉದಾಹರಣೆಗೆ, ಫೈಲ್ ಹ್ಯಾಂಡ್ಲಿಂಗ್ ಮಾಡ್ಯೂಲ್ ಅನ್ನು ಆಮದು ಮಾಡಲು, ನೀವು ಈ ಕೆಳಗಿನ ಸಾಲನ್ನು ಬಳಸುತ್ತೀರಿ:
ಕಡತದಿಂದ ಆಮದು ಫೈಲ್ ನಿರ್ವಹಣೆ
ಒಮ್ಮೆ ನೀವು ಮಾಡ್ಯೂಲ್ ಅನ್ನು ಆಮದು ಮಾಡಿಕೊಂಡ ನಂತರ, ನೀವು ಫೈಲ್ಗಳನ್ನು ಅವುಗಳ ಹೆಸರನ್ನು ವೇರಿಯೇಬಲ್ ಆಗಿ ಬಳಸುವ ಮೂಲಕ ಪ್ರವೇಶಿಸಬಹುದು. ಉದಾಹರಣೆಗೆ, ನಿಮ್ಮ ಪ್ರಸ್ತುತ ಡೈರೆಕ್ಟರಿಯಲ್ಲಿ myfile.txt ಫೈಲ್ ಅನ್ನು ಪ್ರವೇಶಿಸಲು ನೀವು ಬಯಸಿದರೆ, ನೀವು ಈ ಕೆಳಗಿನ ಸಾಲನ್ನು ಬಳಸುತ್ತೀರಿ:
myfile = ಫೈಲ್ ("myfile.txt")
