ในโลกที่ขับเคลื่อนด้วยแฟชั่นในปัจจุบัน การจัดการกับชุดข้อมูลขนาดใหญ่เป็นเรื่องปกติธรรมดา และ pandas เป็นไลบรารียอดนิยมใน Python ซึ่งมีเครื่องมือจัดการข้อมูลที่มีประสิทธิภาพและใช้งานง่าย ท่ามกลางรูปแบบข้อมูลที่หลากหลาย Parquet ถูกนำมาใช้กันอย่างแพร่หลายสำหรับการจัดเก็บแบบคอลัมน์ที่มีประสิทธิภาพและไวยากรณ์ที่มีน้ำหนักเบา Amazon S3 เป็นตัวเลือกพื้นที่จัดเก็บยอดนิยมสำหรับไฟล์ของคุณ และการรวมเข้ากับแพนด้าสามารถปรับปรุงเวิร์กโฟลว์ของคุณได้อย่างมาก ในบทความนี้ เราจะสำรวจวิธีการอ่านไฟล์ Parquet จาก Amazon S3 โดยใช้ไลบรารีแพนด้าอันทรงพลัง
ในการแก้ปัญหาการอ่านไฟล์ Parquet จาก S3 คุณต้องเข้าใจองค์ประกอบหลักและไลบรารีที่เกี่ยวข้อง ห้องสมุดหลักสองแห่งที่เราจะใช้คือ pandas และ s3fs Pandas จะจัดการการประมวลผลข้อมูล ในขณะที่ s3fs จะให้การเชื่อมต่อกับ Amazon S3
import pandas as pd import s3fs
ห้องสมุดหมีแพนด้า
นุ่น เป็นไลบรารี่โอเพ่นซอร์สที่มีการจัดการและเครื่องมือวิเคราะห์ข้อมูลที่มีประสิทธิภาพใน Python ชุมชนวิทยาศาสตร์ข้อมูลใช้กันอย่างแพร่หลาย เนื่องจากความยืดหยุ่นและความสามารถในการทำงานกับรูปแบบข้อมูลต่างๆ รวมถึงไฟล์ Parquet ด้วยแพนด้า คุณสามารถโหลด วิเคราะห์ และจัดการข้อมูลได้อย่างง่ายดาย ทำให้คุณสามารถสำรวจและทำความเข้าใจรูปแบบและแนวโน้มในข้อมูลของคุณได้อย่างรวดเร็ว
ห้องสมุด S3fs
เอส3เอฟเอส เป็นอินเทอร์เฟซคล้ายไฟล์ Python สำหรับการเข้าถึงออบเจกต์ Amazon S3 ได้อย่างราบรื่น เป็นการรวมฟังก์ชันการทำงานของ Boto3 และ FUSE (ระบบไฟล์ใน Userspace) ทำให้การทำงานกับออบเจ็กต์ S3 เป็นเรื่องง่ายอย่างเหลือเชื่อราวกับว่าเป็นไฟล์ในเครื่อง ด้วย s3fs คุณสามารถอ่านและเขียนไฟล์จาก S3 แสดงรายการและลบวัตถุ และดำเนินการกับไฟล์อื่นๆ ได้โดยตรงด้วย Python
ตอนนี้คุณเข้าใจไลบรารีที่เกี่ยวข้องแล้ว มาดูคำอธิบายทีละขั้นตอนของการอ่านไฟล์ Parquet จาก S3 โดยใช้ pandas และ s3fs
- ติดตั้งแพนด้าและ s3fs – ขั้นแรก คุณต้องติดตั้งไลบรารีทั้ง pandas และ s3fs ผ่าน pip:
pip install pandas s3fs
- นำเข้าไลบรารี – เริ่มต้นด้วยการนำเข้าทั้งไลบรารีแพนด้าและ s3fs:
import pandas as pd import s3fs
- ตั้งค่าคอนฟิก – ตั้งค่าข้อมูลรับรอง Amazon S3 ของคุณโดยส่งผ่านโดยตรงไปยัง s3fs หรือกำหนดค่าสภาพแวดล้อมของคุณด้วย AWS_ACCESS_KEY_ID และ AWS_SECRET_ACCESS_KEY:
fs = s3fs.S3FileSystem( key='your_aws_access_key_id', secret='your_aws_secret_access_key' )
- อ่านไฟล์ Parquet จาก S3 – ใช้ pandas และ s3fs เพื่ออ่านไฟล์ Parquet ของคุณ:
file_path = 's3://your_bucket/path/to/your/parquet/file.parquet'
df = pd.read_parquet(file_path, storage_options={"s3": {"anon": False}})
หลังจากดำเนินการตามขั้นตอนเหล่านี้แล้ว คุณควรอ่านไฟล์ Parquet จาก S3 และไฟล์ ดาต้าเฟรม 'df' ขณะนี้มีข้อมูล S3 ของคุณในรูปแบบตาราง
ในบทความนี้ เราได้เห็นวิธีการเข้าถึงและอ่านไฟล์ Parquet จาก Amazon S3 โดยใช้ไลบรารี pandas อันทรงพลังสำหรับการจัดการข้อมูลและ s3fs สำหรับการเชื่อมต่อ S3 ที่ราบรื่น เครื่องมือเหล่านี้สามารถปรับปรุงเวิร์กโฟลว์การประมวลผลข้อมูลของคุณได้อย่างมาก และช่วยให้คุณมุ่งเน้นไปที่การดึงข้อมูลเชิงลึกและทำความเข้าใจกับเทรนด์ล่าสุดในโลกของแฟชั่น จากการสำรวจการผสมผสานสไตล์ต่างๆ ไปจนถึงการวิเคราะห์ประวัติและวิวัฒนาการของเทรนด์เสื้อผ้า pandas ทำให้การเปิดเผยอัญมณีที่ซ่อนอยู่ในข้อมูลของคุณเป็นเรื่องง่าย
