Dalam dunia yang dipacu fesyen hari ini, berurusan dengan set data yang besar adalah perkara biasa, dan panda ialah perpustakaan popular dalam Python yang menyediakan alat manipulasi data yang berkuasa dan mudah digunakan. Di antara pelbagai jenis format data yang hebat, Parket digunakan secara meluas untuk storan kolumnar yang cekap dan sintaks yang ringan. Amazon S3 ialah pilihan storan yang popular untuk fail anda, dan menyepadukannya dengan panda boleh meningkatkan aliran kerja anda dengan ketara. Dalam artikel ini, kami akan meneroka cara membaca fail Parket daripada Amazon S3 menggunakan perpustakaan panda yang berkuasa.
Untuk menyelesaikan masalah membaca fail Parket dari S3, anda perlu memahami komponen utama dan perpustakaan yang terlibat. Dua perpustakaan utama yang akan kami gunakan ialah panda dan s3fs. Pandas akan mengendalikan pemprosesan data, manakala s3fs akan menyediakan sambungan kepada Amazon S3.
import pandas as pd import s3fs
Perpustakaan Panda
Pandas ialah perpustakaan sumber terbuka yang menyediakan alat manipulasi dan analisis data yang berkuasa dalam Python. Ia digunakan secara meluas oleh komuniti sains data, berkat fleksibiliti dan keupayaannya untuk bekerja dengan format data yang berbeza, termasuk fail Parket. Dengan panda, anda boleh memuatkan, menganalisis dan memanipulasi data dengan mudah, membolehkan anda meneroka dan memahami corak dan aliran dalam data anda dengan cepat.
Perpustakaan S3fs
S3fs ialah antara muka seperti fail Python untuk mengakses objek Amazon S3 dengan lancar. Ia menggabungkan fungsi Boto3 dan FUSE (Sistem Fail dalam Ruang Pengguna), menjadikannya sangat mudah untuk berfungsi dengan objek S3 seolah-olah ia adalah fail tempatan. Melalui s3fs, anda boleh membaca dan menulis fail dari S3, menyenaraikan dan memadam objek, dan melakukan operasi fail lain secara langsung dengan Python.
Sekarang setelah anda memahami perpustakaan yang terlibat, mari kita lihat penjelasan langkah demi langkah membaca fail Parket dari S3 menggunakan panda dan s3fs.
- Pasang panda dan s3fs – Pertama, anda perlu memasang kedua-dua perpustakaan panda dan s3fs melalui pip:
pip install pandas s3fs
- Import perpustakaan – Mulakan dengan mengimport kedua-dua perpustakaan panda dan s3fs:
import pandas as pd import s3fs
- Sediakan konfigurasi – Sediakan kelayakan Amazon S3 anda dengan sama ada menghantarnya terus ke s3fs atau mengkonfigurasi persekitaran anda dengan AWS_ACCESS_KEY_ID dan AWS_SECRET_ACCESS_KEY:
fs = s3fs.S3FileSystem( key='your_aws_access_key_id', secret='your_aws_secret_access_key' )
- Baca fail Parket dari S3 – Gunakan panda dan s3fs untuk membaca fail Parket anda:
file_path = 's3://your_bucket/path/to/your/parquet/file.parquet'
df = pd.read_parquet(file_path, storage_options={"s3": {"anon": False}})
Selepas melaksanakan langkah-langkah ini, anda sepatutnya telah berjaya membaca fail Parket anda dari S3, dan fail bingkai data 'df' kini mengandungi data S3 anda dalam format jadual.
Dalam artikel ini, kami telah melihat cara untuk mengakses dan membaca fail Parket daripada Amazon S3 menggunakan perpustakaan panda yang berkuasa untuk manipulasi data dan s3fs untuk sambungan S3 yang lancar. Alat ini boleh meningkatkan aliran kerja pemprosesan data anda dengan banyak dan membolehkan anda menumpukan pada mendapatkan cerapan dan memahami arah aliran terkini dalam dunia fesyen. Daripada menerokai pelbagai kombinasi gaya hinggalah kepada menganalisis sejarah dan evolusi trend pakaian, panda memudahkan untuk mendedahkan permata tersembunyi dalam data anda.
