Di dunia yang didorong oleh mode saat ini, berurusan dengan kumpulan data besar cukup umum, dan panda adalah perpustakaan populer di Python yang menyediakan alat manipulasi data yang kuat dan mudah digunakan. Di antara beragam format data, Parquet banyak digunakan untuk penyimpanan kolom yang efisien dan sintaksis yang ringan. Amazon S3 adalah opsi penyimpanan populer untuk file Anda, dan mengintegrasikannya dengan panda dapat meningkatkan alur kerja Anda secara signifikan. Pada artikel ini, kita akan mengeksplorasi cara membaca file Parket dari Amazon S3 menggunakan perpustakaan panda yang kuat.
Untuk mengatasi masalah membaca file Parket dari S3, Anda perlu memahami komponen utama dan pustaka yang terlibat. Dua perpustakaan utama yang akan kita gunakan adalah panda dan s3fs. Panda akan menangani pemrosesan data, sedangkan s3fs akan menyediakan konektivitas ke Amazon S3.
import pandas as pd import s3fs
Perpustakaan Panda
Panda adalah pustaka sumber terbuka yang menyediakan alat manipulasi dan analisis data yang kuat dengan Python. Ini banyak digunakan oleh komunitas ilmu data, berkat fleksibilitas dan kemampuannya untuk bekerja dengan berbagai format data, termasuk file Parket. Dengan panda, Anda dapat dengan mudah memuat, menganalisis, dan memanipulasi data, memungkinkan Anda menjelajahi dan memahami pola dan tren dalam data Anda dengan cepat.
Perpustakaan S3fs
S3fs adalah antarmuka mirip file Python untuk mengakses objek Amazon S3 dengan mulus. Ini menggabungkan fungsionalitas Boto3 dan FUSE (Filesystem di Userspace), membuatnya sangat mudah untuk bekerja dengan objek S3 seolah-olah itu adalah file lokal. Melalui s3fs, Anda dapat membaca dan menulis file dari S3, membuat daftar dan menghapus objek, dan melakukan operasi file lainnya secara langsung dengan Python.
Sekarang setelah Anda memahami pustaka yang terlibat, mari kita lihat penjelasan langkah demi langkah untuk membaca file Parket dari S3 menggunakan panda dan s3fs.
- Instal panda dan s3fs – Pertama, Anda perlu menginstal pustaka panda dan s3fs melalui pip:
pip install pandas s3fs
- Impor perpustakaan – Mulailah dengan mengimpor pustaka panda dan s3fs:
import pandas as pd import s3fs
- Atur konfigurasi – Siapkan kredensial Amazon S3 Anda dengan meneruskannya langsung ke s3fs atau mengonfigurasi lingkungan Anda dengan AWS_ACCESS_KEY_ID dan AWS_SECRET_ACCESS_KEY:
fs = s3fs.S3FileSystem( key='your_aws_access_key_id', secret='your_aws_secret_access_key' )
- Baca file Parket dari S3 – Gunakan panda dan s3fs untuk membaca file Parket Anda:
file_path = 's3://your_bucket/path/to/your/parquet/file.parquet'
df = pd.read_parquet(file_path, storage_options={"s3": {"anon": False}})
Setelah menjalankan langkah-langkah ini, Anda seharusnya sudah berhasil membaca file Parket Anda dari S3, dan file kerangka data 'df' sekarang berisi data S3 Anda dalam format tabel.
Pada artikel ini, kita telah melihat cara mengakses dan membaca file Parquet dari Amazon S3 menggunakan perpustakaan pandas yang kuat untuk manipulasi data dan s3fs untuk konektivitas S3 yang lancar. Alat-alat ini dapat sangat meningkatkan alur kerja pemrosesan data Anda dan memungkinkan Anda untuk fokus pada penggalian wawasan dan memahami tren terbaru di dunia mode. Mulai dari menjelajahi berbagai kombinasi gaya hingga menganalisis sejarah dan evolusi tren pakaian, panda memudahkan untuk mengungkap permata tersembunyi dalam data Anda.
